Real-time adaptation to time-varying constraints for reliable mhealth video communications

Abstract

Ο σημαντικός αριθμός των ιατρικών συστημάτων και υπηρεσιών επικοινωνίας βίντεο σε κινητές συσκευές που αναπτύχθηκαν κατά την τελευταία δεκαετία, αντικατοπτρίζει το ευρύ πεδίο εφαρμογής αυτών των συστημάτων και υπηρεσιών στην καθιερωμένη κλινική πρακτική. Όσον αφορά τις υπηρεσίες επικοινωνίας βίντεο, τα σενάρια εφαρμογών κυμαίνονται, αλλά δεν περιορίζονται, από την απομακρυσμένη διάγνωση και φροντίδα, την αντιμετώπιση έκτακτης ανάγκης, την παροχή δεύτερης γνώμης και την παρακολούθηση στο σπίτι. Η ενσωμάτωση των συστημάτων επικοινωνίας ιατρικών βίντεο στην παροχή ιατροφαρμακευτικής περίθαλψης, μπορεί να βελτιώσει σημαντικά την ποιότητα της περίθαλψης, μειώνοντας ταυτόχρονα τους χρόνους νοσηλείας και τα συναφή έξοδα ιατροφαρμακευτικής περίθαλψης. Η πρόκληση έγκειται στην παροχή επαρκώς υψηλών ψηφιακών αναλύσεων βίντεο και ρυθμών καρέ (frame rate) απαιτώντας χαμηλή καθυστέρηση και χαμηλά ποσοστά απώλειας πακέτων, παρέχοντας ένα ισοδύναμο επίπεδο κλινικής εμπειρίας με εκείνο των ενδό-νοσοκομειακών εξετάσεων. Το τελευταίο απαιτεί έλεγχο της διαδικασίας ροής βίντεο σε πραγματικό χρόνο, ώστε να διευκολυνθούν τα επαρκή επίπεδα κλινικής ποιότητας βίντεο που απαιτούνται για την υποστήριξη της αξιόπιστης διάγνωσης. Σκοπός της παρούσας διδακτορικής διατριβής είναι η προσαρμογή της επικοινωνίας του ιατρικού βίντεο στη χρόνο-μεταβλητότητα των αλληλοεπηρεαζόμενων παραγόντων που αναφέρονται στην κλινική του ποιότητα, στον χρόνο κωδικοποίησής του και στην αποστολή του μέσω του διαθέσιμου ασύρματου δικτύου. Μία από τις σημαντικότερες συνεισφορές της μελέτης αυτής είναι ότι αυτή η προσαρμογή επιτυγχάνεται σε πραγματικό χρόνο. Πιο συγκεκριμένα, η προσέγγιση βασίζεται στην βελτιστοποίηση πολλαπλών στόχων, η οποία μεγιστοποιεί ταυτόχρονα την ποιότητα και την ταχύτητα κωδικοποίησης του κωδικοποιημένου βίντεο, ενώ ελαχιστοποιεί τις απαιτήσεις του ρυθμού μετάδοσης (bitrate) μέσα από το διαθέσιμο ασύρματο δίκτυο. Για το σκοπό αυτό, κατασκευάζεται ένας πυκνός χώρος κωδικοποίησης και χρησιμοποιείται η λογαριθμική γραμμική παλινδρόμηση για την εκτίμηση μοντέλων πρόβλεψης για την ποιότητα, τον ρυθμό μετάδοσης bit και την υπολογιστική πολυπλοκότητα. Τα μοντέλα πρόβλεψης χρησιμοποιούνται στη συνέχεια από το προτεινόμενο προσαρμοστικό σύστημα ελέγχου, το οποίο μπορεί να τελειοποιήσει την κωδικοποίηση βίντεο με βάση τους περιορισμούς σε πραγματικό χρόνο. Το προτεινόμενο σύστημα επικυρώνεται χρησιμοποιώντας έναν αλγόριθμο όπου χρησιμοποιούμε εκπαίδευσής και αξιολόγησης, που εφαρμόζεται σε δέκα βίντεο υπερήχων της κοινής καρωτιδικής αρτηρίας. Δηλαδή, κάθε φορά χρησιμοποιούμε τα 9 βίντεο για την εκτίμηση μοντέλων πρόβλεψης και το 1 βίντεο για την αξιολόγησή του. Αυτή η διαδικασία ακολουθείται 10 φορές. Τα μοντέλα πρόβλεψης μπορούν να υπολογίσουν την ποιότητα που μετριέται με τον δείκτη Structural SIMilarity (SSIM) με ένα μέσο σφάλμα ακρίβειας μικρότερο από 1%, απαιτήσεις ρυθμού μετάδοσης bit με σφάλμα απόκλισης 10% ή λιγότερο και κωδικοποίηση ρυθμού καρέ εντός περιθωρίου 6%. Η προσαρμογή σε πραγματικό χρόνο σε επίπεδο ομάδας φωτογραφιών (Group of Pictures - GOP) καταδεικνύεται χρησιμοποιώντας το πρότυπο κωδικοποίησης βίντεο υψηλής απόδοσης (High Efficiency Video Coding - HEVC). Η αποτελεσματικότητα του προτεινόμενου συστήματος σε σύγκριση με τις στατικές μη προσαρμοστικές προσεγγίσεις, αποδεικνύεται για διαφορετικούς τρόπους λειτουργίας, επιτυγχάνοντας σημαντικά κέρδη ποιότητας, μειώσεις της ζήτησης ρυθμού μετάδοσης bit και βελτιώσεις απόδοσης, σε σενάρια πραγματικής ζωής που υπόκεινται σε χρόνο-μεταβλητούς περιορισμούς.

The significant number of mobile health (mHealth) systems developed over the past decade reflect the broad applicability spectrum of such systems and services in standard clinical practice. In terms of medical video communications, application scenarios range, but are not limited, from remote diagnosis and care, to emergency response, second opinion provision, and home monitoring. Integration of medical video communication systems in the healthcare provision pathway can significantly enhance the quality of care, while reducing hospitalization times and associated healthcare costs. The challenge lies in delivering sufficiently high video resolutions and frame rates with the low-delay and low packet loss rates requirements that will accommodate an equivalent level of clinical experience to that of in-hospital examinations. The latter requires real-time control of the video streaming process so as to facilitate the adequate levels of clinical video quality required to support reliable diagnosis. The objective of this PhD thesis is to provide a scalable, video modality, encoder, and wireless network agnostic framework, that will support real-time adaptation to time-varying wireless networks’ state while guaranteeing diagnostically lossless video communications and conforming to end-user device constraints for real-time performance. More specifically, the approach is based on multi-objective optimization, that jointly maximizes the encoded video’s quality and encoding rate, while minimizing bitrate demands. For this purpose, a dense encoding space is constructed, and logarithmic linear regression is used to estimate forward prediction models for quality, bitrate, and computational complexity. The prediction models are then used by the proposed adaptive control framework that can fine-tune video encoding based on real-time constraints. The proposed framework is validated using a leave-one-out algorithm applied to ten ultrasound videos of the common carotid artery. The prediction models can estimate Structural SIMilarity (SSIM) quality with a median accuracy error of less than 1%, bitrate demands with deviation error of 10% or less, and encoding frame rate within a 6% margin. Real-time adaptation at a Group of Pictures (GOP) level is demonstrated using the High Efficiency Video Coding (HEVC) standard. The effectiveness of the proposed framework compared to static, non-adaptive approaches is demonstrated for different modes of operation, achieving significant quality gains, bitrate demands reductions, and performance improvements, in real-life scenarios imposing time-varying constraints.