Low-cost approximate and adaptive monitoring techniques

Abstract

Με τη ευρεία διάδοση ‘έξυπνων’ συσκευών και τη καθολική αναγνώριση που έχουν αποκτήσει στη συνείδηση των καταναλωτών, η υπολογιστική νοημοσύνη όπως τη γνωρίζουμε, εξελίσσεται με συνέπεια να επηρεάζει την καθημερινότητά μας και να διαμορφώνει αυτό που γνωρίζουμε, ως το Διαδίκτυο των Πραγμάτων. Για τον λόγο αυτό, βλέπουμε ότι ο υπολογισμός έχει αρχίσει να μεταφέρεται στις πηγές παραγωγής δεδομένων, που βρίσκονται κατανεμημένες στη άκρη του διαδικτύου, με σκοπό τη δημιουργία αναλυτικών γνώσεων σε πραγματικό χρόνο για όλους σχεδόν τους τομείς της βιομηχανίας. Ωστόσο, για την παραγωγή ενός τέτοιου πλούτου γνώσεων, απαιτείται έντονη επεξεργασία και διαρκής μεταφορά δεδομένων μέσω διαδικτύου. Αυτό έχει ως αποτέλεσμα την αυξημένη κατανάλωση ενέργειας, ενώ οι υπηρεσίες επεξεργασίας ροών δεδομένων, συνεχώς επιφορτίζονται και αγωνίζονται να είναι αποτελεσματικές. Παρά τις προσπάθειες αύξησης της ενσωμάτωσης έξυπνων συσκευών με τις δυνατότητες επεξεργασίας που παρέχονται από υπολογιστικές νεφέλες, εξακολουθούν να υπάρχουν ανασταλτικοί παράγοντες όπως περιορισμοί στο εύρους ζώνης και χρονικές καθυστερήσεις δικτύου λόγω απόστασης. Σε αυτή τη διατριβή, αντιμετωπίζουμε την επεξεργασία ροών δεδομένων σε πραγματικό χρόνο και την καλύτερη ενεργειακή απόδοση σε κατανεμημένες πηγές δεδομένων, αναπτύσσοντας προσεγγιστικές και προσαρμοστικές τεχνικές παρακολούθησης χαμηλού κόστους ως μέσο αντιμετώπισης αυτών των προκλήσεων. Εάν μπορεί να γίνει ανεκτός ένας βαθμός ανακρίβειας στον υπολογισμό, τότε προσεγγιστικές τεχνικές παρακολούθησης, όπως η προσαρμοστική δειγματοληψία, το φιλτράρισμα και η βασιζόμενη σε μοντέλα διάδοση δεδομένων, μπορούν να μειώσουν σημαντικά την κατανάλωση ενέργειας και τη ποσότητα των δεδομένων που κατακλύζουν υπηρεσίες επεξεργασίας ροής δεδομένων. Αυτό επιτυγχάνεται προσαρμόζοντας δυναμικά, στη ίδια τη πηγή και με χαμηλό κόστος, το ρυθμό συλλογής και διάδοσης μετρικών με βάση την τρέχουσα διακύμανση και την κατανομή της ροής δεδομένων. Για να επιτευχθεί αυτό, εισάγουμε ένα προσεγγιστικό αλγοριθμικό μοντέλο μάθησης χαμηλού κόστους ικανό να παρακολουθεί την εξέλιξη και τη μεταβλητότητα της ροής δεδομένων σε πραγματικό χρόνο, επιτρέποντας έτσι στις τεχνικές παρακολούθησης, που αναπτύξαμε, να προσαρμόζουν το ρυθμό συλλογής και διάδοσης μετρικών με βάση τη ικανότητα του αλγοριθμικού μοντέλου να εκτιμήσει σωστά τι θα συμβεί στη συνέχεια στη μετρική ροή. Ιδιαίτερη προσοχή λαμβάνεται για τη διαρκή προσαρμογή του αλγοριθμικού μοντέλου, εισάγοντας στη εκτίμηση μεταβολής της ροή δεδομένων προσαρμοστική στάθμιση παραμέτρων, ανίχνευση τάσεων και εμπλουτισμό συμπεριφοράς εποχικότητας, έτσι ώστε να αναγνωρίζονται άμεσα απότομες αλλαγές στην διακύμανση της ροής και να ξεπερνιούνται τυχόν καθυστερήσεις στην διαδικασία εκτίμησης. Στη συνέχεια, προχωράμε με την περιγραφή του AdaM, που είναι μια αυτόματα προσαρμοζόμενη βιβλιοθήκη παρακολούθησης που σχεδιάστηκε για να ενσωματώνεται στον πυρήνα λογισμικού πηγών δεδομένων για να παρέχει προσαρμοστική παρακολούθηση ενσωματώνοντας τις χαμηλού κόστους προσεγγιστικές τεχνικές παρακολούθησης για προσαρμοστική δειγματοληψία και φιλτράρισμα, που αναπτύχθηκε στο πλαίσιο της διατριβής. Στη συνέχεια, παρουσιάζουμε το ADMin, ένα πρόσθετο που αναπτύχθηκε για να διευρύνει τη λειτουργικότητα του AdaM, προσφέροντας προσαρμοστική διάδοση δεδομένων βασισμένη σε μοντέλα, για να προσαρμόσει αποτελεσματικά, στη ίδια τη πηγή, τον ρυθμό με τον οποίο οι πηγές παρακολούθησης διανέμουν μετρήσεις μέσω διαδικτύου. Κλείνουμε, με αξιολόγηση της αποτελεσματικότητας και ακρίβειας της βιβλιοθήκης μας, διεξάγοντας διεξοδική σειρά πειραμάτων με πραγματικά δεδομένα. Τα αποτελέσματα δείχνουν ότι το AdaM είναι σε θέση να προσαρμόσει δυναμικά τον ρυθμό συλλογής και διάδοσης μετρικών, ενώ επιτυγχάνει ισορροπία μεταξύ απόδοσης και ακρίβειας.

As consumers embrace the widespread of ubiquitously connected “smart” devices, computing as we know it evolves in surprising ways impacting our everyday life and forming what is known as the Internet of Things (IoT). With the prevalence of IoT we are seeing intelligence aggressively deployed at the edge to produce real-time analytic insights for almost all industry sectors. However, to produce such an unprecedented wealth of insights intense processing and constant data dissemination over the network is required. This results in increased energy consumption for monitoring sources while cloud services consuming IoT data are constantly overwhelmed and struggling to be effective. In spite attempts of augmenting IoT devices with the power of the cloud there still exist numerous inhibitors masked under constant data movement such as bandwidth limitations and network latencies. In this thesis, we tackle real-time data processing and energy-efficiency on the edge of monitoring networks by developing low-cost approximate and adaptive monitoring techniques as the remedy to these challenges. If a degree of inaccuracy can be tolerated, approximate monitoring techniques such as adaptive sampling, filtering and model-based dissemination, can significantly reduce the energy consumption of monitoring sources and the amount of data flooding streaming services by dynamically adapting, in place and inexpensively, the metric collection and dissemination rate when stables phases in the metric stream are detected. To achieve this, we introduce a low-cost approximate and probabilistic algorithmic learning model capable of capturing runtime knowledge from the metric stream evolution and variability, thus allowing our adaptive monitoring techniques, to adjust the metric collection and dissemination rate of the monitoring source based on the confidence of the algorithmic model to correctly estimate what will happen next in the metric stream. Specific consideration is taken to fine-tune the algorithmic model at runtime by introducing adaptive parameter weighting, trend detection and seasonality behavior enrichment so that our algorithms immediately identify abrupt transient changes in the metric stream evolution and overcome any lagging effects in the estimation process. Afterwards, we proceed by introducing AdaM, a lightweight framework designed and developed to be embeddable in the software core of monitoring sources to provide adaptive monitoring by incorporating the low-cost approximate monitoring techniques for adaptive sampling and filtering, developed in the scope of the thesis. Next, we introduce ADMin, a plugin developed to extend the functionality of the AdaM framework by offering model-based adaptive dissemination to efficiently adapt, in place, the rate at which monitoring sources disseminate metrics. We conclude by evaluating the efficacy and accuracy of our framework by performing a thorough experimentation study with testbeds using real-world data from cloud applications, wearables, photovoltaics and intelligent transportation services. Results show that AdaM is able to dynamically adapt both the collection and dissemination rate of a monitoring source; while achieving a balance between efficiency and accuracy. Particularly, for the evaluated testbeds, AdaM can reduce energy consumption by at least 83%, data volume by 71%, shift detection delays in model-based dissemination by 61% while maintaining accuracy always above 90% in comparison to other adaptive frameworks.