Total cost of ownership optimization for edge and cloud data-centers

Abstract

Ο αριθμός των ευφυών συσκευών που συνδέονται με το Διαδίκτυο αυξάνεται καθημερινά και σύντομα θα είναι της τάξης των δεκάδων δισεκατομμυρίων, αποτελώντας το Διαδίκτυο των πραγμάτων (IoT). Κάθε μία από αυτές τις συσκευές στέλνει δεδομένα στο Διαδίκτυο τα οποία σύντομα αναμένεται να φτάσουν τα δεκάδες exabytes. Αυτή η ταχεία αύξηση δεδομένων θα ασκήσει πρωτοφανή πίεση στην τρέχουσα υποδομή του Διαδικτύου και στα κεντρικά κέντρα δεδομένων (Cloud). Η αντιμετώπιση αυτής της επικείμενης πλημμύρας δεδομένων απαιτεί τόσο την ενίσχυση των δυνατοτήτων επεξεργασίας των τρεχόντων εξυπηρετητών όσο και την επανεξέταση του τρόπου επικοινωνίας και επεξεργασίας δεδομένων στο Διαδίκτυο. Για το σκοπό αυτό, τα τελευταία χρόνια, τα κέντρα δεδομένων έχουν αυξηθεί σε αριθμό, μέγεθος και χρήση. Μεγάλες μονάδες κέντρων δεδομένων που αποτελούνται από χιλιάδες έως δεκάδες χιλιάδες εξυπηρετητές χρησιμοποιούνται για την παροχή υπηρεσιών, όπως ηλεκτρονικού ταχυδρομείου (email), αναζήτηση ιστού, κοινωνική δικτύωση, χάρτες κ.λπ., σε δισεκατομμύρια χρήστες. Επιπλέον, τα τελευταία χρόνια έχει προκύψει η παροχή των υπηρεσιών Cloud στο Edge, πιο κοντά στους χρήστες. Μια σημαντική επίπτωση αυτών των εξελίξεων είναι η αύξηση της κατανάλωσης κόστους και ενέργειας των κέντρων δεδομένων και συνεπώς υπάρχει αυξανόμενη ανάγκη για αποτελεσματικές μεθοδολογίες και τεχνικές για τη βελτίωση του σχεδιασμού του κέντρου δεδομένων για την αποτελεσματικότερη χρήση του. Ο κύριος στόχος αυτής της εργασίας είναι να ελαχιστοποιήσει το συνολικό κόστος ιδιοκτησίας (TCO) ενός κέντρου δεδομένων, ενώ παράλληλα να ικανοποιήσει τη ποιότητα εξυπηρέτησης διαφόρων εφαρμογών που εκτελούνται σε κάποιο κέντρο δεδομένων. Αυτό απαιτεί την ανάπτυξη μοντέλων που επιτρέπουν την εξερεύνηση του σχεδιασμού ενός κέντρου δεδομένων. Συγκεκριμένα, πρώτα προσδιορίζονται τα μετρικά που απαιτούνται για να εξεταστεί το ενδεχόμενο ελαχιστοποίησης του TCO. Αυτή η ανάλυση τονίζει την σημαντικότητα του TCO ως μετρικό βελτιστοποίησης και προσδιορίζει επίσης τις κύριες παραμέτρους που το επηρεάζουν. Στην συνέχεια, αξιολογούμε τα πιθανά TCO κέρδη στο Edge σε σύγκριση με το Cloud, καθώς και ένα ποιο αποδοτικό σε ενέργεια Edge που χρησιμοποιεί λειτουργίες σε χαμηλότερες τάσης (voltage). Έπειτα, προτείνουμε και αναλύουμε τις επιπτώσεις στο TCO, μιας δυναμικής τεχνικής που παρακολουθεί τα μετρικά απόδοσης και καθορίζει πότε πρέπει να λειτουργήσει μια κεντρική μονάδα δεδομένων σε κανονική ή χαμηλότερη τάση. Τέλος, αναλύουμε τις συνέπειες των λαθών των κύριων μνήμων (DRAM) και των τεχνικών προστασίας τους στο TCO και προσδιορίζουμε την κατάλληλη τεχνική προστασίας που παρέχει την μεγαλύτερη εξοικονόμηση TCO χωρίς να διακυβεύεται η διαθεσιμότητα του συστήματος.

The number of intelligent Internet-connected devices is growing rapidly and will soon be in the order of tens of billions, forming the Internet of Things (IoT). Each of these devices is pushing data to the Internet that are soon expected to reach tens of exabytes. It is expected that such data growth will put an unprecedented pressure on the current Internet infrastructure and the centralized (Cloud) Datacenters (DCs). In order to successfully deal with this imminent data flood, it is imperative to enhance the processing capabilities of the current servers. Redesigning data communication and processing across the Internet is equally important. In light of this, DCs have increased in numbers, size and utilization. Large DCs that consist of thousands to tens of thousands of servers are used to deliver services, such as e-mail, web search, social networking, maps etc., to billions of users. Additionally, a new paradigm has emerged which makes Cloud services available at the Edge. One key ramification of these developments is an increase in the cost and energy consumption of both Cloud and Edge DCs. The aim of this thesis is to minimize the total cost of ownership (TCO) of a DC while meeting the quality of service of different workloads running in the DC. This requires the development of innovative methods and models that enable the exploration of the design space of a DC. First, a method that detects the existence of high correlations among several application parameters such as performance, power, reliability with the cost (TCO) is evaluated. This, in fact, leads to the determination of the parameters that experience high correlation with the TCO and the further exploration of them throughout this thesis. Then, there is an evaluation of the possible TCO gains of an Edge deployment compared to Cloud as well as an Edge deployment that employs under-volting operations. Furthermore, there is a proposal and analysis of the TCO implications of a dynamic technique that monitors performance counters and determines when to operate a CPU in nominal or undervolted settings. Finally, we present an analysis of the implications of DRAM failures and DRAM protection techniques on the TCO. This determines the appropriate protection technique that provides the most TCO savings without compromising the availability of the system.