GridBench : resource performance ranking and auditing in computational grids

Abstract

Ο τομέας του υπολογιστικού πλέγματος (Grid Computing) τυγχάνει αλματώδους αύξησης τα τελευταία χρόνια. Οι υποδομές πλέγματος έχουν γίνει η πλατφόρμα επιλογής για μεγάλης κλίμακας πειράματα υπολογιστικής επιστήμης. Η μεγαλύτερη υποδομή πλέγματος, αυτή του EGEE, περιλαμβάνει πέραν των 300 υπολογιστικών κόμβων, και είναι κατανεμημένη σε όλο τον κόσμο. Περιλαμβάνει PetaBytes σε χωρητικότητα και περισσότερους από 100,000 κεντρικούς επεξεργαστές. Οι διάφοροι πόροι υπολογισμού σε αυτές τις ετερογενείς υποδομές συλλέγουν εντυπωσιακή και πρωτοφανή υπολογιστική δυνατότητα. Προκειμένου όμως να είναι εύκολα χρησιμοποιήσιμες, πρέπει οι χρήστες του συστήματος να έχουν στη διάθεσή τους τους σωστούς μηχανισμούς για ανεύρεση των κατάλληλων υπολογιστικών πόρων για την εκτέλεση των διεργασιών τους. Οι χρήστες του συστήματος χρειάζονται τους μηχανισμούς για την σωστή μέτρηση της απόδοσης των πόρων, αλλά και ελέγχου των πόρων σύμφωνα με τη δεδηλωμένη απόδοσή τους. Αυτή η διαδικασία μπορεί να γίνει ιδιαίτερα περίπλοκη εν ελλείψει εξειδικευμένων εργαλείων, ιδιαίτερα όταν πρόκειται για μεγάλες υποδομές. Η ταξινόμηση βάσει απόδοσης σε ένα μεγάλο, ετερογενές και δυναμικό περιβάλλον συνθέτει ένα σύνθετο στόχο, κυρίως διότι πρέπει να γίνεται με έναν αποδοτικό τρόπο που να μην διακόπτει την λειτουργία των πόρων. Συγχρόνως, πρέπει να εξεταστούν πολλοί και διάφοροι τύποι εφαρμογών που προέρχονται από διαφορετικές ομάδες χρηστών και επιστημόνων. Η παρούσα διατριβή παρουσιάζει διάφορες συμβολές στον τομέα της μέτρησης της απόδοσης των πόρων και στην αξιολόγηση των υπολογιστικών πλεγμάτων. Μια πρώτη συμβολή είναι η πρόταση μιας μεθοδολογίας για την εισαγωγή του σωστού “πλαισίου” στις μετρήσεις απόδοσης, και κατά συνέπεια τη διευκόλυνση της ταξινόμησης των υπολογιστικών πόρων. Η εισαγωγή του “πλαισίου” (Contextualization) επιτυγχάνεται με τον εμπλουτισμό των μετρήσεων με στοιχεία σχετικά με τον χώρο, χρόνο, και σε πολλές περιπτώσεις, τις περιστάσεις κάτω από τις οποίες λαμβάνεται η μέτρηση. Η διατριβή προτείνει μια νέα προσέγγιση που λαμβάνει υπόψη τις συγκεκριμένες ανάγκες του χρήστη για την ταξινόμηση των πόρων, και επικεντρώνεται στη δημιουργία μια εξατομικευμένης συνάρτησης ταξινόμησης. Μια δεύτερη συμβολή είναι το GridBench. Το GridBenh είναι ένα επεκτάσιμο εργαλείο που εφαρμόζει τις κύριες πτυχές της προαναφερθείσας μεθοδολογίας, και έχει σχεδιαστεί και αναπτυχθεί στα πλαίσια αυτής της διατριβής. Το εργαλείο επιτρέπει την μέτρηση απόδοσης με την χρήση διάφορων τύπων σύγκρισης της επίδοσης, που κυμαίνονται από miro-benchmarks μέχρι πραγματικές παράλληλες εφαρμογές. Το GridBench χαρακτηρίζει η φιλική προς το χρήστη γραφική διεπαφή που διευκολύνει την διενέργεια πειραμάτων μέτρησης επιδόσεων για σκοπούς σύγκρισης, αλλά και για τη συλλογή, αρχειοθέτηση και ανάλυση των αποτελεσμάτων. Η διατριβή εισάγει επίσης μια απλή, εύκολα αποκτήσιμη μετρική για την cache του κεντρικού επεξεργαστή, η οποία φέρει ένα πολύ καλό συσχετισμό με την πραγματική απόδοση διάφορων εφαρμογών. Μια άλλη κύρια συμβολή είναι η εισαγωγή μιας μεθοδολογίας για την ταξινόμηση των πόρων με βάση τη συνάρτηση εύκολα μετρήσιμων παραμέτρων ενός υπολογιστή. Μια σημαντική συνιστώσα του GridBench είναι το SiteRank, το οποίο υλοποιεί αυτή τη μεθοδολογία και επιτρέπει τη διαλογή πόρων, λαμβάνοντας υπόψη τις ανάγκες του χρήστη. Στα πλαίσια αυτής της διατριβής, εφαρμόζεται η προαναφερθείσα μεθοδολογία διαμέσου διάφορων πειραμάτων σε μιας από τις μεγαλύτερες υποδομές πλέγματος σήμερα. Ένα από τα επιχειρήματα αυτής της διατριβής είναι το ότι επιβάλλεται η χρήση στοιχείων βασισμένων σε μετρήσεις, και κυρίως το ότι πρέπει να αποφεύγεται η χρήση στοιχείων που δηλώνονται στις υπηρεσίες πληροφορίας του πλέγματος από τους ιδιοκτήτες των πόρων. Η υπάρχουσα de-facto προσέγγιση για την επιλογή των υπολογιστικών πόρων αποδεικνύεται για να είναι ανεπαρκής και αναξιόπιστη.

Over the recent years the area of Grid Computing has seen an astonishing growth. Grid infrastructures have become the platform of choice for large-scale eScience. The world's largest Grid infrastructure -- EGEE -- currently comprises 300 sites distributed around the world, petabytes of storage capacity and CPU's in excess of 80,000. The different computing resources in these heterogeneous infrastructures gather impressive and unprecedented computational potential, yet, in order to utilize them, users need mechanisms for selecting the right resources for the right job. Users and Virtual Organization administrators also need end-to-end mechanisms to evaluate the performance of resources and audit resources according to their advertised performance. This can be a complicated process, and when large infrastructures are involved, it becomes unmanageable and prohibitively tedious in the absence of specialized tools. Performance ranking in a large, shared, heterogeneous and dynamic environment is a complex task because it needs to be done in an efficient and unobtrusive way. At the same time, it has to address many different types of application that come from several Virtual Organizations. This thesis presents a methodology for putting correct, meaningful and contextualized performance information at the user's disposal, thus facilitating the ranking of computational resources based on customizable criteria. Contextualization is achieved by enriching the measurements with metadata about when, where, how and in many cases under what circumstances the measurement is obtained. The thesis proceeds to propose a user-driven approach for ranking resources by employing custom ranking functions. GridBench is an extensible tool that has been designed and implemented in the context of this thesis and along the lines of this methodology. It allows for context-augmented performance evaluation using several types of benchmarks, ranging from synthetic micro-benchmarks to real-world parallel applications. It demonstrates how the evaluation and ranking process, an otherwise complicated and tedious task, can be simplified. GridBench features a user-friendly graphical interface that facilitates the invocation of tests and benchmark and the collection, archival and analysis of results. A primary component, SiteRank, enables the interactive user-driven creation of custom ranking functions and provides a ranking of resources according to a users' specification. The methodology and tools are applied through several experiments to the largest production Grid infrastructure in existence today. Among the arguments of the thesis is that the use of evidence-based "measured" data, in contrast to the "quoted" data advertised in information services by resource owners, is imperative. The existing de facto approach for selecting resources according to performance is shown to be insufficient and unreliable.