Intelligent monitoring of hardware components using artificial neural networks: a case study using networks on chip

Abstract

The aim of this dissertation is to design and develop an intelligent way to monitor hardware with the use of robust Artificial Neural Networks (ANNs). Power consumption, reliability and robustness are major limitations in hardware today and researchers have been constantly working on reducing those issues. ANNs can be used for monitoring and detection purposes since they have excellent characteristics such as generalization capability, robustness and excellent prediction results. For the development of the intelligent monitoring, we will use NoCs (Networks-on-Chips) as case study. NoCs provide scalable on-chip communication and are expected to be the dominant interconnection architectures in multicore and manycore systems. This work presents an intelligent dynamic power management policy with improved predictive abilities based on supervised online learning of the system status (i.e. expected future utilization link levels), where links are turned off and on via the use of a small and scalable neural network. Simulation results with various synthetic traffic models over various network topologies show that the proposed work can reach up to 13% power savings when compared to a trivial threshold computation, at very low (< 4%) hardware overheads. Additionally, this work presents a design exploration framework for developing a high-level ANN for fault detection in hardware systems. Designing an ANN in order to be used for fault detection purposes includes different parameters. Through this work, those parameters are presented and analysed based on simulations. Moreover, after the development of the ANN, in order to evaluate it, a case study scenario based on Networks on Chip is used for detection of inter router link faults. Simulation results with various synthetic traffic models show that the proposed work can detect up to 99% of inter-router link faults with a delay less than 60 cycles. Added to this, the size of the ANN is kept relatively small and can be implemented in hardware easily. Synthesis results indicate an estimated amount of 0.0633mW power consumption per neuron for the implemented ANN when computing a complete cycle. Lastly, this work also provides a study for analysing the robustness of ANNs used for prediction purposes, based on weights alterations and an intelligent method is developed for increasing the robustness of the ANNs with minimum additional hardware overheads. Simulation results with the use of Princeton Application Repository for Shared-Memory Computers (PARSEC) benchmarks show that our method can maintain the robustness of the ANNs at high levels (around 98% prediction accuracy) with minimum additional hardware overheads. Overall, the contributions of this dissertation strongly advance the state-of-the art in the field of intelligent monitoring of different hardware and NoCs, combined with the use of innovative intelligent methods and techniques based on ANNs.

Ο στόχος αυτής της εργασίας είναι να σχεδιάσει και να αναπτύξει ένα έξυπνο τρόπο παρακολούθησης υλικού και δικτύων με τη χρήση εύρωστων Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ). Η κατανάλωση ρεύματος, τα σφάλματα σύνδεσης και η ευρωστία αποτελούν σημαντικους περιορισμούς στο υλικό σήμερα και οι ερευνητές εργάζονται συνεχώς για τη μείωση αυτών των προβλημάτων. Τα ΤΝΔ μπορούν να χρησιμοποιηθούν για σκοπούς παρακολούθησης και ανίχνευσης αφού έχουν εξαιρετικά χαρακτηριστικά όπως ικανότητα γενίκευσης, ευρωστία και εξαιρετικές δυνατότητες πρόβλεψης. Για τη δημιουργία του έξυπνου τρόπου παρακολούθησης, θα χρησιμοποιήσουμε τα Δίκτυα σε Τσιπ (ΔΣΤ) σαν σενάριο μελέτης. Τα ΔΣΤ παρέχουν επεκτάσιμη επικοινωνία στα τσιπ και αναμένεται να είναι οι κυρίαρχες αρχιτεκτονικές δισύνδεσης σε συστήματα πολλαπλών πυρήνων. ΄Εχουν γίνει αρκετές προσπάθειες για μείωση της κατανάλωσης ισχύος τόσο σε επίπεδο κυκλώματος όσο και σε επίπεδο συστήματος. Οι περισσότερες προηγούμενες ερευνητικές προσπάθειες έχουν προτείνει επιλεκτική εναλλαγή κατάστασης με απενεργοποίηση και ενεργοποίηση με βάση πληροφορίες σε επίπεδο συστήματος με βάση τα επίπεδα χρήσης. Οι περισσότεροι απ’ αυτούς τους μηχανισμούς επικεντρώνονται σε έναν απλό μηχανισμό στατικού ορίου το οποίο καθορίζει την απενεργοποίηση/ενεργοποίηση. Μέσα από τη δουλειά μας παρουσιάζουμε μια έξυπνη και δυναμική πολιτική διαχείρησης ενέργειας με βελτιωμένες προγνωστικές ικανότητες που βασίζεται σε εποπτευόμενη εκμάθηση της κατάστασης του συστήματος (δηλαδή αναμενόμενα μελλοντικά επίπεδα χρήσης συνδέσεων), όπου οι σύνδεσμοι απενεργοποιούνται και ενεργοποιούνται μέσω της χρήσης ενός μικρού και επεκτάσιμου νευρωνικού δικτύου. Τα αποτελέσματα προσομοίωσης μέσω του πλαισίου το οποίο αναπτύξαμε με διάφορα μοντέλα συνθετικής και ρεαλιστικής κυκλοφορίας σε διάφορες τοπολογίες δικτύων δείχνουν ότι ο προτεινόμενος μηχανισμός μπορεί να φτάσει εώς και 13% εξοικονόμηση ενέργειας σε σύγκριση με ένα τετριμμένο μηχανισμό υπολογισμού ορίου, σε πολύ χαμηλά (4%) γενικά έξοδα υλικού. Επιπλεόν, αυτή η δουλειά παρουσιάζει ένα πλαίσιο εξερεύνησης σχεδιασμού για την ανάπτυξη ενός τεχνητού νεωρωνικού δικτύου υψηλού επιπέδου για την ανίχνευση σφαλμάτων σε συστήματα υλικού. Ο σχεδιασμός ενός ΤΝΔ προκειμένου να χρησιμοποιηθεί για σκοπούς ανίχνευσης σφαλμάτων περιλαμβάνει διάφορες παραμέτρους. Μέσα από αυτή την εργασία, αυτές οι παράμετροι παρουσιάζονται και αναλύονται με βάση προσομοιώσεις. Επιπλέον, μετά την ανάπτυξη του ΤΝΔ, για την αξιολόγησή του, χρησιμοποιείται ένα σενάριο μελέτης βασισμένο σε ΔΣΤ για τον εντοπισμό σφαλμάτων σύνδεσης μεταξύ των δρομολογητών. Τα αποτελέσματα προσομοίωσης με διάφορα μοντέλα κυκλοφορίας δείχνουν ότι ο προτεινόμενος μηχανισμός μπορεί να ανιχνεύσει έως και το 99% των σφαλμάτων σύνδεσης μεταξύ των δρομολογητών με καθυστέρηση μικρότερη από 60 κύκλους. Επιπλέον, το μέγεθος του ΤΝΔ διατηρείται σχετικά μικρό και μπορεί να εφαρμοστεί εύκολα σε υλικό. Τα αποτελέσματα της σύνθεσης υποδεικνύουν μια εκτιμώμενη ποσότητα κατανάλωσης ισχύος 0,0633 mW ανά νευρώνα για το υλοποιημένο ΤΝΔ κατά τον υπολογισμό ενώς πλήρους κύκλου. Τέλος, αυτή η εργασία παρέχει επίσης μια μελέτη για την ανάλυση της ευρωστίας των ΤΝΔ που χρησιμοποιούνται για σκοπούς πρόβλεψης, με βάση τις αλλαγές βαρών και αναπτύσσεται επίσης μια έξυπνη μέθοδος για την αύξηση της ευρωστίας με ελάχιστα πρόσθετα έξοδα υλικού. Τα αποτελέσματα προσομοίωσης με τη χρήση ρεαλιστικών μοντέλων κίνησης με σημεία αναφοράς από το Princeton Application Repository for Shared Memory Computers (PARSEC) benchmark suite δείχνουν ότι η μέθοδός μας μπορεί να διατηρήσει την ευρωστία των ΤΝΔ σε υψηλά επίπεδα (περίπου 98% ακρίβεια πρόβλεψης) με ελάχιστα πρόσθετα έξοδα υλικού. Συνολικά, οι συνεισφορές αυτής της διατριβής προάγουν έντονα την τελευταία λέξη της τεχνολογίας στον τομέα της έξυπνης παρακολούθησης υλικού και ΔΣΤ σε συνδυασμό με τη χρήση καινοτόμων έξυπνων μεθόδων και τεχνικών που βασίζονται σε ΤΝΔ.