Real-time hardware acceleration of object detection for intelligent embedded vision systems

Abstract

Η ανίχνευση αντικειμένων είναι μια βασική και απαραίτητη λειτουργίας για ενσωματωμένα συστήματα όρασης, καθώς τους δίνει τη δυνατότητα να αλληλεπιδρούν με πιο έξυπνο τρόπο με το περιβάλλον τους και γίνεται όλο και πιο αναγκαία για ένα ευρύ φάσμα εφαρμογών που σχετίζονται με την επεξεργασία εικόνων, ρομποτική, συστήματα ασφαλείας και βίο-πληροφορική. Υφιστάμενα συστήματα που βασίζονται μόνο σε υλοποίηση σε λογισμικό παρέχουν την απαιτούμενη απόδοση μόνο για εικόνες μικρών διαστάσεων και κάτω από ιδανικές συνθήκες. Συνεπώς, υπάρχει ανάγκη για ανάπτυξη αρχιτεκτονικών σε υλικό που μπορούν να χρησιμοποιηθούν σε διάφορες εφαρμογές για εύρεση διαφορετικών αντικειμένων, σε εικόνες διαφόρων μεγεθών. Η διατριβή ασχολείται με μια βασική πρόκληση στις μέρες μας που σχετίζεται με το σχεδιασμό και την υλοποίηση αρχιτεκτονικών υλικού για την ανίχνευση αντικείμενων σε εικόνες, που να έχουν χαμηλή κατανάλωση ενέργειας και να λειτουργούν σε πραγματικό χρόνο, αξιοποιώντας τη χρήση αναδιατασσόμενου υλικού. Συγκεκριμένα, προτείνονται αρχιτεκτονικές για δύο αλγόριθμους, των αλγόριθμο Viola-Jones και τις διανυσματικές μηχανές υποστήριξης, με στόχο την ανίχνευση αντικειμένων σε πραγματικό χρόνο, διατηρώντας παράλληλα μια καλή ακρίβεια. Επιπλέον ένας ακόμη στόχος αυτής της διατριβής είναι η ανάπτυξη γενικών και επεκτάσιμων αρχιτεκτονικών υλικού, που να επιτρέπουν τη χρήση τους σε ένα ευρύ φάσμα εφαρμογών και διαφορετικές πλατφόρμες. Επιπλέον, ευφυείς μηχανισμοί ενσωματωθεί μαζί με τις προτεινόμενες αρχιτεκτονικές υλικού με σκοπό την περαιτέρω βελτίωση της απόδοσης. Επιπλέον, η διατριβή προτείνει μια μεθοδολογία για την περαιτέρω βελτίωση της απόδοσης των αλγορίθμων ανίχνευσης αντικειμένου με τη χρησιμοποίηση ακμών εικόνας, και τρισδιάστατων δεδομένων ώστε να επιτυχή την μείωση του αριθμού των παραθύρων που δημιουργούνται για μια εικόνα ώστε να αυξηθεί η συνολική απόδοση του συστήματος ανίχνευσης. Οι προτεινόμενες αρχιτεκτονικές αξιολογήθηκαν πειραματικά σε πλατφόρμες αναδιατασσόμενου υλικού και είναι ικανές να παρέχουν επεξεργαστικές επιδόσεις που ξεπερνούν τις 30 εικόνες ανά δευτερόλεπτο, επιτρέποντας να χρησιμοποιηθούν σε εφαρμογές ανίχνευσης αντικειμένων πραγματικού χρόνου.

Object detection is a necessary task for embedded vision systems as it enables them to interact more intelligently with their host environment, and increases their responsiveness and awareness with regards to their surroundings. The typical object detection process involves extracting information of an image/video frame at various scales and classifying it using a machine learning pattern recognition algorithm to determine the presence of objects of interest. Object detection is a tedious process that needs to be performed within real-time constraints. Hence, this thesis addresses a key challenge nowadays related to the design and implementation of a hardware architecture for visual object detection in order to operate under low power requirements and facilitate real-time performance, both important constraints in embedded applications, while exploiting the use of reconfigurable hardware (FPGAs). In particular, two popular algorithms are implemented, the Viola-Jones and Support Vector Machines with the overall aim in increasing the performance of real-time object detection while maintaining the accuracy. Another goal of the thesis is to develop novel, generic and scalable architecture models in order to allow their usage in a wide range of applications and different hardware platforms. Furthermore, intelligent mechanisms are integrated along with the proposed hardware architecture in order to further improve performance or reduce computation overheads. In addition, and beyond the hardware implementation contributions, the thesis proposes a methodology to further improve the performance of object detection algorithms by utilizing edge image features, 3D depth data and classification in order to reduce the number of windows generated for an image and, hence, increase the overall performance of the detection problem. The proposed architectures are experimentally evaluated on Field Programmable Gate Arrays (FPGAs) computing platforms demonstrating real-time performance (over 30 frames-per second) that enables them to be used in real-time object detection applications, and maintain detection accuracy comparable to software implementations.