A bioinspired system for acoustic scene analysis

Abstract

Η ακουστική ανάλυση χωρικού πεδίου είναι ένα αχανές ερευνητικό πεδίο το οποίο πα- ραδοσιακά επικεντρώνεται στην αναγνώριση του ήχου στο ακουστικό φάσμα καθώς και στον τρόπο με τον οποίο ο εγκέφαλος διαχωρίζει και ταξινομεί τις διάφορες πηγές ήχου σε σημασιολογικά αντικείμενα. Οι προγενέστερες έρευνες επικεντρώθηκαν εύλογα κυ- ρίως στο ακουστικό φάσμα, που είναι και το πιο οικείο στους ανθρώπους. Το ακουστικό φάσμα εμπεριέχει, την ανθρώπινη επικοινωνία, το θόρυβο των αυτοκινήτων, τον άνεμο, τα κελάιδισμα των πουλιών, το γάβγισμα των ζώων, το μουγκρητό, το σφύριγμα… και οι γλώσσες μας είναι πλούσιες στο να τα περιγράφουν όλα αυτά. Ωστόσο, πολλές πληροφορίες περιέχονται και σε άλλα συχνοτικά φάσματα, όπως το φάσμα των υπερήχων και το φάσμα των πολύ χαμηλών συχνοτήτων (σεισμικό φάσμα). ́Ενα παράδειγμα είναι οι νυχτερίδες και τα δελφίνια που ως γνωστό χαρακτηρίζονται α- πό την ικανότητα τους να εντοπίζουν και να αρπάζουν την τροφή τους αναδίδοντας και λαμβάνοντας υπερήχους. Αρκετά είδη πουλιών, τα ποντίκι, τα ψάρια και τα έντομα με πα- ρόμοιο τρόπο κυνηγούν τη λεία τους, βρίσκουν ταίρι και επικοινωνούν μέσω υπερήχων. Οι δονήσεις χαμηλών συχνοτήτων χρησιμοποιούνται από τους σκορπιούς κατά τη νυκτερινή αναζήτηση σκουληκιών. ́Εχουν την ικανότητα να ανιχνεύουν μετατοπίσεις την άμμου της τάξης του 0.1nm και να εντοπίζουν την κατεύθυνση του θηράματος τους. Επιπλέων, οι ελέφαντες με το κτύπημα του ποδιού τους στο έδαφος, αναδίδουν και λαμβάνουν σεισμικές δονήσεις στο φάσμα 10Hz-40Hz, καθιστώντας έτσι δυνατή την επικοινωνία τους σε απόσταση μέχρι και 16km. Τέλος, οι φάλαινες χρησιμοποιούν χαμηλές συχνότητες της τάξης των 14Hz αναδίδοντας με ένταση που ξεπερνά τα 180dB re 1μPa στο 1m, για την επικοινωνία τους σε μεγάλες αποστάσεις (1600km). Το παρουσιασθέν ερευνητικό έργο χρησιμοποιεί ένα ευρύ ακουστικό φάσμα συχνο- τήτων, για την εξαγωγή πληροφοριών που αφορούν ένα χωρικό πεδίο. Μέρος αυτής της εργασίας εμπεριέχει τη δόμηση ενός πρωτότυπου συστήματος συλλογής ακουστικών δεδομένων αφού δεν υπάρχει εμπορικά διαθέσιμο σύστημα που να έχει τη δυνατότητα να λειτουργεί σε ένα τόσο ευρύ συχνοτικό φάσμα, χρησιμοποιώντας πολλαπλούς διανε- μημένους αισθητήρες και διατηρώντας ακριβές συγχρονισμό και υψηλή δυναμική περιοχή. Επιπρόσθετα, το εν λόγω σύστημα σχεδιάστηκε με νευρο-μορφική προσέγγιση καθιστών- τας δυνατή τη υλοποίηση βιο-εμπνευσμένων μοντέλων σε επίπεδο υλικού χρησιμοποιώντας διατάξεις πεδιακά προγραμματιζομένων πυλών (FPGAs) που βρίσκονται στις θυγατρικές κάρτες που είναι τοποθετημένες στους ακουστικούς κόμβους. Επιπλέων, αναπτύχθηκα- ν/εφαρμόστηκαν ποικίλοι βιο-εμπνευσμένοι αλγόριθμοι, για την επεξεργασία των δεδο- μένων που συλλέχθηκαν και την δημιουργία σημασιολογικών ακουστικών αντικειμένων. Τέλος, αυτά τα ακουστικά αντικείμενα ταξινομούνται και διαβαθμίζονται αυτόματα μέσω του συστήματος ακουστικής ανάλυσης χωρικού πεδίου σε πραγματικό χρόνο.

Acoustic scene analysis is a vast field that traditionally focuses on sound recognition in the audible range and on how the brain segregates and classifies different sound sources into meaningful objects. Previous research has mainly been focused on the audible range, since this is the most familiar to humans. It is filled with human communication, cars noises, wind, birds songs, animals barking, roars, whistles... and our languages are rich in words to describe them all. A lot of information however is also contained in other frequency ranges, such as the ultrasonic range and the very-low frequency range (seismic range). For example, bats and dolphins are well known for their ability to locate and catch food through ultrasonic vocalisation and reception. Similarly, several bird species, mice, fish and insects also hunt for prey, find a mate, or communicate through ultrasonic sounds. Low-frequency vibrations are used by sand scorpions to find worms at night. They can detect variations in sand as small as 0.1nm and pinpoint the direction of their prey. Furthermore, elephants communicate up to 16km away by stamping their legs on the ground to ‘vocalise’ and ‘listening’ for seismic vibrations through their legs, in the 10Hz-40Hz range. Finally, whales use frequencies as low as 14Hz to communicate over huge distances (1600km) by vocalising at volumes that exceed 180dB re 1μPa at 1m. The presented research utilizes a broad acoustic frequency range in order to ex- tract information about a scene. Since there is no commercially available hardware that can tackle such a broad frequency range from multiple distributed sensors and maintain accurate timing, whilst maintaining a very high dynamic range, part of this work involved building a unique acoustic data collection system. In addition, this system was designed with neuromorphic applications in mind and thus al- lows hardware implementation of bioinspired models through FPGAs contained on daughterboards mounted on the acoustic nodes. Furthermore, various bioinspired algorithms were developed/implemented, to process the collected data and to create meaningful auditory objects. Finally, these objects were automatically classified as part of a real-time auditory scene analysis system.