Automatic emotion recognition from body movements

Abstract

Οι άνθρωποι είναι συναισθηματικά όντα και τα συναισθήματά τους επηρεάζουν τον τρόπο με τον οποίο αποδίδουν και αλληλεπιδρούν με τους υπολογιστές. Η αναγνώριση συναισθημάτων είναι σημαντική σε μια ποικιλία εφαρμογών όπως έξυπνα συστήματα διδασκαλίας, παιχνίδια υπολογιστή, ρομποτική, ιατρική και ανθρώπινη αλληλεπίδραση με υπολογιστή. Οι πιο εκφραστικοί τρόποι για τον άνθρωπο είναι η στάση του σώματος και η κίνηση και έχει λάβει πρόσφατα την προσοχή από ερευνητές στη χρήση για την αναγνώριση συναισθημάτων. Παρά αυτές τις προόδους, υπάρχει ένα σημαντικό χάσμα στα χαμηλά ποσοστά αυτόματης αναγνώρισης των συναισθημάτων που προέρχονται από τη σωματική συμπεριφορά. Η παρούσα διατριβή αντιμετωπίζει ελλείψεις στην αυτόματη αναγνώριση συναισθημάτων και προτείνει διάφορες μεθόδους για ένα αυτόματο σύστημα αναγνώρισης συναισθημάτων. Αρχικά, παρουσιάζεται μια μέθοδος που χρησιμοποιεί τις στάσεις του σώματος για την ανίχνευση συναισθημάτων σε ένα περιβάλλον παιχνιδιού. Παρόλο που δεν υπήρχαν διαθέσιμες χρονικές πληροφορίες, οδήγησε σε ικανοποιητικά επίπεδα αναγνώρισης. Δεύτερον, παρουσιάζεται μια μέθοδος προσθήκης χρονικών πληροφοριών με συστήματα σημειογραφίας υψηλού επιπέδου, εμπνευσμένη από διάφορες χρονικές τεχνικές και τη θεωρία του Laban, έχουμε δημιουργήσει ένα μοντέλο που πέτυχε ποσοστά αναγνώρισης 89%, δείχνοντας ότι οι χρονικές πληροφορίες μαζί με συστήματα σημειογραφίας υψηλού επιπέδου μπορούν να αυξήσουν το Αποτελέσματα. Τρίτον, παρουσιάζεται μια μέθοδος αυτόματης κατάτμησης των κινήσεων του σώματος, προτείνοντας συμμετρία για αυτόματη τμηματοποίηση, η οποία μπορεί να χρησιμοποιηθεί ως είσοδος για πλήρως αυτοματοποιημένα συστήματα αναγνώρισης συναισθημάτων. Τέλος, παρουσιάζεται μια μέθοδος ταξινόμησης συναισθημάτων χρησιμοποιώντας βαθιά μοντέλα CNN στα τρισδιάστατα ακατέργαστα δεδομένα, με αποτέλεσμα υψηλό ποσοστό αναγνώρισης 81% για δυαδική ταξινόμηση που δείχνει μια πολλά υποσχόμενη διαδρομή για μελλοντική έρευνα.

Humans are emotional beings, and their feelings influence the way they perform and interact with computers. Emotion recognition is important in a variety of applications such as intelligent tutoring systems, computer games, robotics, medical and human computer interaction. The most expressive modalities for humans is body posture and movement and it has lately received attention from researchers in the use for emotion recognition. Despite these advances, there is a significant gap in low recognition rates on emotion derived from body modality. This thesis addresses shortcomings in emotion recognition and it proposes various methods towards an automatic emotion recognition system. Firstly, a method using body postures to detect emotions in a game environment is presented. Even though there was no temporal information available it resulted in satisfactory levels of recognition. Secondly a method adding temporal information with high level notational systems is presented inspired by several temporal techniques and the theory of Laban, we have created a model that achieved an 89% recognition rates, showing that temporal information along with high level notation systems can increase the results. Thirdly a method of automatic segmentation of body movements is presented, proposing symmetry for automatic segmentation, which can be used as an input for fully automated systems of recognising emotions. Finally, a method to classify emotions using deep CNN models on the 3D raw data is presented resulting to a high recognition rate of 81% for binary classification that shows a very promising path for future research.