Virtual reality gaming based on brain-computer interfacing and the role of cognitive skills

Abstract

Electroencephalography (EEG) records the electrical activity of the brain, which can be decoded and processed to understand the physical and psychological state of individuals to improve the quality of life in both healthy and clinical populations. EEG signals are used to detect abnormalities of the brain in routine clinical practice, as well as for neurofeedback, or to control external devices or applications, such as controlling an exoskeleton, as is the case in Brain-Computer Interface (BCI) systems. Extensive research has been conducted in the field of BCI, with a notable focus on Motor Imagery (MI) in recent years. Despite significant advancements in algorithmic development, the accuracy rates of these systems persistently lag expectations. This discrepancy underscores a notable gap in the literature, wherein insufficient attention has been directed toward elucidating the cognitive mechanisms that underpin effective mental imagery. Hence, there is a clear need for further studies aimed at discerning the cognitive processes associated with enhanced MI performance, thereby addressing this critical shortfall in current research. To address the aforementioned challenges, the first part of the dissertation explores the most popular approaches and best practices for designing and implementing cognitive gaming interventions that combine BCI systems with Virtual Reality (VR). It focuses on interventions that target cognitive skills related to perception, visuospatial attention, and visuospatial memory. To this purpose, the techniques and algorithms that are commonly used for data pre-processing, feature extraction, and classification in such interventions were reviewed. Issues related to BCI-VR Cognitive Gaming were discussed, including the BCI paradigms, the action tasks and environments, user characteristics, algorithms, channels, accuracy, and the most prominent findings. Furthermore, the current challenges, limitations, future research directions, and potential commercial applications of BCI-VR in cognitive gaming were investigated. The second part of the dissertation introduces a novel BCI framework combined with VR gaming having the potential to advance human-computer interaction by providing immersive and intuitive control mechanisms. This part of the study aimed to evaluate the performance of BCI-VR in a goalkeeper gaming task and explore the influence of cognitive abilities on BCI performance using Motor Imagery. Forty-four healthy volunteers participated in the study who carried out a BCI-VR Goalkeeper task and underwent a left-hand versus right-hand movement imagery task while wearing a VR headset. Twenty-two participants carried out the Flanker task and the Spatial Cueing task and another twenty-two participants carried out the Mental Body Rotation (MBRT) and Spatial Orientation (SOT) tasks. Six classification algorithms were employed for offline and real-time analysis. The Random Forest algorithm exhibited the highest accuracy rates both offline (Mean accuracy rate = 82.4%) and in real-time (Mean accuracy rate = 71.6%). Results from the Flanker task revealed a significant positive correlation between the mean accuracy for the congruent trials of the Flanker task and the mean offline RF classification accuracy in the BCI-VR Goalkeeper task, (r(22) = .46, p = .03). Additionally, High Achievers in the BCI-VR Goalkeeper task had higher benefits from attentional cues in service of perception than from attentional cues in service of visual working memory (VWM), (F(1,20) = 9.09, p = .007, n2 = .07). These findings suggest the impact of cognitive abilities on BCI-VR performance and emphasize the need to consider cognitive mechanisms and develop cognitive training interventions to enhance humans to produce appropriate EEG patterns while improving BCI accuracy. Further research should explore other cognitive factors and strive to improve the usability and effectiveness of BCI-VR systems for real-world applications. Overall, the current findings contribute to advancing BCI technology and its potential for neurorehabilitation, assistive technologies, and gaming entertainment.

Η ηλεκτροεγκεφαλογραφία (EEG) καταγράφει την ηλεκτρική δραστηριότητα του εγκεφάλου, η οποία μπορεί να αποκωδικοποιηθεί και να υποβληθεί σε επεξεργασία για να κατανοηθεί η φυσική και ψυχολογική κατάσταση των ατόμων για τη βελτίωση της ποιότητας ζωής τόσο σε υγιείς όσο και σε κλινικούς πληθυσμούς. Τα σήματα EEG χρησιμοποιούνται για την ανίχνευση ανωμαλιών του εγκεφάλου στη συνήθη κλινική πρακτική, καθώς και για νευροανάδραση ή για τον έλεγχο εξωτερικών συσκευών ή εφαρμογών, όπως ο έλεγχος ενός εξωσκελετού, όπως συμβαίνει στα συστήματα Διεπαφής Εγκεφάλου-Υπολογιστή (Brain Computer Interfacing (BCI)). Τα τελευταία χρόνια έχει διεξαχθεί εκτενής έρευνα στον τομέα του BCI, με αξιοσημείωτη εστίαση στις Κινητικές Εικόνες (Motor Imagery (MI)). Παρά τις σημαντικές προόδους στην αλγοριθμική ανάπτυξη, τα ποσοστά ακρίβειας αυτών των συστημάτων υστερούν σημαντικά στις προσδοκίες μας. Υπάρχει ένα αξιοσημείωτο κενό στη βιβλιογραφία, όπου δεν έχει δοθεί επαρκής προσοχή στην μελέτη της αποσαφήνισης των γνωστικών μηχανισμών που στηρίζουν την αποτελεσματική νοερή κίνηση. Ως εκ τούτου, υπάρχει σαφής ανάγκη για περαιτέρω μελέτη των γνωστικών διεργασιών που σχετίζονται με την βελτιωμένη απόδοση για MI, αντιμετωπίζοντας έτσι αυτό το κρίσιμο θέμα στην τρέχουσα έρευνα. Για την αντιμετώπιση των προαναφερθεισών προκλήσεων, το πρώτο μέρος της διατριβής διερευνά τις πιο δημοφιλείς προσεγγίσεις και τις βέλτιστες πρακτικές για το σχεδιασμό και την εφαρμογή γνωστικών παρεμβάσεων με τη χρήση παιχνιδιών (gaming) που συνδυάζουν συστήματα BCI με Εικονική Πραγματικότητα (VR). Το μέρος αυτό επικεντρώνεται σε παρεμβάσεις που στοχεύουν σε γνωστικές δεξιότητες που σχετίζονται με την αντίληψη, την οπτικοχωρική προσοχή και την οπτικοχωρική μνήμη. Για το σκοπό αυτό, αναθεωρήθηκαν οι τεχνικές και οι αλγόριθμοι που χρησιμοποιούνται συνήθως για την προεπεξεργασία δεδομένων, την εξαγωγή χαρακτηριστικών και την ταξινόμηση σε τέτοιες παρεμβάσεις. Συζητήθηκαν ζητήματα που σχετίζονται με το Γνωστικό Παιχνίδι BCI-VR, συμπεριλαμβανομένων των παραδειγμάτων BCI, των εργασιών και των περιβαλλόντων δράσης, των χαρακτηριστικών των χρηστών, των αλγορίθμων, των καναλιών, της ακρίβειας BCI και των πιο σημαντικών ευρημάτων. Επιπλέον, διερευνήθηκαν οι τρέχουσες προκλήσεις, οι περιορισμοί, οι μελλοντικές ερευνητικές κατευθύνσεις και οι πιθανές εμπορικές εφαρμογές του BCI-VR για γνωστικά παιχνίδια gaming. Στο δεύτερο μέρος της διατριβής εισάγεται ένα νέο πλαίσιο BCI σε συνδυασμό με παιχνίδια VR που έχουν τη δυνατότητα να προωθήσουν την αλληλεπίδραση ανθρώπου-υπολογιστή παρέχοντας εμβυθιστικούς και διαισθητικούς μηχανισμούς ελέγχου. Αυτό το μέρος της μελέτης είχε ως στόχο να αξιολογήσει την απόδοση του BCI-VR σε μια δραστηριότητα παιχνιδιού τερματοφύλακα και να διερευνήσει την επιρροή των γνωστικών ικανοτήτων στην απόδοση BCI χρησιμοποιώντας MI. Σαράντα τέσσερις υγιείς εθελοντές συμμετείχαν στα πειράματα BCI-VR Goalkeeper και υποβλήθηκαν σε μια δραστηριότητα νοερής κίνησης αριστερού έναντι δεξιού χεριού. Είκοσι δύο συμμετέχοντες πραγματοποίησαν την εργασία Flanker και την εργασία Spatial Cueing και άλλοι είκοσι δύο συμμετέχοντες πραγματοποίησαν τις εργασίες Mental Body Rotation (MBRT) και Spatial Orientation (SOT). Έξι αλγόριθμοι ταξινόμησης χρησιμοποιήθηκαν για ανάλυση σε μη πραγματικό (offline) και σε πραγματικό χρόνο (real-time). Ο αλγόριθμος Random Forest παρουσίασε τα υψηλότερα ποσοστά ακρίβειας τόσο σε μη πραγματικό χρόνο (Mέση ακρίβεια = 82.4%) όσο και σε πραγματικό χρόνο (Mέση ακρίβεια = 71.6%). Τα αποτελέσματα από την εργασία Flanker αποκάλυψαν μια θετική συσχέτιση μεταξύ της μέσης ακρίβειας για τις αντίστοιχες δοκιμές της εργασίας Flanker και της μέσης ακρίβειας ταξινόμησης της εργασίας τερματοφύλακα BCI-VR, σε μη πραγματικό χρόνο, (r(22) = .46, p = .03). Επιπρόσθετα, τα άτομα με τη μεγαλύτερη απόδοση (High Achievers) στην εργασία τερματοφύλακα BCI-VR είχαν μεγαλύτερα οφέλη από τα σημάδια προσοχής που σχετίζονται με την αντίληψη έναντι των συνθημάτων προσοχής που σχετίζονται με την οπτική μνήμη εργασίας (VWM), (F(1,20) = 9.09, p = .007, n2 = .07). Αυτά τα ευρήματα υποδεικνύουν τον αντίκτυπο των γνωστικών ικανοτήτων στην απόδοση BCI-VR και τονίζουν την ανάγκη να ληφθούν υπόψη γνωστικοί μηχανισμοί και να αναπτυχθούν παρεμβάσεις γνωστικής εκπαίδευσης για να ενισχύσουν τους συμμετέχοντες να παράγουν κατάλληλα μοτίβα EEG βελτιώνοντας παράλληλα την ακρίβεια BCI. Περαιτέρω έρευνα θα πρέπει να διερευνήσει άλλους γνωστικούς παράγοντες με σκοπό να βελτιώσει τη χρηστικότητα και την αποτελεσματικότητα των συστημάτων BCI-VR για εφαρμογές πραγματικού κόσμου. Συνοψίζοντας, τα τρέχοντα ευρήματα συμβάλλουν στην προώθηση της τεχνολογίας BCI και των δυνατοτήτων της για νευροαποκατάσταση, υποστηρικτικές τεχνολογίες και ψυχαγωγία με τη χρήση παιχνιδιών.