In search of self-control through computational modelling of internal conflict

Abstract

Η διατριβή προτείνει ένα καινοτόμο υπολογιστικό μοντέλο της εσωτερικής σύγκρουσης που αποσκοπεί στην περεταίρω κατανόηση αυτής της ιδιαίτερα σύνθετης και αινιγματικής κατάστασης του ανθρώπινου εγκεφάλου. Πιο συγκεκριμένα, ο σκοπός της διατριβής είναι η αναγνώριση ιδιαίτερων παραγόντων που επηρεάζουν και επιτρέπουν την επίλυση της εσωτερικής σύγκρουσης μέσω του αυτοελέγχου. Τα άτομα είναι πιθανών να βιώσουν μία εσωτερική σύγκρουση ενώ αξιολογούν τις επιλογές τους βάσει διαφορετικών κριτηρίων. Μία σύγκρουση αξιών αυτού του είδους μπορεί να επιλυθεί σαν να ήταν μια στρατηγική αναμέτρηση μεταξύ λογικών υποπρακτόρων του εγκεφάλου. Το συγκεκριμένο πλαίσιο αυτής της αναμέτρησης παρέχεται από το διάσημο παίγνιο, το Δίλημμα των Φυλακισμένων, όπου το αποτέλεσμα της αμοιβαίας συνεργασίας αντιστοιχεί στη συμπεριφορά του αυτοελέγχου. Το υπολογιστικό σύστημα που αναπτύχθηκε για τους σκοπούς αυτής της διατριβής πραγματοποιεί τη συγκεκριμένη θεώρηση της εσωτερικής σύγκρουσης υλοποιώντας δύο τεχνητά νευρωνικά δίκτυα ως δύο πράκτορες που ανταγωνίζονται στο Δίλημμα των Φυλακισμένων, όπου οι πράκτορες επιζητούν την μεγιστοποίηση των ατομικών απολαβών τους μέσω ταυτόχρονης και ανεξάρτητης μάθησης. Η προσέγγιση της εσωτερικής σύγκρουσης μέσω της θεωρίας παιγνίων εμπερικλείει ταυτόχρονα βιολογικό ρεαλισμό μέσω του επιλεγμένου νευρωνικού μοντέλου, της διαδικασίας μάθησης, καθώς και μέσω της συσχέτισης των πρακτόρων και των πράξεων τους με συγκεκριμένα κέντρα του εγκεφάλου και των λειτουργιών τους. Συγκεκριμένα, τα νευρωνικά δίκτυα κορυφών αποτελούνται από νευρώνες τύπου leaky integrate-and-fire ενώ η μάθηση υλοποιείται με την ενδυνάμωση της στοχαστικής συναπτικής μεταβίβασης όπως επίσης και με την από ανταμοιβή μεταβαλλόμενη spike-timing-dependent plasticity. Όπως επιδείχτηκε μέσω πολλαπλών προσομοιώσεων, το τεχνητό νευρωνικό σύστημα συμπεριφέρθηκε αποδοτικά στο πλαίσιο του θεωρητικού παιγνίου αφού οι πράκτορες μάθησης προσκόμισαν το βέλτιστο αποτέλεσμα για το σύστημα μέσω της αμοιβαίας συνεργασίας. Αυτό σημαίνει ότι η συμπεριφορά του αυτοελέγχου μπορεί όντως να επιτευχθεί μέσω της μάθησης και όπως έδειξαν επιπλέων αποτελέσματα ενισχύεται από την δυνατή μνήμη. Επιπροσθέτως, η ικανότητα των πρακτόρων να υιοθετήσουν βέλτιστες στρατηγικές σε σχέση με αυτή του ανταγωνιστή τους, επέτρεψε τον εντοπισμό συγκεκριμένων δομών αξιών που χαρακτηρίζουν εσωτερικές συγκρούσεις χαμηλής και υψηλής έντασης οι οποίες προωθούν ή παρεμποδίζουν την επίτευξη της συμπεριφοράς του αυτοελέγχου. Στη διαδικασία της απόκτησης των αποτελεσμάτων που σχετίζονται με το πρόβλημα της συμπεριφοράς του αυτοελέγχου, η διατριβή εφάρμοσε για πρώτη φορά spiking νευρωνικούς πράκτορες σε συνδυασμό με βιολογική ενισχυτική μάθηση σε ένα ιδιαίτερα απαιτητικό πρόβλημα πολλαπλών πρακτόρων. Επιπλέον, περαιτέρω αποτελέσματα με το σύστημά έδειξε ότι οι υψηλή παράτυπη πυροδότηση (high firing irregularity) σε υψηλούς ρυθμούς ενισχύει την μάθηση.

This thesis proposes a novel computational model of internal conflict which aims to provide further understanding on this highly complex and perplexing condition of the human brain. In particular, the purpose of this thesis is to identify specific factors which influence and enable internal conflict to be resolved by self-control behaviour. Individuals are likely to experience an internal conflict when evaluating the same outcomes of choice along distinct dimensions or criteria. A value conflict of this sort can be resolved as if it was a result of strategic interaction between rational subagents of the brain. The particular setting for this interaction is a well-studied theoretical game, the Iterated Prisoner’s Dilemma, where the mutual cooperation outcome of the game corresponds to the behaviour of self-control. The computational system developed for the purposes of this thesis realises this particular view of internal conflict by implementing two spiking neural networks as two agents competing in the Iterated Prisoner’s Dilemma, where the agents pursue individual value maximisation through simultaneous but independent learning. This high-level game theoretical approach to the problem of internal conflict incorporates at the same time biological realism through the employed neuronal model, the process of learning, as well as by relating the agents and their actions in the game with particular brain regions and their functioning. In particular, the spiking neural networks comprise of leaky integrate-and-fire neurons, while the learning process is implemented by reinforcement of stochastic synaptic transmission as well as by reward-modulated spike-timing-dependent plasticity with eligibility trace. Moreover, the action of cooperation and defection by each agent maps to a greater relative activity of fronto-parietal and limbic system areas respectively. As demonstrated through numerous simulations, the artificial neuronal system behaved efficiently in the game theoretical framework because the learning agents implemented the optimum result for the system through consistent mutual cooperation. Therefore self-control behaviour can indeed be learned (since it corresponds to mutual cooperation), and as showed by further results, it is enhanced by strong reward-correlated memory. Moreover, the ability of the agents to adopt optimal counter strategies as a response to their competitor’s, enabled the identification of particular value structures that characterise internal conflicts of low and high intensity that promote or hinder the attainment of self-control behaviour. In the process of obtaining the results which are relevant to the problem of self-control behaviour and internal conflict, this thesis work applied for the first time spiking neural agents combined with biological plausible reinforcement learning in a highly demanding multiagent task. In addition, further results with our system showed that high firing irregularity at high rates enhances learning.