A novel distributed artificial intelligence framework with machine learning for 5G/6G communication

Abstract

Τα δίκτυα κινητής τηλεφωνίας νέας γενιάς, όπως το 5G και το επερχόμενο 6G, αντιμετωπίζουν πολλές τεχνικές προκλήσεις για την επίτευξη των πολύ φιλόδοξων προτύπων που θέτει η ερευνητική και η βιομηχανική κοινότητα. Αυτές οι τεχνικές προκλήσεις περιλαμβάνουν: i) υποστήριξη για πολύ μεγάλο αριθμό συσκευών στο ίδιο δίκτυο. ii) παροχή εξαιρετικά αξιόπιστης επικοινωνίας χαμηλής καθυστέρησης και iii) παροχή υψηλής ποιότητας υπηρεσιών όσον αφορά το ρυθμό μετάδοσης. Λαμβάνοντας υπόψη τις παραπάνω προκλήσεις, προκύπτουν συγκεκριμένα ζητήματα που σχετίζονται με τη διαχείριση και τον έλεγχο του δικτύου, συμπεριλαμβανομένου του αποτελεσματικού ελέγχου εγκατάστασης επικοινωνίας και γρήγορης λήψης αποφάσεων. Για την αποτελεσματική διαχείριση των παραπάνω ζητημάτων είναι απαραίτητη μια κοινή προσέγγιση διαχείρισης και ελέγχου. Στην παρούσα διατριβή, εμπνευσμένοι από τα αναμενόμενα οφέλη της υιοθέτησης προσεγγίσεων Τεχνητής Νοημοσύνης/Artificial Intelligence (AI) και Μηχανικής Μάθησης/Machine Learning (ML) στα δίκτυα 5G και 6G, προτείνουμε και αναπτύσσουμε ένα νέο πλαίσιο κατανεμημένης τεχνητής νοημοσύνης/distributed AI (DAI) ικανό να διευκολύνει την επίτευξη των φιλόδοξων στόχων που έχουν τεθεί. Το προτεινόμενο πλαίσιο DAI χρησιμοποιεί πράκτορες Belief Desire Intention (BDI) που επεκτείνονται με δυνατότητες ML. Αναφερόμαστε σε αυτούς ως πράκτορες BDIx. Οι πράκτορες BDIx βρίσκονται στις κινητές συσκευές και σχηματίζουν ένα σύστημα πολλαπλών πρακτόρων που ενσωματώνει ασαφή λογική (Fuzzy Logic) και νευρωνικά δίκτυα με οπισθοδιάδοση (Back-Propagation Neural Networks) γνωστικό μέρος των πρακτόρων. Για να δείξουμε τις δυνατότητες του πλαισίου DAI, εστιάζουμε στην πτυχή της επικοινωνίας μεταξύ συσκευών (D2D). Η εγγενώς κατανεμημένη φύση της, με τεράστιο αριθμό εξοπλισμού χρήστη (UEs) την καθιστά ελκυστική για την εφαρμογή και επίδειξη του πλαισίου DAI, ενσωματώνοντας πράκτορες BDIx στα D2D UEs. Το κύριο πλεονέκτημα της επικοινωνίας D2D είναι ότι δεν περιορίζεται από τις αδειοδοτημένες ζώνες συχνοτήτων και είναι επίσης διαφανής στο κυψελοειδές δίκτυο. Δηλαδή, επιτρέπει στα γειτονικά UEs να παρακάμπτουν το σταθμό βάσης (BS) και να εγκαθιστούν απευθείας συνδέσεις μεταξύ τους. Επιτρέποντας αυτό, μπορεί να επιτευχθεί βελτιωμένη φασματική απόδοση, ενεργειακή απόδοση, ρυθμός μετάδοσης δεδομένων, καθυστέρηση, παρεμβολές και δικαιοσύνη. Οι προαναφερθείσες βελτιώσεις στις επιδόσεις του δικτύου αποτέλεσαν την αιχμή του δόρατος για έναν τεράστιο όγκο έρευνας στον τομέα των D2D, ο οποίος εντόπισε σημαντικές προκλήσεις που πρέπει να αντιμετωπιστούν πριν από την πλήρη αξιοποίηση των δυνατοτήτων τους στο 5G και 6G. Το πλαίσιο DAI αναμένεται να αποτελέσει υποστηρικτικό πυλώνα για την αντιμετώπιση αυτών των προκλήσεων. Επιπλέον, μέσω του συγκεκριμένου παραδείγματος της επιλογής τρόπου λειτουργίας στο D2D 5G, σχεδιάζουμε και αναπτύσσουμε ένα λεπτομερές σχέδιο πλαισίου λύσης DAI (DAIS), συζητάμε τις πολυπλοκότητες υλοποίησης και τις τεχνολογικές πτυχές και στη συνέχεια υλοποιούμε το σχέδιο DAIS. Επιδεικνύουμε τα οφέλη του, όπως για παράδειγμα τις δυνατότητες του πράκτορα BDIx στην ενδοεπικοινωνία και τη συνεργασία με αποτελεσματικό, κατανεμημένο, αυτόνομο και ευέλικτο τρόπο, προσφέροντας έτσι βελτιωμένες επιδόσεις. Πραγματοποιούνται εκτεταμένες προσομοιώσεις χρησιμοποιώντας αντιπροσωπευτικές μετρικές (φασματική αποδοτικότητα και κατανάλωση ενέργειας), τις γνωστές μετρικές ποιότητας υπηρεσιών και ικανοποίησης πελατών (QoS και QoE), προσαρμοσμένες μετρικές (D2D Effectiveness, Stability και Productivity Metrics) και ειδικές μετρικές (Cluster Formation, Message Exchange και Control Decision Delay). Επιπλέον, πραγματοποιείται συγκριτική αξιολόγηση σε στατικό περιβάλλον έναντι του κατανεμημένου ρυθμού αθροίσματος με παγκόσμια γνώση, καθώς και δυνητικά ανταγωνιστικών τεχνικών, όπως η Fuzzy Adaptive Resonance Theory (Fuzzy ART), Density-Based Scan (DBSCAN), Gaussian expectation-maximization (G-MEANS) και Minimum Entropy Clustering (MEC), προσαρμοσμένες στις ανάγκες της επικοινωνίας D2D. Επιπλέον, πραγματοποιείται συγκριτική αξιολόγηση σε δυναμικό περιβάλλον έναντι της προσέγγισης Sum Rate Approach με σφαιρική γνώση, καθώς και δυνητικά ανταγωνιστικών τεχνικών, όπως η Enhanced Single Hop Relay (SHRA). Στη διατριβή συζητούνται και αναλύονται σημαντικά διδάγματα, καθώς και μελλοντικές εργασίες. Συνολικά, η διατριβή αποδεικνύει ότι το πλαίσιο DAI μπορεί να προσφέρει γρήγορο έλεγχο του δικτύου με λιγότερη ανταλλαγή μηνυμάτων, μειωμένη επιβάρυνση σηματοδοσίας και γρήγορη λήψη αποφάσεων. Επίσης, μπορεί να υποστηρίξει μηχανισμούς αυτοθεραπείας και συνεργατικά μπορεί να λειτουργήσει ως αυτοοργανωμένο δίκτυο. Επιπλέον, μπορεί να αξιοποιήσει υπάρχουσες υλοποιήσεις, π.χ. τεχνητά νευρωνικά δίκτυα, για την αντιμετώπιση οποιωνδήποτε άλλων προκλήσεων D2D ή οποιωνδήποτε άλλων προκλήσεων 5G και 6G.

New generation mobile networks, such as 5G and forthcoming 6G, face many technical challenges in reaching the very ambitious standards set forth by the research and the industrial community. These technical challenges include: i) support for a very large number of devices under the same network; ii) to provide an ultra-reliable low latency communication; iii) to be dynamic and adaptable; and iv) to provide high service quality and quantity in terms of bandwidth. Given the above challenges, specific issues related to network management and control arise, including efficient communication establishment control, and a fast decision and disaster recovery. To handle above issues effectively a joint management and control approach becomes necessary, with autonomous and adaptable actions. In this thesis, inspired by the expected benefits of adopting Artificial Intelligence (AI) and Machine Learning (ML) approaches in 5G and 6G networks, we propose and develop a novel Distributed AI (DAI) framework with AI/ML able to facilitate the achievement of the ambitious goals set forth. The proposed DAI framework utilises Belief Desire Intention (BDI) agents extended with ML capabilities. We refer to these as BDIx agents. The BDIx agents reside on the mobile devices forming a multi-agent system (MAS) integrating Fuzzy Logic and Back-Propagation Neural Network for Reinforcement Learning at the perception/cognitive part of the agents. To illustrate the potential of the DAI framework, we focus on the aspect of Device-to-Device (D2D) communication in 5G and beyond networks. Its inherently distributed nature, with a vast number of user devices/User Equipment (UEs) make it appealing for the application and demonstration of the DAI framework, incorporating BDIx agents in the D2D UEs. The main advantage of D2D communication is that it is not constrained by the licensed frequency bands and also it is transparent to the cellular network. That is, it permits adjacent UEs to bypass the Base Station (BS) and establish direct links between them. By enabling this, improved spectral efficiency, energy efficiency, data rates, throughput, delay, interference and fairness can be achieved. The above noted improvements in network performance spearheaded a vast amount of research in D2D, which identified significant challenges to be addressed before realizing their full potential in 5G and 6G. The DAI framework is expected to be a supporting pillar in addressing these challenges. Furthermore, through the specific example of Mode Selection in D2D 5G, we design and develop a detailed DAI Solution (DAIS) framework plan, discuss implementation complexities and technology aspects, and then implement the DAIS algorithm/Plan, executed by the BDIx agents at a static and dynamic network with speed and direction. We demonstrate its benefits, like for example the BDIx agent's capabilities in intercommunication and cooperation in an efficient, distributed, autonomous and flexible manner, thus offering improved performance. Extensive simulative evaluations, using representative metrics (Spectral Efficiency, and Power Consumption), the well known quality of service and customer satisfaction metrics (QoS and QoE), custom made metrics (D2D Effectiveness, Stability, and Productivity Metrics), and specific metrics (Cluster Formation, Message Exchange, and Control Decision Delay), are carried out. Additionally, a comparative evaluation is performed in a static environment against Distributed Sum Rate (DSR) with global knowledge, as well as potentially competing techniques, such as Fuzzy Adaptive Resonance Theory (Fuzzy ART), Density-Based Scan (DBSCAN), Gaussian expectation-maximization (G-MEANS) and Minimum Entropy Clustering (MEC), customised to the needs of D2D Communication. Moreover, a comparative evaluation is performed in a dynamic environment that has speed and direction against Distributed Sum Rate (DSR) approach with global knowledge, as well as potentially competing techniques, such as Enhanced Single Hop Relay (SHRA). Important lessons learned are discussed and analysed in the thesis, as well as in future work. Overall, the thesis demonstrates that the DAI framework can offer fast network control with less messaging exchange, reduced signalling overhead and fast decision making. Also, it can support self-healing mechanisms and collaboratively can act as a self-organising network. Additionally, it can capitalise on existing implementations e.g., Artificial Neural Networks for tackling any other D2D Challenges or any other 5G and 6G challenges.