Learning schemes for efficiently training neural networks on protein secondary structure prediction

Abstract

Το πεδίο της δημιουργίας μη-γραμμικών συναρτήσεων για την ταξινόμηση ή κατηγοριοποίηση δεδομένων από ακολουθίες αντιμετωπίζεται επί του παρόντος από μια ποικιλία μεθόδων Μηχανικής Μάθησης. Η πρόκληση αυτής της διαδικασίας αυξάνεται όταν πέραν από την πληροφορία που προηγείται ενός σημείου μιας ακολουθίας, η πληροφορία που έπεται αυτού του σημείου είναι επίσης σημαντική για την διεκπεραίωση μιας πρόβλεψης ή κατηγοριοποίησης. Πιο συγκεκριμένα, σε αυτή την κατηγορία προβλημάτων, η επεξεργασία ενός συγκεκριμένου σημείου της ακολουθίας δεδομένων γίνεται όχι μόνο με βάση την πληροφορία που προηγείται από τα αριστερά προς τα δεξιά του σημείου αυτού, αλλά και την πληροφορία που έπεται από τα δεξιά προς τα αριστερά του ίδιου σημείου. Η αρχιτεκτονική Νευρωνικών Δικτύων Αμφίδρομης Ανάδρασης (ΝΔΑΑ) σχεδιάστηκε από τους Baldi et al. [Bioinformatics, vol. 15, pp. 937-946, 1999] για να αντιμετωπίσει αυτή την κατηγορία προβλημάτων όπου η πληροφορία που προηγείται και η πληροφορία που έπεται είναι αναγκαίες για την επεξεργασία των δεδομένων μιας ακολουθίας. Η συγκεκριμένη αρχιτεκτονική αποτελείται από δυο απλά Νευρωνικά Δίκτυα Ανάδρασης (ΝΔΑ) τα οποία επεξεργάζονται την πληροφορία που προηγείται και την πληροφορία που έπεται ενός συγκεκριμένου σημείου μια ακολουθίας δεδομένων, αντίστοιχα. Αυτά τα απαιτητικά μοντέλα χρειάζονται αλγόριθμους μάθησης υψηλής απόδοσης όσον αφορά το χρόνο σύγκλισης και τις ανάγκες μνήμης ώστε να εκπαιδεύονται αποδοτικά και αποτελεσματικά. Γενικότερα, η εκπαίδευση των ΝΔΑ είναι αρκετά περίπλοκη διαδικασία με αποτέλεσμα να είναι ένα ανοιχτό θέμα στον τομέα της Μηχανικής Μάθησης. Επιπλέον, τα ΝΔΑ μπορούν να συνδυαστούν σε Σύνολα (ensembles) Μοντέλων Μηχανικής Μάθησης (ΣΜΜΜ) με άλλα μοντέλα και τεχνικές Νευρικών Δικτύων (ΝΔ) για περαιτέρω βελτίωση των αποτελεσμάτων σε διάφορα προβλήματα. Τέτοιες τεχνικές ΝΔ είναι τα μπλοκ μνήμης Long-Short Term Memory, τα Echo State Networks, οι Conceptors, τα Clockwork ΝΔΑ ή τα Συνελικτικά Νευρωνικά Δίκτυα (ΣΝΔ). Η αξιολόγηση της απόδοσης των δικτύων αυτών με βάση τον βαθμό ακρίβειας πρόβλεψης ή ταξινόμησης σε κάποιο πρόβλημα δεν είναι ικανοποιητική. Η αυξημένη πολυπλοκότητα αυτών των μεθόδων απαιτεί γρήγορο χρόνο σύγκλισης και χαμηλές απαιτήσεις υπολογιστικής μνήμης για την επίλυση απαιτητικών προβλημάτων. Ένα σημαντικό πρόβλημα ταξινόμησης δεδομένων από ακολουθίες όπου η πληροφορία που προηγείται και η πληροφορία που έπεται ενός σημείου μιας ακολουθίας είναι σημαντική για την διεκπεραίωση μιας πρόβλεψης, είναι το πρόβλημα της Πρόβλεψης Δευτεροταγούς Δομής Πρωτεϊνών (ΠΔΔΠ). Ένας αυξανόμενος αριθμός πρωτεϊνικών αλληλουχιών τις οποίες συνθέτουν αμινοξέα είναι γνωστός. Ωστόσο, υπάρχει απουσία πληροφορίας σχετικά με την τρισδιάστατη δομή αυτών των πρωτεϊνών, η οποία είναι πολύ σημαντική αφού καθορίζει τη λειτουργία τους. Η δευτεροταγής δομή αυτών των πρωτεϊνικών αλληλουχιών είναι ένα τεχνητό ενδιάμεσο στάδιο μεταξύ της πρωτεϊνικής αλληλουχίας και της τρισδιάστατης δομής μίας πρωτεΐνης, το οποίο υποδεικνύει τις τοπικές πτυχές των αμινοξέων. Αυτές οι τοπικές πτυχές δημιουργούνται με βάση τις αλληλεπιδράσεις των αμινοξέων που βρίσκονται πριν και μετά από μια συγκεκριμένη θέση της πρωτεΐνης. Το πρόβλημα αυτό είναι περίπλοκο και χρειάζεται αλγόριθμους που μπορούν να επεξεργαστούν και να μάθουν τα χαρακτηριστικά των δεδομένων των ακολουθιών, έτσι ώστε να επιτύχουν το καλύτερο δυνατό αποτέλεσμα. Σε αυτή τη διατριβή, αρχικά, παρουσιάζουμε μια παραλλαγή της αρχιτεκτονικής ΝΝΑΑ που σχεδιάστηκε από τον Baldi et al. [Bioinformatics, vol. 15, pp. 937-946, 1999] για την αντιμετώπιση του προβλήματος της ΠΔΔΠ. Αυτή η αρχιτεκτονική θεωρείται σήμερα ως μία από τις βέλτιστες αρχιτεκτονικές ΝΔ για την αντιμετώπιση αυτού του προβλήματος. Πιο συγκεκριμένα, εφαρμόζουμε την ίδια αρχιτεκτονική ΝΝΑΑ που προτάθηκε από τον Baldi et al. [Bioinformatics, vol. 15, pp. 937-946, 1999], αλλά χρησιμοποιούμε μια τροποποιημένη διαδικασία εκμάθησης του δικτύου. Στόχος μας είναι να προσδιορίσουμε την συμβολή τοπικής και συνολικής απομακρυσμένης πληροφορίας σε μια πρωτεϊνική ακολουθία για την τοπική αναδίπλωση μιας πρωτεΐνης. Αυτό επιτυγχάνεται μεταβάλλοντας το μήκος του τμήματος της πρωτεϊνικής ακολουθίας που χρησιμοποιείται σαν είσοδος στο ΝΔΑΑ. Τα αποτελέσματα μας για ένα και μόνο ΝΝΑΑ είναι βελτιωμένα σε σχέση με τα αποτελέσματα του Baldi et al. [Bioinformatics, vol. 15, pp. 937-946, 1999] κατά τρεις ποσοστιαίες μονάδες Q3 (ακρίβεια ανά κατάλοιπο). Είναι επίσης συγκρίσιμα με τα αποτελέσματα των μοντέλων συνόλων ΝΔΑΑ που εμφανίζονται στις εργασίες των Baldi et al. [Bioinformatics, vol. 15, pp. 937- 946, 1999], Pollastri et al. [Proteins, vol. 47, pp. 228-235, 2002], Cheng et al. [Nucleic Acids Research, vol. 33, pp. W72-W76, 2005] και Magnan & Baldi [Bioinformatics, vol. 30, pp. 2592-2597, 2014]. Επιπλέον, χρησιμοποιήσαμε ΣΜΜΜ με 6 ΝΔΑΑ για περαιτέρω βελτίωση των αποτελεσμάτων μας. Tα αποτελέσματα της μεθόδου μας βελτιώνονται ακόμα περισσότερο όταν η έξοδος των δικτύων φιλτράρεται με μια μέθοδο μετά-επεξεργασίας δεδομένων. Η μέθοδος αυτή είναι βασισμένη στον αλγόριθμο Hidden Markov Model. Η μέθοδος φιλτραρίσματος στο πρόβλημα ΠΔΔΠ στοχεύει στην παροχή φυσικοχημικά ρεαλιστικών αποτελεσμάτων, ενώ συνήθως βελτιώνει την προβλεπτική απόδοση μιας μεθόδου Μηχανικής Μάθησης. Με βάση αυτή την πληροφορία, πραγματοποιήσαμε μια συγκριτική μελέτη σχετικά με διάφορες μεθόδους φιλτραρίσματος για το πρόβλημα της ΠΔΔΠ. Συγκεκριμένα, χρησιμοποιώντας τόσο τεχνικές Μηχανικής Μάθησης όσο και Εμπειρικούς Κανόνες για να φιλτράρουμε τα αποτελέσματα της μεθόδου μας, διαπιστώσαμε ότι μέσα από αυτή την συγκριτική μελέτη διαπιστώσαμε ότι ο συνδυασμός των δύο μεθόδων οδηγεί σε περαιτέρω βελτίωση των αποτελεσμάτων. Μετά από αυτή την αρχική μελέτη του προβλήματος της ΠΔΔΠ, προχωρούμε στο βασικό μέρος αυτής της διατριβής όπου ασχολούμαστε με την μελέτη σχεδιασμού και εφαρμογής αλγορίθμων μάθησης για τις αρχιτεκτονικές ΝΔΑΑ οι οποίοι είναι βασισμένοι στην πληροφορίας της Δεύτερης Παραγώγου (ΔΠ). Συγκεκριμένα, παρουσιάζουμε μια μέθοδο όπου εφαρμόζεται ο αλγόριθμος Scaled Conjugate Gradient (SCG) για πρώτη φορά σε αυτή την αρχιτεκτονική. Ειδικότερα, παρουσιάζουμε την ανάπτυξη και εφαρμογή μιας δικής μας παραλλαγής του SCG, του Hybrid Rectified Scaled Conjugate Gradient (HR-SCG) για τις αρχιτεκτονικές ΝΔΑΑ. Σε αντίθεση με την συμβατική μέθοδο κατάβασης κλίσης, η οποία χρησιμοποιείται για την εκπαίδευση ΝΔ, ο HR-SCG αξιοποιεί τόσο την κλίση όσο και την καμπυλότητα μια συνάρτησης σε ένα συγκεκριμένο σημείο για να πετύχει την σύγκλιση του αλγορίθμου. Το μοντέλο έχει δοκιμαστεί στο πρόβλημα ΠΔΔΠ και έχει επιτύχει 77,6 % Q3 ακρίβεια ανά κατάλοιπο σε συγκεκριμένο σύνολο δεδομένων. Επιπλέον, έχει αποδειχθεί ότι ο HR-SCG ξεπερνά τον αλγόριθμο μάθησης κατάβασης κλίσης για τα ΝΔΑΑ όσον αφορά το χρόνο σύγκλισης. Συγκεκριμένα χρειάζεται περίπου 75% λιγότερο χρόνο σύγκλισης στο πρόβλημα ΠΔΔΠ. Ως εκ τούτου, ο αλγόριθμος είναι αποδοτικός και αποτελεσματικός στην εκπαίδευση των πολύπλοκων αρχιτεκτονικών ΝΔΑΑ. Αυτό είναι πολύ σημαντικό στις περιπτώσεις που έχουμε μεγάλα σύνολα δεδομένων ή πολλά παράλληλα ΝΔΑΑ σε ΣΜΜΜ. Επιπλέον, παρουσιάζουμε αποτελέσματα από μια παρόμοια μελέτη όπου ένας άλλος αλγόριθμος μάθησης ΔΠ έχει εφαρμοστεί στην ίδια αρχιτεκτονική. Πιο συγκεκριμένα, ο αλγόριθμος Hessian Free Optimization χρησιμοποιήθηκε για την εκπαίδευση της αρχιτεκτονικής ΝΔΑΑ για το ίδιο πρόβλημα αλλά έχει επιτύχει περίπου 1% χαμηλότερη Q3 ακρίβεια από τον αλγόριθμο HR-SCG. Επιπλέον, οι τελευταίες εξελίξεις και τα αποτελέσματα στο πεδίο των ΝΔ (δηλ., Βαθιά Μάθηση, Reservoir Computing κλπ.) έχουν δείξει τεράστια βελτίωση σε διάφορα προβλήματα που σχετίζονται με κατηγοριοποιήσεις ή προβλέψεις δεδομένων από ακολουθίες. Παρόλα αυτά, σε πολλά από αυτά τα μοντέλα ΝΔ, οι παραλλαγές τους, καθώς και συγκεκριμένοι αλγόριθμοι μάθησης δεν έχουν χρησιμοποιηθεί ποτέ στο πρόβλημα ΠΔΔΠ. Πιο συγκεκριμένα, υπάρχει ανοιχτό πεδίο μελέτης το οποίο πρέπει να διερευνηθεί σχετικά με το πρόβλημα ΠΔΔΠ και τις μεθόδους Clockwork ΝΔΑ, Συνελικτικά Νευρωνικά Δίκτυα (ΣΝΔ) και Reservoir Computing. Αν και κάθε μια από αυτές τις μεθόδους έχει τα πλεονεκτήματα και τα μειονεκτήματα της, κάθε μία μέθοδος έχει ειδικά χαρακτηριστικά που θα μπορούσαν να βελτιώσουν την ακρίβεια των αποτελεσμάτων, τον χρόνο σύγκλισης των αλγορίθμων μάθησης, την αναγνώριση βραχυπρόθεσμων και μακροπρόθεσμων εξαρτήσεων στα διαδοχικά δεδομένα, κλπ. Επομένως σε αυτή τη διατριβή, παρουσιάζουμε αποτελέσματα μιας νέας μεθόδου όπου δημιουργούμε μια καινοτόμο απεικόνιση των πρωτεϊνικών δεδομένων σε μορφή εικόνας που αναγνωρίζεται από τα ΣΝΔ, αποτελέσματα του ίδιου προβλήματος χρησιμοποιώντας Clockwork ΝΔΑ, μια νέα αρχιτεκτονική ΝΔΑ αμφίδρομων Echo State Networks και αποτελέσματα του ίδιου προβλήματος σε μοντέλα Long-Short Term Memory. Τέλος, παρουσιάζουμε αποτελέσματα μιας νέας προσέγγισης, όπου απλά ΝΔ εκπαιδεύονται με τον αλγόριθμο βελτιστοποίησης Hessian Free Optimization για το πρόβλημα ΠΔΔΠ. Οι μεθοδολογίες που βασίζονται στα ΣΝΔ και τα απλά ΝΔ εμπρόσθιας τροφοδότησης τα οποία εκπαιδεύονται με τον Hessian Free Optimization έχουν επιτύχει ακρίβεια πρόβλεψης 80.4% Q3 ανά κατάλοιπο η οποία αποτελεί ένα από τα υψηλότερα αποτελέσματα που αναφέρονται σε αυτή τη διατριβή. Συνολικά, αυτή η διατριβή συμβάλλει στη βελτίωση σχεδιασμού και εκπαίδευσης μοντέλων ΝΔ τα οποία επεξεργάζονται δεδομένα από ακολουθίες όπου επιπλέον από την πληροφορία που προηγείται ενός σημείου μιας ακολουθίας, η πληροφορία που έπεται αυτού του σημείου είναι επίσης σημαντική για την διεκπεραίωση μιας πρόβλεψης. Σε όλους τους τύπους των υπό μελέτη μοντέλων ΝΔ, παρουσιάζουμε μεθοδολογίες, αρχιτεκτονικές και αλγόριθμους που έχουν πλεονεκτήματα έναντι των γνωστών μεθόδων όσον αφορά την ακρίβεια των αποτελεσμάτων ή την ποιότητα των αποτελεσμάτων ή το χρόνο σύγκλισης των αλγορίθμων στο συγκεκριμένο πρόβλημα της ΠΔΔΠ.

The field of deriving non-linear functions to classify sequential data is currently dealt with by a variety of Machine Learning methods. The procedure of learning sequential data becomes even more challenging when the upstream and downstream information of a sequence is also useful for the prediction or classification. More precisely, in this class of problems, a specific location of sequential data is processed based on the information from left to right before that point (the upstream information) and the information from right to left after that point (the downstream information). The Bidirectional Recurrent Neural Network (BRNN) architecture has been designed by Baldi et al. [Bioinformatics, vol. 15, pp. 937-946, 1999] to deal specifically with this class of problems where the upstream and downstream information is needed to process sequential data. This architecture consists of two simple Recurrent Neural Networks (RNNs) which are used to process the upstream and downstream information, respectively. These demanding models need high performance learning algorithms in terms of convergence time and memory usage to be trained effectively and efficiently. In general, training of RNNs is an open topic in Machine Learning because it is usually complex. Furthermore, these models are usually combined in ensembles with other novel Neural Network models such as Long-Short Term Memory blocks, Echo State Networks, Conceptors, Clockwork RNNs or Convolutional Neural Networks to enhance results. The accuracy rate of these models is not satisfactory for predictive or classification purposes. The complexity of these methods demands low convergence time and memory usage to solve demanding problems. One main classification problem of sequential data, where the information before and after a specific location of the sequence is important for prediction purposes is the sequence to structure problem of Protein Secondary Structure Prediction (PSSP). A growing number of protein sequences which are composed by amino acids is known. However, there is missing information with respect to their 3D structure, which specifies their function. The Secondary Structure of these protein sequences is an artificial intermediate step between the protein sequence and the 3D structure of a protein, which indicates the local folds of protein sequence amino acids. These local folds are created based on the inter- actions of amino acids which lie before and after a specific location of the protein. This problem is complex and needs algorithms that can process and learn the characteristics of the sequential data, in order to come up with better results. In this thesis, we present a variation of the BRNN which was developed by Baldi et al. [Bioinformatics, vol. 15, pp. 937-946, 1999] for tackling the PSSP problem. This architecture is currently considered as one of the optimal computational neural network type architectures for addressing the problem. We implement the same BRNN architecture, but we use a modified training procedure. More specifically, our aim is to identify the effect of the contribution of local versus global information on the PSSP problem, by varying the length of the segment on which the RNNs operate for each residue position considered. Our results with a single BRNN are better than Baldi et al. [Bioinformatics, vol. 15, pp. 937-946, 1999] by three percentage points (per residue Q3 accuracy) and comparable to ensembles of BRNN models’ results which appear in Baldi et al. [Bioinformatics, vol. 15, pp. 937-946, 1999], Pollastri et al. [Proteins, vol. 47, pp. 228-235, 2002], Cheng et al. [Nucleic Acids Research, vol. 33, pp. W72-W76, 2005] and Magnan & Baldi [Bioinformatics, vol. 30, pp. 2592-2597, 2014]. Moreover, we have used ensembles of 6 BRNNs to enhance our results. In addition, our results improve even further when sequence-to-structure output is filtered in a post-processing step, with a novel Hidden Markov Model-based approach. Filtering of protein secondary structure prediction aims to provide physicochemically realistic results, while it usually improves the predictive performance. We performed a comparative study on this challenging problem, utilising both machine learning techniques and empirical rules and we found that combinations of the two lead to the highest improvement. After these initial investigations, we move to the core part of the thesis, which is the study of second order learning algorithms for the BRNN models. More specifically, we present a second order method for training BRNNs for the PSSP problem where the Scaled Conjugate Gradient (SCG) is applied for the first time on these models. In particular, we present the development and implementation of our variation of the SCG which we call the Hybrid Rectified-Scaled Conjugate Gradient (HR-SCG) learning algorithm for BRNN architectures. In contrast to the conventional Gradient Descent learning algorithm, the HR-SCG exploits both gradient and curvature information for convergence. The model has been tested on the PSSP problem and achieved 77.6% per residue accuracy on a specific PSSP dataset. Moreover, it has been shown that the HR-SCG outperforms the GD learning algorithm for BRNNs in terms of convergence time, needing approximately 75% less time on PSSP datasets. Hence, the algorithm is efficient for training the complex BRNN architectures, a feature important with big datasets and facilitates fast training of BRNN ensembles. Furthermore, we present results from a similar study where another second order learning algorithm has been applied on the same architecture. More specifically, the Hessian Free optimization algorithm has been used to train the BRNN architecture for the PSSP problem but it has achieved approximately 1% lower accuracy results than the HR-SCG algorithm. Finally, the latest developments and results in the Neural Networks field (i.e., Deep Learning, Reservoir Computing etc.) have shown huge improvement in several sequential data-related problems. Nevertheless, many of these Neural Network models, their variations and specific learning algorithms have never been used for the PSSP problem. More specifically, there is an open field to be investigated related to the PSSP problem and Clockwork Recurrent Neural Networks, Convolutional Neural Networks and Reservoir Computing methods. Although these techniques have their advantages and disadvantages compared with each other, each one has specific characteristics related to accuracy, execution time, sorting with short and long term dependencies, etc. Hence, we present results on a novel image-like input representation method for the PSSP problem which is used by Convolutional Neural Networks, results of the same problem with Clockwork Recur- rent Neural Networks, with a novel Bidirectional Echo State Network architecture and results of our data with Long-Short Term Memory BRNN methods. Finally, we present results on a novel approach where simple Feed Forward Neural Networks trained with the Hessian Free Optimization algorithm have been used for the PSSP problem showing state of the art results. The methodologies based on Convolutional Neural Networks and Feed Forward Neural Networks trained with the Hessian Free Optimization algorithm have both achieved approximately 80.4% Q3 per residue accuracy which are the highest results reported in this thesis. Overall, one of the main contributions of this thesis is on the improvement of learning in Neural Network models for sequential data where the upstream and downstream information is important to process a specific location of sequential data. In all types of the studied Neural Network models, we prescribe certain methodologies, architectures and algorithms that have advantages over known methods in terms of accuracy or quality of results or convergence time for the specific PSSP problem.