Graph-based Neural Network Models for 3D Shape Segmentation

Abstract

Η κατάτμηση τρισδιάστατων σχημάτων στα συστατικά τους μέρη αποτελεί ένα διαχρονικό πρόβλημα στην Υπολογιστική ΄Οραση και τα Γραφικά Υπολογιστών. Πρόσφατες επιτυχίες στην τρισδιάστατη Βαθιά Μάθηση οδήγησαν σε πληθώρα μεθόδων για την εκμάθηση αποτελεσματικών αναπαραστάσεων, χρήσιμων για υψηλού επιπέδου προβλήματα επεξεργασίας σχημάτων, συμπεριλαμβανομένης της κατάτμησης σχημάτων. Παρά αυτή τη σημαντική πρόοδο, οι περισσότερες μέθοδοι βασίζονται στην επεξεργασία τοπικών γεωμετρικών γειτονιών και συχνά παραβλέπουν το ευρύτερο πλαίσιο, όπως η δομή, οι συμμετρίες και οι αντιστοιχίες με άλλα σχήματα που συχνά είναι χρήσιμα για τον εντοπισμό και την εξαγωγή τμημάτων από γεωμετρικά χαρακτηριστικά των σχημάτων. Επιπλέον, οι τρισδιάστατες συλλογές δεδομένων που χρησιμοποιούνται ευρέως, περιλαμβάνουν κυρίως τεχνητά αντικείμενα με απλή δομή και στερούνται μοντέλων μεγάλης κλίμακας. Αυτή η διατριβή παρουσιάζει νευρωνικές μεθόδους βασισμένες σε γράφους, οι οποίες μοντελοποιούν πολύπλοκες δομικές και χωρικές σχέσεις εντός του ίδιου τρισδιάστατου σχήματος καθώς και μεταξύ των σχημάτων, τα οποία αναπαρίστανται ως γράφοι, με αποτέλεσμα την κατάτμηση σχημάτων με μεγαλύτερη συνέπεια και ακρίβεια. Επιπλέον,η διατριβή παρουσιάζει τη πρώτη συλλογή τρισδιάστατων δεδομένων μεγάλης κλίμακας που αποτελείται από επισημασμένα μοντέλα τρισδιάστατων κτηρίων, και η οποία είναι διαθέσιμη στο ευρύ κοινό. Τα κτήρια έχουν μεγαλύτερη δομική πολυπλοκότητα σε σύγκριση με αντικείμενα που προσφέρονται από κοινές συλλογές δεδομένων. Αυτό έχει ως αποτέλεσμα, η συγκεκριμένη συλλογή δεδομένων να αποτελεί ένα χρήσιμο σημείο αναφοράς για τη συγκριτική αξιολόγηση αλγορίθμων κατάτμησης γεωμετρικών δεδομένων μεγάλης κλίμακας. Αρχικά, η διατριβή παρουσιάζει τη μέθοδο PB-DGCNN, η οποία ανιχνεύει τα σύνορα τμημάτων σε 3Δ σχήματα. Αυτή η μέθοδος αξιοποιεί ένα συνελικτικό νευρωνικό δίκτυο για γράφους, που συλλαμβάνει ιεραρχικά τοπικές και μη-τοπικές αλληλεπιδράσεις ενός ζεύγους σημείων, για να μάθει αναπαραστάσεις κατάλληλες για την εξαγωγή υποψηφίων συνόρων μεταξύ τμημάτων. Ο συγκεκριμένος ανιχνευτής συνόρων είναι ανεξαρτήτου κατηγορίας. Μπορεί να εκπαιδευτεί για τον εντοπισμό συνόρων είτε μεταξύ σημασιολογικών τμημάτων, είτε μεταξύ γεωμετρικών πρωτοτύπων. Η μέθοδος αποδεικνύεται ότι βελτιώνει τη κατάτμηση του σχήματος παράγοντας πιο καθαρά σύνορα τμημάτων. Στη συνέχεια, η διατριβή παρουσιάζει το CrossShapeNet, ένα νευρωνικό δίκτυο βασισμένο σε γράφους που μεταδίδει χαρακτηριστικά σημείων σε σχήματα εντός μιας συλλογής, με σκοπό το συγχρονισμό τους και τη βελτίωση της συνοχή τους για τη κατάτμηση 3Δ σχημάτων. Ειδικότερα, η μέθοδος αυτή εισάγει ένα cross-shape attention μηχανισμό για να επιτρέψει τις αλληλεπιδράσεις μεταξύ των χαρακτηριστικών σημείων ενός σχήματος και εκείνων άλλων σχημάτων. Επιπλέον, προτείνεται ένα μέτρο ανάκτησης σχήματος, το οποίο επιλέγει κατάλληλα σχήματα για τη cross-shape attention λειτουργία, για κάθε δοκιμαστικό σχήμα. Σε σύγκριση με προηγούμενες μεθόδους, το CrossShapeNet επιτυγχάνει την υψηλότερη απόδοση κατάτμησης σε όρους μέσου Part IoU στο PartNet, ένα απαιτητικό σημείο αναφοράς για συγκριτική αξιολόγηση στην κατάτμηση τεχνητών αντικείμενων. Τέλος, η διατριβή παρουσιάζει το BuildingNet, τη πρώτη συλλογή δεδομένων μεγάλης κλίμακας που είναι διαθέσιμη στο ευρύ κοινό και περιλαμβάνει επισημασμένα 3Δ μοντέλα κτηρίων, των οποίων το εξωτερικό και ο περιβάλλων χώρος έχουν ετικεταριστεί με συνέπεια. Αυτή η συλλογή δεδομένων παρέχει 513,000 ετικεταρισμένα γεωμετρικά πρωτότυπα σε 2,000 μοντέλα κτηριών και περιλαμβάνει δύο συγκριτικές αξιολογήσεις για την κατάτμηση κτηρίων. Επιπλέον, παρουσιάζεται ένα νευρωνικό δίκτυο γράφων που ετικετοδοτεί κτήρια σε μορφή πλέγματος, αναλύοντας τις χωρικές και δομικές σχέσεις των γεωμετρικών τους πρωτοτύπων.

The segmentation of 3D shapes into their constituent parts has been a long-standing problem in Computer Vision and Graphics. Recent breakthroughs in 3D Deep Learning led to numerous methods for learning effective representations useful for high-level shape processing tasks, including shape segmentation. Despite these significant advances, most methods rely on processing local geometric neighborhoods and often disregard broader context, such as structure, symmetries, and correspondences with other shapes that are often useful for discovering and extracting parts in geometric shape representations. Moreover, commonly used 3D datasets comprise mainly man-made objects with simple structure and lack large-scale models. This thesis presents graph-based neural methods that model complex structural and spatial relations within the same shape as well as across shapes in their graph representation to produce more consistent and accurate shape segmentations. Additionally, the thesis introduces the first publicly available large-scale dataset of annotated 3D building models. Buildings have more challenging structural complexity compared to objects in common benchmarks, thus, the dataset serves as a useful benchmark to evaluate segmentation algorithms on large-scale, structurally complex geometric data. First, the thesis presents PB-DGCNN, a method capable of detecting part boundaries in 3D shapes. This method leverages a graph convolutional network that hierarchically captures local and non-local pairwise point interactions to learn representations suitable for extracting candidate part boundaries. This boundary detector is class-agnostic. It can be trained to localize boundaries of either semantic parts or geometric primitives commonly used in 3D modeling. The method is demonstrated to improve shape segmentation by producing cleaner part boundaries. The thesis next presents CrossShapeNet, a graph-based network that propagates point-wise feature representations across shapes within a collection to better synchronize them and improve their consistency for 3D shape segmentation. Specifically, the model introduces a cross-shape attention mechanism to enable interactions between a shape’s point-wise features and those of other shapes. The mechanism assesses both the degree of interaction between points and also mediates feature propagation across shapes, improving the accuracy and consistency of the resulting point-wise feature representations for shape segmentation. Moreover, a shape retrieval measure is proposed, which selects suitable shapes for cross-shape attention operations for each test shape. Compared with previous methods, CrossShapeNet achieves the highest segmentation performance in terms of mean Part IoU in PartNet, a challenging benchmark for fine-grained part segmentation on man-made objects. Finally, the thesis introduces BuildingNet, the first publicly available large-scale dataset of annotated 3D building models whose exteriors and surroundings are consistently labeled. The dataset provides 513K annotated mesh primitives across 2K building models and includes two evaluation benchmarks. Moreover, a graph neural network is presented that labels building meshes by analyzing spatial and structural relations of their geometric primitives.