Detection and classification of construction objects by use of machine vision and deep learning

Abstract

The construction industry represents a continuously evolving environment where there is always room for process improvement and modernization. Artificial intelligence, as well as other emerging technologies such as machine vision (MV) and machine learning (ML), are indispensable in such an environment. Indeed, in recent years, their usefulness has become increasingly evident, along with the various possibilities for their application. This research paper focuses on the detection and classification of objects at construction sites and analyzes the utility and potential of these detection and classification activities in the modern construction industry. Object detection and classification are performed by applying technologies such as machine vision (MV) and deep learning (DL) to image processing and/or in combination with object segmentation and labeling using bounding boxes. These activities have varied applications on construction sites, including but not limited to: (1) the monitoring of workers, machinery, and vehicles for productivity measurement and for the prevention of accidents and collisions; and (2) the monitoring and classification of procured of construction materials, to evaluate the progress of construction work. This serves as a valuable, low-cost measurement tool in the context of the management and monitoring of construction projects. First, the presented research work examines the knowledge base from past work on the application of the aforementioned technologies to similar problems across varying professional domains, focusing on the construction sector. An extensive evaluation of their accuracy, reliability, and effectiveness is conducted, along with the identification of potential advantages/disadvantages of their application. Further presented is the methodology followed in pursuit of the research’s scope of work. Specifically, nine specific ‘construction classes’ potentially found at a construction site are addressed. Subsequently, the corresponding results are provided and extensively discussed, along with an examination of any potential errors in the recognition and taxonomy of these classes. Finally, snippets (in the Python programming language) of the programming code used during various phases of the overall methodology are provided.

Ο κατασκευαστικός κλάδος αποτελεί ένα συνεχώς εξελισσόμενο περιβάλλον στο οποίο πάντα υπάρχει περιθώριο για ενέργειες βελτίωσης διεργασιών αλλά και εκσυγχρονισμού του. Η τεχνητή νοημοσύνη καθώς επίσης και άλλες νεοφανείς τεχνολογίες όπως είναι η μηχανική όραση (MV) και η μηχανική εκμάθηση (ML) δεν θα μπορούσαν να λείπουν από το περιβάλλον αυτό. Άλλωστε, τα τελευταία χρόνια γίνεται όλο και πιο εμφανής η χρησιμότητα τους αλλά και οι διάφορες δυνατότητες εφαρμογής τους. Η παρούσα ερευνητική εργασία επικεντρώνεται στον εντοπισμό και την ταξινόμηση αντικειμένων σε εργοτάξια και αναλύει τη χρησιμότητα και τη δυναμική αυτών των δραστηριοτήτων εντοπισμού και ταξινόμησης στη σύγχρονη κατασκευαστική «βιομηχανία». Ο εντοπισμός και η ταξινόμηση αντικειμένων πραγματοποιείται μέσω της εφαρμογής τεχνολογιών όπως η μηχανική όραση (MV) και η βαθιά εκμάθηση (DL) στην επεξεργασία εικόνας ή/και σε συνδυασμό με την ανάθεση ετικετών και οριοθετημένων πλαισίων σε αντικείμενα. Αυτές οι δραστηριότητες έχουν διάφορες εφαρμογές στα εργοτάξια, καθώς συμβάλουν μεταξύ άλλων, στον έλεγχο του εργατικού προσωπικού, των μηχανημάτων και των οχημάτων που διακινούνται σε αυτό με σκοπό την πρόληψη ατυχημάτων και συγκρούσεων, καθώς επίσης στην παρακολούθηση και κατηγοριοποίηση των προμηθευομένων κατασκευαστικών υλικών, προκειμένου να αξιολογηθεί η πρόοδος των κατασκευαστικών εργασιών. Αυτό λειτουργεί ως ένα χαμηλού κόστους πολύτιμο εργαλείο επιμέτρησης-αξιολόγησης στα πλαίσια της διαχείρισης και παρακολούθησης κατασκευαστικών έργων. Αρχικά, η παρούσα ερευνητική εργασία εξετάζει την ύπαρξη πρότερης εργασίας και εφαρμογής των εν λόγω τεχνολογιών για παρόμοιας φύσης ζητήματα σε οποιοδήποτε επάγγελμα και δη στον κατασκευαστικό τομέα. Γίνεται μία εκτενής αξιολόγηση της ακρίβειας, της αξιοπιστίας και της αποτελεσματικότητας τους καθώς και η διακρίβωση των πιθανών πλεονεκτημάτων/μειονεκτημάτων από την εφαρμογή τους. Επιπλέον, παρουσιάζεται η μεθοδολογία που ακολουθήθηκε στη βάση του σκοπού που περιεγράφηκε προηγουμένως. Συγκεκριμένα, εξετάζονται εννέα διαφορετικές κλάσεις αντικειμένων οι οποίες δυνητικώς εντοπίζονται σε ένα εργοτάξιο. Ακολούθως, δίνονται τα αντίστοιχα αποτελέσματα και σχολιάζονται εκτενώς καθώς επίσης εξετάζεται η ύπαρξη τυχών σφαλμάτων. Τέλος, δίνονται αποσπάσματα από κώδικα στη γλώσσα προγραμματισμού Python που χρησιμοποιήθηκε κατά τη διάρκεια διαφόρων φάσεων της μεθοδολογίας που ακολουθήθηκε.