Detection of human action and ergonomic risk assessment ατ construction sites by use of machine vision and deep learning

Abstract

Η διατριβή αφορά στην ερευνητική μελέτη χρήσης της μηχανικής όρασης και της σε βάθος μάθησης για τον εντοπισμό και την παρακολούθηση της ανθρώπινης δραστηριότητας σε εργοτάξια, και για την αξιολόγηση της εργονομίας των δραστηριοτήτων των εργατών σε αυτά. Η προτεινόμενη μέθοδος βασίζεται (α) στη μηχανική όραση για την επεξεργασία εικόνων / βίντεο από χώρους εργοταξίων με σκοπό την ανίχνευση ανθρώπινης δραστηριότητας και για την ταυτοποίηση σημείων και στοιχείων-κλειδιών του σώματος εν ώρα εργασίας, (β) στην εφαρμογή τεχνητής νοημοσύνης για την εκτίμηση, σε τρεις διαστάσεις, των γεωμετρικών ιδιοτήτων των εντοπισμένων στοιχείων, και (γ) στον αυτοματοποιημένο υπολογισμό των αποτελεσμάτων Ταχείας Αξιολόγησης Ολοκλήρου του Σώματος (REBA). Η προτεινόμενη προσέγγιση, η οποία δοκιμάστηκε με επιτυχία σε πολλές τυπικές κατασκευαστικές δραστηριότητες, έχει τη δυνατότητα να παρέχει γρήγορη και αυτοματοποιημένη εργονομική αξιολόγηση σε εργοτάξια, συμβάλλοντας στη βελτίωση της επαγγελματικής ασφάλειας και υγείας στον κατασκευαστικό κλάδο αφού παρέχει μια χαμηλού κόστους και ακριβή προσέγγιση για την εκτίμηση των παραγόντων κινδύνου μυοσκελετικών διαταραχών (WMSDs).

The construction industry is one of the most dangerous job sectors, in terms of health and safety. The dangerous construction-site environment and the unsafe behavior of construction workers inside this environment they operate in, often leads to serious injuries or even deaths. This was proved in many cases in the past. To reduce these incidences and to improve the safety performance of the construction workers, there is a need to identify and mitigate risk factors by continuously monitoring their behavior and by assessing the relative risks. The evolution of technology enables us to incorporate in the construction works new innovative methods which will greatly help in tackling the problem of health and safety. This project focuses on the real-time detection and pose analysis of human activities at construction sites, as well as on the evaluation of the ergonomics of these activities. The pose detection and subsequent ergonomic analysis uses machine vision and deep learning technologies to detect human activities in images and/or video, and processes them by «skeletonizing» the detected worker pose, measuring the geometric properties of the pose’s keypoints in the skeletal shape and calculating the corresponding scores according to the Rapid Entire Body Assessment (REBA) methodology. The proposed approach, which was successfully tested on several typical construction activities, has the potential of providing fast ergonomic assessment at construction sites. It also contributes to the knowledge of occupational safety and health in the construction industry, by providing a low-cost and accurate approach for assessing the risk factors of Work-related Musculoskeletal Disorders (WMSDs).