Physically-based probabilistic image segmentation

Abstract

Η κατάτμηση εικόνας αποτελεί μια σημαντική διαδικασία στο χώρο της επεξεργασίας εικόνας και περιλαμβάνει τον εντοπισμό αντικειμένων, την παρακολούθηση αντικειμένων και την επεξεργασία εικόνας. Αυτοί οι αλγόριθμοι είναι κρίσιμοι για τη λειτουργεία διαφόρων σημαντικών εφαρμογών όπως τροποποίηση εικόνας, επεξεργασία βίντεο, αυτόματη οδήγηση και εικονική / επαυξημένη πραγματικότητα. Αν και πρόκειται για καλά μελετημένο πεδίο, εξακολουθούν να υφίστανται σημαντικά προβλήματα στην κατάτμηση εικόνας, ειδικά σε περιπτώσεις όπου έχουμε σκιές και χρωματιστό φωτισμό. Αυτή η διατριβή αντιμετωπίζει κάποια από τα προβλήματα αυτά χρησιμοποιώντας γνώση από το πεδίο των Γραφικών όπου ο φωτισμός έχει μελετηθεί σε εκτενές βαθμό. Στη διατριβή αυτή κάνουμε δύο συνεισφορές. Αρχικά, προτείνουμε μια μέθοδο για συλλογή δεδομένων που βασίζεται σε εικόνες ψηλού δυναμικού βάθους με στόχο τη καταγραφή του φωτισμού της σκηνής. Χρησιμοποιώντας τη διαδικασία αυτή αναπτύξαμε μια μέθοδο που εξουδετερώνει τον φωτισμό μιας εικόνας και βοηθά στο να αυξάνεται η επίδοση των αλγορίθμων που εκτελούν παρακολούθηση αντικειμένων. Η δεύτερη συνεισφορά της διατριβής είναι δύο αλγόριθμοι κατάτμησης εικόνας σε τμήματα προσκήνιου και παρασκήνιου. Οι αλγόριθμοι αυτοί χρησιμοποιούν μοντελοποίηση με βάση τη φυσική και έχουν τη δυνατότητα να μοντελοποιούν την εμφάνιση σκιών που πιθανόν να προέρχονται από πολλαπλές χρωματιστές φωτεινές πηγές. Με βάση το μοντέλο αυτό, χρησιμοποιούμε μια μέθοδο πιθανοτήτων για να διαχωρίσουμε αντικείμενα και σκιές σε δύσκολες εικόνες. Οι αλγόριθμοι που αναπτύξαμε είναι υψηλής επίδοσης, εφαρμόσιμοι σε διάφορες εικόνες, και εύρωστοι.

Image segmentation is a vital component of many Computer Vision algorithms including object identification, tracking, and image manipulation. These algorithms power various high impact applications such as image editing, composition, film post-processing, autonomous driving and virtual/augmented reality. Although image segmentation is a mature field, existing algorithms often fail when the input —images or video— contains strong illumination effects such as shadows and colored lighting. This thesis addresses some of these limitations by incorporating knowledge from the Computer Graphics field where complex illumination effects are well-studied. Our contribution is twofold. Firstly, we introduce a data acquisition process that utilizes high dynamic range imaging to capture the illumination of the scene. Based on this process we have developed an illumination normalization algorithm that improves tracking performance in cases where the scene illumination changes rapidly. The second contribution of this thesis is two algorithms for the segmentation of images into background and foreground regions. The proposed algorithms utilize a physically-based formulation of scene appearance which explicitly models the formation of shadows originating from multiple, possibly colored, light sources. This formulation enables a probabilistic model to distinguish between shadows and foreground objects in challenging images, such as those lit by colored lights. The proposed methods are efficient, general, and robust.