Real-time high quality HDR illumination and tonemapped rendering

Abstract

Η ρεαλιστική απόδοση σε πραγματικό χρόνο μιας σκηνής δημιουργημένης με υπολογιστές αποτελεί ένα από τα βασικότερα ερευνητικά θέματα στα γραφικά υπολογιστών καθώς έχει πληθώρα εφαρμογών όπως σε παιχνίδα υπολογιστών, εκπαιδευτικούς προσωμοιωτές, ιατρικά και αρχιτεκτονικά πακέτα και σε πολλά άλλα πεδία. Το κλειδί για τον ρεαλισμό στις δημιουργούμενες εικόνες είναι η προσωμοιώση της μεταφοράς του φωτός βασισμένου στις δεδομένες συνθήκες φωτισμού. Ποιο φυσικά αποτελέσματα μπορούν να επιτευχθούν χρησιμοποιώντας εντάσεις φωτεινότητας με τιμές κοντινές στις πραγματικές. Ωστόσο, το εύρος των πραγματικών εντάσεων φωτεινότητας είναι πολύ μεγαλύτερο από αυτό που μπορούν να αποδοθούν σε μια τυπική οθόνη. Σαν τελευταίο βήμα στη διαδικασία απεικόνισης χρειάζεται να εφαρμοστεί αντιστοίχιση τόνου, έτσι ώστε να μετασχηματιστούν οι υπολογιζόμενες τιμές στην εικόνα σε τιμές που μπορούν να παρουσιαστούν στις οθόνες. Ο φωτισμός μιας σκηνής προσεγγίζεται συνήθως με την εξίσωση απεικόνισης που η λύση της είναι μια υπολογιστικά ακριβή διαδικασία. Επιπλέον, το υπολογιστικό κόστος αυξάνεται ακόμα περισσότερο με την αύξηση του αριθμού φωτεινών πηγών και του αριθμού κορυφών των αντικειμένων στη σκηνή. Επιπλέον, προκειμένου να επιτευχθεί υψηλός ρυθμός απεικόνισης εικόνων (frame rate), οι τρέχοντες αλγόριθμοι φωτισμού μετριάζουν την ποιότητα στο τελικό αποτέλεσμα με υποθέσεις για διάφορους παράγοντες ή υποτεθούν στατικές σκηνές έτσι ώστε μπορούν να εκμεταλλευτούν προ-υπολογισμούς. Σε αυτήν την διατριβή προτείνουμε ένα αλγόριθμο φωτισμού πραγματικού χρόνου για δυναμικές σκηνές, ο οποίος παρέχει υψηλής ποιότητας αποτελέσματα και έχει μόνο χαμηλές απαιτήσεις μνήμης. Ο προτεινόμενος αλγόριθμος είναι βασισμένος στην παραγοντοποίηση μιας νέας έννοιας που εισάγουμε: ακτινοβολία από όλες τις κατευθύνσεις (fullsphere irradiance), η οποία επιτρέπει το άθροισμα της συμβολής όλων των φωτεινών πηγών σε μια τιμή, έγκυρη για οποιοδήποτε επιφάνεια δέκτη. Οι πρόσφατοι αλγόριθμοι φωτισμού, συμπεριλαμβανομένου αυτού που προτείνεται σε αυτή την διατριβή, χρησιμοποιούν συνήθως ένα χάρτη περιβάλλοντος (environment map) για να αναπαραστήσουν τον εισερχόμενο φωτισμό στη σκηνή. Οι χάρτες περιβάλλοντος επιτρέπουν στο φυσικό φωτισμό περιβάλλοντος να χρησιμοποιηθεί, χρησιμοποιώντας τιμές υψηλού δυναμικού εύρους (ΥΔΕ). Στο παραγόμενο ΥΔΕ αποτέλεσμα του αλγόριθμου φωτισμού χρειάζεται να γίνει αντιστοίχιση τόνου (tonemapping) σε χαμηλού δυναμικού έυρους (ΧΔΕ) τιμές που μπορούν να αναπαρασταθούν στην οθόνη. Παραδοσιακά οι τεχνικές αντιστοίχισης τόνου δίνουν έμφαση είτε στο ρυθμό απεικόνισης εικόνων (ολικοί χειριστές) είτε στην ποιότητα (τοπικοί χειριστές) της παραγόμενης εικόνας. Σε αυτήν την διατριβή προτείνουμε ένα νέο πλαίσιο: επιλεκτική αντιστοίχιση τόνου (selective tonemapping) που ικανοποιεί και τις δύο απαιτήσεις. Η βασική ιδέα αυτού του πλαισίου είναι να εφαρμοστούν οι ακριβοί υπολογισμοί μόνο στις περιοχές των εικόνων που θεωρούνται σημαντικές. Έχει αναπτυχθεί ένα πλήρες σύστημα απεικόνισης που ενσωματώνει τον υπολογισμό ΥΔΕ φωτισμού και την επιλεκτική αντιστοίχιση τόνου. Τα αποτελέσματα παρουσιάζουν υψηλής ποιότητας εικόνες σε πραγματικό χρόνο.

Real-time realistic rendering of a computer generated scene is one of the core research areas in computer graphics as it is required in several applications such as computer games, training simulators, medical and architectural packages and many other fields. The key factor of realism in the rendered images is the simulation of light transport based on the given lighting conditions. More natural results are achieved using luminance values near to the physical ones. However, the vast range of real luminances has a far greater range of values than what can be displayed on standard monitors. As a final step to the rendering process, a tonemapping operator needs to be applied in order to transform the values in the rendered image to displayable ones. Illumination of a scene is usually approximated with the rendering equation which solution is a computational expensive process. Moreover, the computational cost increases even more with the increase in the number of light sources and the number of vertices of the objects in the scene. Furthermore, in order to achieve high frame rates, current illumination algorithms compromise the quality with assumptions for several factors or assume static scenes so that they can exploit precomputations. In this thesis we propose a real-time illumination algorithm for dynamic scenes which provides high quality results and has only moderate memory requirements. The proposed algorithm is based on factorization of a new notion that we introduce: fullsphere irradiance, which allows the pre-integration of contribution of all light sources within the same value for any possible receiver. Recent illumination algorithms, including ours, usually use environment maps to represent the incident lighting in the scene. Environment maps enable natural environment lighting conditions to be used by using high dynamic range (HDR) values. Typically the HDR obtained result of the illumination needs to be tonemapped into LDR values that can be displayed on standard monitors. Traditionally tonemapped techniques give emphasis either to frame rate (global operators) or to the quality (local operators) of the resulting image. In this thesis, we propose a new framework: selective tonemapping which addresses both requirements. The key idea of this framework is to apply the expensive computations of tonemapping only to the areas of images which are regarded as important. A full rendering system has been developed which integrates HDR illumination computation and the selective tonemapping framework. Results show high quality images at real¬time frame rates.