Adaptation in the white noise model using p-exponential priors

Abstract

In many scientific applications, the aim is to infer a function that is smooth in some areas, but rough or even discontinuous in other areas of its domain. Such spatially inhomogeneous functions can be modelled in Besov spaces with suitable integrability parameters. The purpose of this thesis is to study adaptive Bayesian non-parametric inference over Besov spaces, in the white noise model from the point of view of rates of contraction, using p-exponential priors, which range between Laplace and Gaussian and possess regularity and scaling hyper-parameters. To achieve adaptation, we employ empirical and hierarchical Bayes approaches for tuning these hyper-parameters. Our contraction results show that, while it is known that Gaussian priors can attain the minimax rate only in Besov spaces of spatially homogeneous functions, Laplace priors lead to adaptive or nearly adaptive procedures in both Besov spaces of spatially homogeneous functions and Besov spaces permitting spatial inhomogeneities. Beyond the theoretical results, we present recently introduced Markov chain Monte Carlo algorithms suitable for sampling posteriors arising from p-exponential (hierarchical) priors and provide numerical simulations corroborating our theory.

Σε πολλές επιστημονικές εφαρμογές, ο στόχος είναι η εκμάθηση μιας συνάρτησης που είναι ομαλή σε ορισμένες περιοχές, αλλά ανώμαλη ή ακόμα και ασυνεχής σε άλλες περιοχές του πεδίου ορισμού της. Τέτοιες χωρικά ανομοιογενείς συναρτήσεις μπορούν να μοντελοποιήθουν σε χώρους Besov με κατάλληλες παραμέτρους ολοκληρωσιμότητας. Ο σκοπός αυτής της διατριβής είναι η μελέτη αυτόματα προσαρμόσιμων Μπεϋζιανών μη-παραμετρικών μεθόδων εκτίμησης για συναρτήσεις σε χώρους Besov, στο μοντέλο λευκού θορύβου. Συγκεκριμένα, θα μελετήσουμε το ρυθμό συστολής της εκ των υστέρων κατανομής για p-exponential εκ των προτέρων κατανομές, οι οποίες είναι κατανομές που κυμαίνονται μεταξύ Laplace και Gaussian και διαθέτουν υπερ-παραμέτρους ομαλότητας και κλίμακας. Για να επιτευχθεί η αυτόματη προσαρμόγη, χρησιμοποιούμε εμπειρικές και ιεραρχικές Μπεϋζιανές μεθόδους για την επιλογή αυτών των υπερ-παραμέτρων. Τα αποτελέσματα μας δείχνουν ότι, ενώ είναι γνωστό ότι οι Gaussian εκ των προτέρων κατανομές μπορούν να επιτύχουν βέλτιστους ρυθμούς συστολής μόνο σε χώρους Besov χωρικά ομοιογενών συναρτήσεων, οι Laplace εκ των προτέρων κατανομές οδηγούν σε αυτόματα προσαρμόσιμες ή σχεδόν αυτόματα προσαρμόσιμες διαδικασίες τόσο σε χώρους Besov χωρικά ομοιογενών συναρτήσεων όσο και σε χώρους Besov που επιτρέπουν χωρικές ανομοιογένειες. Εκτός από τα θεωρητικά αποτελέσματα, παρουσιάζουμε πρόσφατα εισηγμένους αλγό ριθμους Markov chain Monte Carlo που είναι κατάλληλοι για την παραγωγή δειγμάτων από εκ των υστέρων κατανομές που προκύπτουν από p-exponential (ιεραρχικές) εκ των προτέρων κατανομές και παρέχουμε αριθμητικές προσομοιώσεις που επιβεβαιώνουν τη θεωρία μας.