Generalized robust estimation for a class of systems

Abstract

Μία από τις πιο κοινές εργασίες στην επεξεργασίας σήματος, η οποία προκύπτει σε διάφορες εφαρμογές, είναι η εκτίμηση ενός σήματος από μια μέτρηση που υπόκειται σε θόρυβο. Τις περισσότερες φορές ανακριβής γνώση των εκ των προτέρων χαρακτηριστικών εισαγωγής οδηγεί στην ανακριβή εκτίμηση του σήματος και στη μείωση της απόδοσης της σχετικής εφαρμογής. Αυτή η διατριβή παρουσιάζει μια προσέγγιση ελαχιστοποίησης-μεγιστοποίησης (minmax) στο σχεδιασμό εύρωστης εκτίμησης. Οι μέθοδοι minmax είναι πολύ χρήσιμες καθώς οδηγούν σε εποικοδομητικές διαδικασίες για το σχεδιασμό εύρωστων πλάνων. Ο κύριος στόχος της διατριβής είναι η εξαγωγή εύρωστων εκτιμητών ελαχίστων-τετραγώνων που θα μπορούν να χρησιμοποιηθούν σε περιπτώσεις όπου τα στατιστικά ή οι εσωτερικές δυναμικές που χαρακτηρίζουν ένα σήμα καθώς και οι παρατηρήσεις δεν είναι ακριβώς γνωστές. Αν και ο πρωταρχικός στόχος εστιάζεται στην εύρωστη εκτίμηση minmax η διατριβή ερευνά και κάποιες πτυχές άλλων γνωστών τεχνικών εκτίμησης όπως είναι οι τεχνικές Μέγιστη εκ των Υστέρων (MAP) εκτίμησης και εκτίμησης Μέγιστης Πιθανότητας (ML). Υπάρχουν τρεις κύριες συνεισφορές σε αυτή τη διατριβή: 1) Μοντελοποίηση της αβεβαιότητας ενός συστήματος χρησιμοποιώντας στοχαστικούς πυρήνες (stochastic kernels) και από-κοινού διανομές και εξαγωγή εύρωστων εκτιμητών ελαχίστων-τετραγώνων για διάφορα σύνολα αβεβαιότητας μέσω μιας προσέγγισης minimax. Αυτά τα σύνολα αβεβαιότητας καθορίζονται από τον περιορισμό της απόστασης Kullback-Leibler. Τα αποτελέσματα περιλαμβάνουν την ύπαρξη βέλτιστων μέτρων, καθώς και ιδιότητες που συνδέονται με την εκτίμηση του αληθινού μέτρου. Επιπρόσθετα, παρουσιάζονται διάφορα παραδείγματα, τα οποία περιλαμβάνουν και μοντέλα MIMO, όπου επιδεικνύεται η εφαρμογή των αποτελεσμάτων σε πρακτικά προβλήματα. 2) Εφαρμογή της θεωρίας minimax σε πεπερασμένα-διαστατικά (finite-dimensional) αυτοανάδρομα (autoregressive) μοντέλα καναλιών για την εξαγωγή εύρωστων εκτιμητών ελαχίστων-τετραγώνων για μια τάξη αβέβαιων μοντέλων. Η μεθοδολογία που παρουσιάζεται χρησιμοποιεί μια τεχνική αλλαγής του μέτρου πιθανότητας για την εξαγωγή αναδρομικών εξισώσεις για την υπό όρους διανομή ενός μη γραμμικού προβλήματος φιλτραρίσματος. Η υπό όρους μέση εξίσωση λύνεται ρητά για να εξαχθούν εκτιμήσεις της περιβάλλουσας και της φάσης για συγκεκριμένα μοντέλα όπως το γραμμικό μοντέλο Gaussian και το μη-συνεκτικό (non-coherent) μοντέλο πολλαπλών διαδρομών. Επίσης, παρουσιάζεται η σχέση του μη-συνεκτικού μοντέλου πολλαπλών διαδρομών με την κλασσική εκτίμηση ελαχίστων-τετραγώνων. 3) Εξαγωγή γενικευμένων εκτιμητών MAP και ML. Η μεθοδολογία που χρησιμοποιείται περιλαμβάνει την εισαγωγή μιας εκθετικής συνάρτησης στον ορισμό του κόστους και της συνάρτησης πιθανότητας των εκτιμητών MAP και ML, αντίστοιχα. Παρουσιάζεται η σχέση με την προσέγγιση minmax και επιλύονται επίσης μερικά παραδείγματα που επιδεικνύουν την εφαρμογή των αποτελεσμάτων σε θεωρητικά προβλήματα.

One of the most common signal processing tasks arising in various applications is the estimation of a signal from a noisy measurement. Most of the time imprecise á priori knowledge of input characteristics results in degradation of performance. This thesis presents a minimax approach to the design of robust estimation. Minimax methods are useful because they lead to constructive procedures for designing robust schemes. The main goal of this thesis is to derive robust least-square estimators for situation when the statistics or internal dynamics describing the signal and observations are not exactly known. Even though the primal focus is on robust minimax estimation, some aspect of other well-known estimation techniques, such as the Maximum Á Posteriori and the Maximum Likelihood estimation techniques are also investigated.

There are three main contributions in this thesis: 1) Modeling of uncertainty of a system using stochastic kernels, and joint distributions, and derivation of robust least-square estimators for various uncertainty sets, through a minimax approach. These uncertainty sets are defined by a Kullback-Leibler distance constraint. The results include existence of the optimal measures, and properties associated with the estimate of the true measure. Various examples, which also include MIMO communication models, are used to illustrate how the results apply to practical problems;

2) Application of minimax theory developed to finite-dimensional autoregressive channel models in order to derive robust least-square estimators for a class of uncertain models. The methodology presented invokes a change of probability measure technique to derive recursive equations for the conditional distribution of a nonlinear filtering problem. The conditional mean equation is solved explicitly to derive envelope and phase estimates for specific models such as the linear Gaussian model and the non-coherent multipath model. For the non-coherent multipath model a connection with the classical lest-square estimation is also presented;

3) Derivation of a generalized Maximum Á Posteriori estimator, and a generalized Maximum Likelihood estimator. The methodology used involves the introduction of an exponential function in the cost definition and the likelihood function of the Maximum Á Posteriori estimation and the Maximum Likelihood estimation technique, respectively. A connection with the minimax approach is also presented and some examples are solved to illustrate the application of the results to theoretical problems.