On new developments in statistical inference for measures of divergence

Abstract

Στην παρούσα διατριβή γίνεται αρχικά μια βιβλιογραφική ανασκόπηση που αφορά τα Μέτρα Πληροφορίας και η οποία περιλαμβάνει μια ταξινόμηση των μέτρων αυτών σε τέσσερις κύριες κατηγορίες ως εξής: μέτρα τύπου απόκλισης, μέτρα τύπου εντροπίας, μέτρα τύπου Fisher και μέτρα τύπου Bayes. Ιδιαίτερη βαρύτητα δίνεται στα μέτρα απόκλισης. Στη συνέχεια προτείνεται μια νέα γενικευμένη οικογένεια μέτρων απόκλισης, η οποία βασίζεται στο μέτρο απόκλισης BHHJ, το οποίο προτάθηκε από τους Basu, Harris, Hjort και Jones (1998). Για την οικογένεια αυτή αποδεικνύονται οι κύριες ιδιότητές. Τα μέτρα απόκλισης χρησιμοποιούνται ως ενδείξεις ομοιότητας η ανομοιότητας μεταξύ πληθυσμών. Επομένως είναι δυνατόν να χρησιμοποιηθούν μεταξύ άλλων και για την κατασκευή νέων κριτηρίων επιλογής μοντέλων. Εφαρμόζοντας ανάλογη μεθοδολογία με αυτήν που χρησιμοποιήθηκε για την κατασκευή του γνωστού κριτηρίου AIC (Akaike, 1973) προτείνεται ένα νέο κριτήριο επιλογής μοντέλων, το Divergence Information Criterion (DIC) που προκύπτει ως μια αμερόληπτη εκτιμήτρια της αναμενόμενης ολικής BHHJ απόκλισης. Επίσης προσδιορίζεται το κάτω φράγμα του μέσου τετραγωνικού σφάλματος πρόβλεψης. Έπειτα, η διατριβή επικεντρώνεται στη διερεύνηση της διακριτής μορφής της νέας γενικευμένης οικογένειας μέτρων απόκλισης BHHJ και αποδεικνύονται οι ιδιότητες της κατανομής της εκτιμήτριάς της. Επίσης προτείνεται μια νέα στατιστική συνάρτηση για ελέγχους υποθέσεων καλής προσαρμογής σε πολυωνυμικούς πληθυσμούς και αποδεικνύεται η ασυμπτωτική κατανομή της κάτω από την μηδενική υπόθεση όπως και κάτω από την εναλλακτική υπόθεση της συνάφειας (contiguous alternative). Τέλος παρουσιάζονται μια σειρά εφαρμογών και συγκρίσεων για διερεύνηση της καταλληλότητας του κριτηρίου επιλογής μοντέλων DIC καθώς και της στατιστικής συνάρτησης για τους ελέγχους καλής προσαρμογής.

A literature review on the measures of information, classified in four main categories namely divergence - type, entropy - type, Fisher - type and Bayesian - type is provided in the current thesis. Special attention is given to the divergence - type measures. We first propose and investigate a general family of measures of divergence which is based on the BHHJ measure of divergence of Basu, Harris, Hjort, and Jones (1998). A number of main properties of the family are discussed. Since measures of divergence are used as indices of similarity or dissimilarity between populations, they can be used to develop new model selection criteria. Applying the same methodology used for the well known Akaike Information Criterion (AIC), a new model selection criterion called Divergence Information Criterion (DIC) is proposed as an approximately unbiased estimator of the expected overall BHHJ discrepancy (divergence). Then, we focus on the investigation of the discrete form of the measure. We provide the distributional properties of the estimator of this general family of BHHJ measures of divergence and we propose a test statistic based on this family of measures for goodness of fit tests for multinomial distributions. Finally, a number of simulations are performed to check the appropriateness of both the proposed model selection criterion and the test statistic for goodness of fit.