Nonanticipative information theory

Abstract

Η κλασσική θεωρία πληροφορίας χρησιμοποιεί την αμοιβαία πληροφορία για να ορίσει τη χωρητικότητα των καναλιών και τη συμπίεση των πηγών πληροφορίας. Για κανάλια και πηγές χωρίς μνήμη και ανατροφοδότηση, το μέτρο αυτό μπορεί να χρησιμοποιηθεί με επιτυχία για να υπολογιστεί η λειτουργική χωρητικότητα των καναλιών και η συμπίεση των πηγών. Για κανάλια με μνήμη ανατροφοδότηση και για συμπίεση πηγών σε πραγματικό χρόνο, χωρίς καθυστέρηση η αμοιβαία πληροφορία δεν αποτελεί κατάλληλο μέτρο πληροφορίας. Η κατευθυνόμενη πληροφορία μπορεί να χρησιμοποιηθεί για να υπολογιστή τόσο η χωρητικότητα καναλιών με μνήμη και ανατροφοδότηση, για χωρητικότητα δικτύων, ακόμα και για ανάλυση βιολογικών συστημάτων. Η συγκεκριμένη διατριβή ερευνά, μέσω της κατευθυνόμενης πληροφορίας, την χωρητικότητα καναλιών με μνήμη και ανατροφοδότηση την συμπίεση πηγών σε πραγματικό χρόνο, την κοινή κωδικοποίηση πηγής και καναλιού πραγματικού χρόνου, όσο και την χρησιμοποίηση της πληροφορίας για στοχαστικό έλεγχο συστημάτων. Η παρουσίαση γίνεται σε ένα ενοποιημένο πλαίσιο κατάλληλο για την ανάλυση τέτοιων προβλημάτων χρησιμοποιώντας αρχές και έννοιες της στοχαστικής θεωρίας ελέγχου, του δυναμικού προγραμματισμού και λογισμού των μεταβολών.

Traditional information theoretic measures for capacity and lossy compression are defined via mutual information. For memoryless communication channels and sources these measures have been successfully applied to compute the operation capacity of channels and lossy compression of sources, respectively. For channels with memory and nonanticipative (causal) feedback and nonanticipative lossy compression of sources with memory the valid information measure is the directed information defined via nonanticipative conditional distributions. Directed information is also extensively utilized in networks, communication for real-time stochastic control applications, and in biological system analysis. This thesis investigates via directed information, capacity of channels with memory and feedback, lossy nonanticipative data compression, Joint Source Channel Coding based on nonanticipative transmission, and communication for real-time stochastic control. The thesis presents a unifying framework to analyze such extremum problems. It utilizes concepts from stochastic control theory, dynamic programming, and calculus of variations to address extremum problems of capacity of channels with memory and feedback, extremum problems of nonanticipative rate distortion function of sources with memory, extremum problems of Joint Source Channel Coding based on nonanticipative transmission.