Partager cette page :
Discipline(s) : Infomatique et télécommunications

Théorie de l'information

Semestre Semestre 2
Type Facultatif
Nature UE

Pré-requis

Bases du calcul des probabilités, éléments d’optimisation sous contraintes (méthode des multiplicateurs de Lagrange).

Objectifs

Il s’agit de munir les étudiants d’outils théoriques simples et puissants pour définir formellement la notion d’information et analyser des systèmes de traitement de l’information, autant centralisés que répartis. L’approche est mathématique, mais les applications visées portent sur de nombreux domaines concernant directement de futurs informaticiens.

Compétences acquises :

La notion d’information, et comment elle se mesure, comment elle se comprime, avec ou sans pertes. Les théorèmes principaux concernant sa compression, sa transmission point à point, sa protection, son stockage (centralisé ou réparti). Le cours comporte des éléments sur les codes correcteurs d’erreurs classiques et modernes. Des éléments plus contemporains liés au traitement d’informations réparties sont abordés. On montre en particulier l’importance de l’aléatoire dans l’algorithmique traitant de grands systèmes.
Les domaines d’application vont des couches basses (traitement du signal et des images, codage), au middleware (stockage robuste), et aux couches hautes (sécurité, mesure des fuites d’information).

Contenu

Cours :
- Source d’information, entropie d’une source, AEP (almost equipartition property)
- Entropie jointe, information mutuelle entre deux sources, théorème du traitement de l’information (data processing inequality)
- Codage de source et limite de compression (1er théorème de Shannon)
- Canaux de transmission, et notion de capacité de canal (2ème théorème de Shannon)
- Selon les souhaits des étudiants et le temps disponible, l’un ou plusieurs des sujets suivants seront abordés : codage de source distribué, théorie débit-distorsion, canal à accès multiple, canal à information adjacente disponible à l’émetteur et/ou au récepteur, codes fontaines, turbo-codes, writing on dirty paper,…
 
Travaux dirigés :
Une séance sur deux est consacrée à des exercices simples d’application du cours. Les étudiants passent à tour de rôle au tableau pour les résoudre. Ils sont invités à porter un regard critique sur les solutions qu’ils proposent.

Contrôles des connaissances

Devoir individuel à la maison (problème donné sous forme de cas pratique, à modéliser, formaliser et traiter en utilisant les concepts de la théorie de l’information)  + devoir sur table (2h) ; les exercices faits en commun au tableau ne comptent pas directement dans l’évaluation.

Mise à jour le 12 avril 2018