Ph.D defense of Paul VIALLARD"Bornes PAC-Bayésiennes et Au-delà : Algorithmes Auto-limitatifs et Nouvelles Perspectives sur la Généralisation en Apprentissage Automatique"

"Bornes PAC-Bayésiennes et Au-delà : Algorithmes Auto-limitatifs et Nouvelles Perspectives sur la Généralisation en Apprentissage Automatique"

Résumé

En apprentissage automatique, un sous-domaine de l'intelligence artificielle, un modèle est appris à partir de données pour résoudre une tâche de manière automatique. Par exemple, dans le cadre de la classification supervisée, le modèle vise à prédire la classe associée à une entrée. Le modèle est appris à l'aide d'un nombre limité d'exemples, chacun d'entre eux étant constitué d'une entrée et de sa classe associée. Cependant, la performance du modèle sur les exemples, calculée par le risque empirique, ne reflète pas nécessairement la performance sur la tâche qui est représentée par la notion de risque réel. Cependant, le risque réel n'est pas calculable, mais il peut être majoré pour obtenir une borne en généralisation. Une telle borne dépend principalement de deux quantités : (i) le risque empirique et (ii) un terme de complexité. Une façon d'apprendre un modèle performant est de minimiser une borne en généralisation ; ce type d'algorithme d'apprentissage est appelé auto-certifié. Un type de bornes en généralisation, bien adapté à la dérivation d'algorithmes auto-certifiés, provient de la théorie PAC-Bayésienne. Dans ce contexte, la première contribution présentée dans cette thèse consiste à développer des algorithmes auto-certifiés qui minimisent des bornes PAC-Bayésiennes pour apprendre des votes de majorité. Si les bornes PAC-Bayésiennes sont bien adaptées aux votes de majorité, leur utilisation pour d'autres modèles, tels que les réseaux de neurones, devient moins naturelle. Pour pallier cette difficulté, la seconde contribution de cette thèse se concentre sur les bornes PAC-Bayésiennes désintégrées permettant de développer des garanties sur des modèles plus généraux, dont les réseaux de neurones. Dans ce cadre, nous fournissons la première étude empirique de ces bornes en les minimisant par des algorithmes auto-certifiés. Pour terminer, dans une troisième contribution, nous dérivons de nouvelles bornes permettant d'incorporer des mesures de complexité arbitraires pouvant être définies par l'utilisateur. Cette dernière contribution ouvre la porte sur de nouvelles perspectives en théorie de l’apprentissage statistique pour comprendre la généralisation d’algorithmes d’apprentissage automatique.

Jury

• Stéphane Canu, Professeur, INSA de Rouen, France (Rapporteur)
• Liva Ralaivola, VP Research, Criteo AI Lab, France (Rapporteur)
• Rémi Gribonval, Directeur de recherche, ENS Lyon, Inria, France (Examinateur)
• Marc Tommasi, Professeur, Université de Lille, Inria, France (Examinateur)
• Amaury Habrard, Professeur, Université de Saint Etienne, France (Directeur)
• Pascal Germain, Professeur adjoint, Université Laval, Québec, Canada (Co-Encadrant)
• Emilie Morvant, Maître de conférences, Université de Saint Etienne, France (Co-Encadrante)

La présentation se fera en français.