Injection de bruit adaptative pour la détermination de variables pertinentes
La selection de variables et les moindres carres regularises sont les deux archetypes des methodes utilisees pour regler la complexite d'un regresseur. Dans le domaine des reseaux de neurones, ces principes sont respectivement declines sous differentes formes de techniques d'elagage et de penalisation des poids. Elles peuvent etre utilisees dans l'objectif d'estimer l'ensemble des variables d'entree pertinentes pour predire les variables de sortie. Pour l'elagage, les indices de pertinence sont binaires (la variable est conservee ou supprimee); pour la penalisation, les indices sont continus. Cet article montre comment l'injection de bruit peut etre adaptee pour penaliser differement les entrees de maniere adaptative. L'algorithme propose conserve la simplicite de l'algorithme de base. En particulier, il ne necessite qu'un hyperparametre, dont le role est de regler a la fois la complexite du modele et les indices de pertinence de chaque variable. De nombreux resultats experimentaux sur des donnees simulees confirment la validite de cette approche.