Poste Post-Doc : Optimisation conjointe du noyau et des paramètres pour les SVM

Post-Doc : Optimisation conjointe du noyau et des paramètres pour les SVM Post-Doc DeadLine: 30/11/2009 fahed.abdallah@hds.utc.fr http:// De nombreux algorithmes d'apprentissage statistique, dont les SVM (séparateurs à vaste marge) se basent sur un résumé des données sous la forme d'une matrice de dissimilarités entre exemples. Ces dissimilarités sont calculées grâce à une fonction particulière, appelée noyau. La matrice obtenue est carrée, symétrique et définie positive. Son adéquation aux données est essentielle pour la réussite de l'apprentissage, et de nombreux travaux visent à l'ajuster conjointement avec les paramètres du SVM [1,3]. L'ensemble des matrices symétriques définies positives définit une variété non-linéaire, pour laquelle la métrique euclidienne classique n'est pas pertinente. Par exemple, un ajout infinitésimal sur un élément hors de la diagonale rend la matrice asymétrique, et donc incompatible avec le formalisme des SVM. Ainsi, les distances pertinentes entre matrices ne peuvent pas être dérivées de la représentation classique des matrices, sous forme d'un vecteur concaténant toutes ses lignes/colonnes. Des représentations adaptées, tenant compte de la géométrie de la variété, commencent à être explorées. Dans un autre contexte, des algorithmes d'optimisation sur des variétés non-linéaires, où les solutions sont mises à jour sur des trajectoires appartenant à la variété, les géodésiques, ont été proposés [2]. Le point clé de ces algorithmes est la transformation exponentielle, qui retourne un point sur la géodésique à partir d'un vecteur tangent à la variété. Cette transformation permet d'appliquer les techniques d'optimisation classiques, tout en respectant la contrainte d'appartenance à la variété différentiable. Le but du travail est de tester des représentations de matrices issues de la géométrie différentielle pour la mise en œuvre dans l'algorithme SVM. Ce travail demande de bonnes connaissances en programmation et méthodes d'optimisation. Les connaissances en géométrie différentielle ne sont en revanche pas essentielles. Mots clés : Apprentissage Statistique, SVM, Géométrie différentielle. Responsable : Fahed Abdallah Laboratoire Heudiasyc UMR 6599 CNRS-UTC prenom.nom@hds.utc.fr [1] Yves Grandvalet and Stéphane Canu. Adaptive Scaling For Feature Selection in SVMs. In Advances in Neural Information Processing Systems 15 (NIPS 2002), S. Becker, S. Thrun and K. Obermayer, Ed., p.p.569--576, MIT Press, 2003. [2] Hichem Snoussi and Ali Mohammad-Djafari. Particle Filtering on Riemannian Manifolds. In Bayesian Inference and Maximum Entropy Methods, Ali Mohammad-Djafari, Ed. MaxEnt Workshops, July 2006, pp. 219--226, Amer. Inst. Physics. [3] Lorenzo Torresani, Kuang C. Lee . Large Margin Component Analysis. Edited by: B. Schölkopf, J. Platt, T. Hoffman In Advances in Neural Information Processing Systems 19 (2007), pp. 1385-1392.