Le Transformer est une architecture de réseaux de neurones profonds introduite en 2017 qui s’est avérée très populaire en traitement automatique des langues. Nous allons voir que cette architecture se modélise tout à fait naturellement en tant qu’un système de particules en interaction sur la sphère unité avec une non-linéarité très particulière, et, pour certains choix de paramètres, est même un flot de gradient pour une énergie d’interaction peu étudiée. Nous allons étudier la convergence en temps long de cette dynamique (qui correspond à étudier les représentations apprises par un Transformer au cours de ses différentes couches) étant donné une configuration initiale arbitraire. Des liens avec des sujets mathématiques bien établis tels que les flots de gradient de Wasserstein, la géométrie combinatoire, et le contrôle, seront faits.

Le polymères dirigés en milieu aléatoire est un modèle de mécanique statistique, originellement introduit comme un modèle “jouet” pour décrire le comportement des interfaces du modèle d'Ising bidimensionnel avec constante de couplage aléatoire. Le modèle a été rapidement généralisé en dimension supérieure. Dans ce cas, il peut correspondre à une modélisation d'un polymère étiré dans une solution inhomogène. Ce modèle a depuis engendré une littérature abondante en physique théorique et en mathématique. Une question centrale dans l'étude du modéle est celle de la transition de localisation. Cette transition peut-être identifiée par l'étude du comportement asymptotique de la fonction de partition du modèle. Si la fonction de partition converge vers une variable aléatoire strictement positive, on dit que le désordre est faible alors que si elle converge vers 0 presque sûrement, on dit que le désordre est fort. Il a été montré que le désordre faible implique que la distribution des trajectoires du polymère converge vers celle d'un Brownien standard, alors que dans la phase de désordre fort, des résultats de localisation des trajectoires ont été montrés. Les résultats de localisation les plus significatifs ont été obtenus sous l'hypothèse plus forte que la fonction de partition converge exponentiellement vers zéro un régime désigné sour le nom de désordre “très fort”. Il a été conjecturé que, au moins dans un sens faible, désordre fort et très fort sont équivalents. Dans cet exposé nous présenterons certains éléments d'une preuve de cette conjecture. (issu d'une collaboration avec Stefan Junk)

(attention à la salle inhabituelle)

Soit $A$ une matrice $d \times d$ à coefficients entiers, dilatante (i.e. toutes les valeurs propres de $A$ sont de module > 1). L'application $x \mapsto Ax$ définit un endomorphisme du tore $\mathbb{R}^d/\mathbb{Z}^d$. Cet endomorphisme préserve la mesure de Haar $\eta$.

Mihailescu a montré en 2011 que cet endomorphisme est isomorphe à un décalage de Bernoulli uniforme sur $\{0,\ldots,r-1\}^{\mathbb{N}}$, mais sa preuve est non-constructive. Nous verrons deux approches différentes qui fournissent une application facteur dans un sens ou dans l'autre, qui est \og $s$ en un \fg pour un certain entier naturel $s \ge 1$. Lorsque $A^{-1}$ est contractante pour la norme $|\cdot|_\infty$ sur $\mathbb{R}^d$, ces applications facteurs sont des isomorphismes.