Si vous vous souvenez de mes randonnées passées,
Alors aujourd'hui, soyez préparés,
Car je viens en paix, sans aucun remords,
Pour révéler enfin la raison de mon effort.

Mon doctorat, il est temps de le partager,
Une invitation, je vous la fais parvenir.
Le 20 novembre à 14 heures , soyez au rendez-vous,
À l' amphi 55A , campus de Jussieu.

Ma thèse, un titre long mais plein de sens,
“ Dynamic optimisation of branching diffusion processes ,”
Le contrôle stochastique, la clé de l'énigme,
Sur les systèmes de particules, ma thèse déprime.

Je vous implore, soyez là pour moi ce jour-là,
Pour écouter mes mots, même avec mon accent étrange,
Promis, des récompenses vous attendent après,
Mais seulement si vous endurez mon italien qui dérange.

Alors réservez la date, n'ayez pas peur,
On parlera de population, de contrôle et de bonheur.
Une discussion captivante, je vous le garantis,
Et un pot convivial pour célébrer avec vos amis.

J'attends votre présence avec impatience,
Pour partager ce moment de science.
R.S.V.P. pour que je puisse vous compter,
À ma thèse, soyez prêts à assister !

—

Hey there, folks, it's your Antonio in your inbox once more,
Three years of Ph.D. spam, you could not ignore!
For my faithful readers, you maybe recall my past hikes,
But now, a chance for newbies, no need for dislikes.

Today, I'm breaking the norm, so let's be clear,
Revealing why I'm here, with no more spam to fear.
I'm thrilled to announce, it's a day of celebration,
On November 20th , in Amphi 55A , no hesitation!

Join me at 2 PM , Jussieu's campus is the place,
To discuss my thesis, let's embrace this space.
The title's a mouthful, but don't be perplexed,
“ Dynamic optimization of branching diffusion ,” I'm vexed!

Stochastic Control's lens on particle systems we'll explore,
And scaling limits, I promise, won't be a bore.
I hope to see you there, in the crowd so bright,
Sharing this cherished moment, feels just right!

Great rewards await, a potluck, you see,
But only for those who can endure listening to me.
Chatting 'bout optimal control, expanding populations,
In my typical Italian accent, no hesitations!

Mark the date, save the time, and RSVP,
Let's make this day unforgettable, just you and me.
For science, laughs, and a celebration so grand,
Together we'll conquer, hand in hand!

Dans un premier temps, on se consacre à l’étude d’une marche aléatoire (dite biaisée critique) sur un arbre infini (appelé l’environnement) et indexée par un arbre de Galton-Watson critique conditionné à être grand (appelé la généalogie). On suppose que la loi de reproduction de la généalogie est dans le domaine d’attraction d’une loi stable d’indice α ∈ (1, 2]. On traite d’une part du cas où l’environnement est un arbre régulier enraciné, et d’autre part du cas où il s’agit d’un arbre de Galton-Watson sur-critique modifié de façon à être de profondeur infinie. Sous une certaine hypothèse de moments pour l’environnement, on montre que le nombre de points visités par la marche croît linéairement, et à vitesse déterministe, en fonction de la taille de la généalogie lorsque cette dernière tend vers l’infini. En outre, on prouve que le sous-arbre des points visités par la marche branchante admet une limite d’échelle. Auparavant introduit dans le contexte de l’étude des cartes planaires aléatoire, cet espace métrique limite est le cactus brownien (réfléchi) avec mécanisme de branchement α-stable. La comparaison de cette étude nouvelle avec les travaux antérieurs sur les marches aléatoires indexées par le temps ou à valeurs dans un réseau euclidien illustre l’influence des branchements de la généalogie et de l’environnement.

Dans un second temps, on s’intéresse à la complexité de branchement des arbres de Galton-Watson en étudiant leurs nombres de Horton-Strahler. Cet outil combinatoire, aussi appelé fonction de registre, a été originellement introduit en hydrogéologie mais a été redécouvert et appliqué par de nombreuses autres disciplines scientifiques par la suite. Ici, on donne un équivalent asymptotique déterministe du nombre de Horton-Strahler d’un arbre de Galton-Watson critique conditionné par la taille et dont la loi de reproduction est dans le domaine d’attraction d’une loi stable d’indice α ∈ [1, 2]. Cette estimation ne dépend que de α lorsque α ̸= 1, mais les cas α = 1 sont modèle-dépendants et sujets à des comportements plus complexes. On examine ensuite les fluctuations du nombre de Horton-Strahler chez la famille spécifique des arbres de Galton-Watson stables, qui contient l’arbre de Galton-Watson critique binaire. On est alors amené à introduire une variante continue du nombre de Horton-Strahler, et on montre que celle-ci converge après recentrage vers une caractéristique métrique de la limite d’échelle des arbres. On étudie les propriétés de cette quantité nouvelle qui joue le rôle d’un analogue du nombre de Horton-Strahler pour les arbres continus.

—

Abstract: In this thesis, we study discrete random branching phenomena and seek to relate them to continuum fractal metric structures. Galton-Watson trees, which describe the genealogical history of an asexual population whose individuals reproduce under the same law and independently of each other, are our main model.

In the first part, we focus on the study of a random walk (said critical biased) on an infinite tree (called the environment) and indexed by a critical Galton-Watson tree conditioned to be large (called the genealogy). The offspring distribution of the genealogy is assumed to be in the domain of attraction of a stable law of index α ∈ (1, 2]. We both consider the case where the environment is a regular rooted tree and the case where it is a supercritical Galton-Watson tree modified to have an infinite depth. Under some hypothesis of moments for the environment, we show that the number of points visited by the random walk grows linearly, and at a deterministic speed, with respect to the size of the genealogy when the latter tends to infinity. Furthermore, we prove that the subtree of points visited by the branching random walk admits a scaling limit. Previously introduced in the context of the study of random planar maps, this limit metric space is the (reflected) Brownian cactus with α-stable branching mechanism. Comparison of this new study with earlier work about random walks indexed by a linear time or taking values in a Euclidean lattice illustrates the influence of the branching nature of the genealogy and the environment.

In the second part, we study the branching complexity of Galton-Watson trees by considering their Horton-Strahler numbers. This combinatorial tool, also known as the register function, was originally introduced in hydrogeology but was subsequently rediscovered and applied by many other scientific disciplines. Here, we give a deterministic asymptotic equivalent of the Horton-Strahler number of a size-conditioned critical Galton-Watson tree whose offspring distribution is in the domain of attraction of a stable law of index α ∈ [1, 2]. This estimate depends only on α when α ̸= 1, but the α = 1 cases are model-dependent and subject to more complex behaviors. We then examine the fluctuations of the Horton-Strahler number for the specific family of stable Galton-Watson trees, which contains the binary critical Galton-Watson tree. To do so, we introduce a continuous variant of the Horton-Strahler number that converges after recentering towards a metric characteristic of the scaling limit of the trees. We study the properties of this new quantity, which acts as a continuum analog of the Horton-Strahler number.

In a further development, we examine the behaviour of RF algorithms in the interpolation regime, thus extending the study of interpolating estimators (such as neural networks and kernel methods) to random forests. Rates of convergence are established for interpolating median RF, and the influence of interpolation on the prediction performances is also measured through the volume of the interpolation zone, characterized for interpolating Breiman forests (Chapter 4).

Finally, we present an ongoing implementation work consisting in training neural networks with different objectives inspired from the PAC-Bayes framework in order to reach faster optimisation and better generalisation performances.

Dans un premier temps, nous établissons un théorème central limite α-stable pour des fonctionnelles additives de diffusions unidimensionnelles. Le cas des fluctuations gaussiennes est un problème classique et de nombreux résultats existent à ce sujet. Mais de manière surprenante, très peu de résultats concernent les limites d’échelles α-stable, pour α ∈ (0, 2).

Dans un second travail en commun avec Quentin Berger et Camille Tardif, nous nous intéressons au problème de persistance pour des fonctionnelles additives de processus de Markov, i.e. nous caractérisons asymptotiquement la probabilité que cette fonctionnelle reste en dessous d’un certain niveau jusqu’au temps t. Divers résultats y sont établis. Lorsque le processus de Markov sous-jacent est récurrent positif, nous donnons une condition nécessaire et suffisante pour que la probabilité de persistance soit à variations régulières. Lorsque le processus est récurrent nul, il nous faut des hypothèses supplémentaires pour établir le comportement asymptotique. Ces hypothèses étant un peu abstraites, nous les simplifions ensuite pour une sous-classe de processus appelés diffusions généralisées . Ceci nous amène dans une dernière partie à établir l’asymptotique de la queue de probabilité du temps de retour en zéro de la fonctionnelle, ce qui nous permet de construire la fonctionnelle additive conditionnée à rester négative.

Dans un troisième temps, nous étudions la limite d’échelle d’un modèle cinétique de Fokker-Planck avec conditions de bord diffusives. Plus précisément, on considère une particule qui vit dans [0,\infty) dont la vitesse est une diffusion récurrente positive ayant une mesure invariante à queues lourdes lorsque la particule est strictement positive. Quand la particule touche la frontière x = 0, elle en ressort instantanément avec une vitesse strictement positive tirée aléatoirement selon une mesure de probabilité sur (0, \infty). Nous montrons que pour la particule réfléchie, la limite d’échelle est un processus α-stable réfléchi sur son infimum.

Dans un quatrième travail en commun avec Quentin Berger, nous revisitons le théorème de Sparre Andersen pour des variables aléatoires échangeables et invariantes par signe. Nous utilisons ensuite ce résultat pour obtenir des bornes sur des probabilités de persistance de certaines chaînes de Markov intégrées.

Enfin, dans une dernière partie, nous revisitons les résultats du Chapitre 1 concernant les limites d’échelles de fonctionnelles additives en utilisant les outils introduits dans les Chapitres 2 et 3.

—

Abstract: This thesis lies at the crossroads of real options theory, option pricing, and stochastic control. We focus on the extension of Modigliani Miller's theorem and its links with the cash management model whose study was initiated by Jeanblanc al. and Shreve al. In their seminal paper, Modigliani and Miller (MM) demonstrated that in a frictionless world, corporate decisions such as dividend policy (1961) or capital structure (1968) are irrelevant: they do not affect the value of shareholders' equity. We organize our work as follows: first, we consider the problem of capital structure from the manager's point of view. We consider a problem in which the manager chooses between issuing debt or equity to finance the firm. When the company is not in difficulty, the manager may issue dividends to reward shareholders, or reduce the amount of debt outstanding, thereby reducing the amount paid in interest on the debt. Care has been taken to distinguish between the company's assets: fixed assets and cash reserves, and its liabilities: debts, and shareholders' equity. In particular, the company's financial distress may be structural in nature or due to a lack of liquidity. In our model, equity maximization gives rise to a non-classical two-dimensional singular stochastic control problem. We approach the problem using viscosity theory and provide a numerical illustration of our results. Next, we focus on assessing the impact of the additional reprieve granted to distressed companies. Under the US Bankruptcy Code, a company filing for bankruptcy can file for liquidation under Section 7 or protect its assets from debtors under Section 11. Similar legislation is also common in the bankruptcy codes of other countries, such as France and the United Kingdom: France, United Kingdom. Under Article 11, the company is allowed to continue its activities for a certain period of time, determined by a referee, in order to reorganize and return to a stable financial situation. We present our problem as a singular control problem. We emphasize the similarity of the value function to Parisian options, among other things. This similarity enables us to derive an explicit formula for the case of Brownian motion with drift. Finally, we consider the problem of optimal dividend and investment policy in the presence of a Markov chain business cycle. The innovation here comes from the modeling of the investment process. We assume that investment opportunities are financed by issuing debt. However, these proposals are uncertain in the sense that they only occur at random times. The manager has the right but not the obligation to accept these investment opportunities, which have an impact on the company's risk profile and capital structure. This problem gives rise to a two-dimensional stochastic control of diffusion with jumps.

–

Abstract: This thesis focuses on adaptive Stochastic Gradient Langevin Dynamics (SGLD) algorithms to solve optimization and Bayesian inference problems. SGLD algorithms consist in a stochastic gradient descent with exogenous noise added in order to escape local minima and saddle points. Contrary to the classic Langevin Stochastic Differential Equation, we study the case where the exogenous noise is adaptive i.e. not constant but depends on the position of the procedure. In a first part we prove the convergence of SGLD algorithms for the $L^1$-Wasserstein distance and for the Total Variation distance. In a second part we apply SGLD algorithms to optimization and inference problems arising in Machine Learning and in Numerical Probability and we introduce the Layer Langevin algorithm. A last part is devoted to the numerical simulation of stochastic processes.

Dans la deuxième partie, nous construisons des états d'équilibre pour l'application de collision d'un billard dispersif, associés à des potentiels Holder par morceaux. Cette construction repose sur l'étude d'un opérateur de transfert pondéré agissant sur des espaces de Banach anisotropes. Nous montrons que, lorsque le potentiel satisfait certaines conditions techniques, il existe un état d'équilibre, unique, Bernoulli, adapté et de support total. Nous explicitons un potentiel tel que l'ensemble de ses états d'équilibre est en bijection avec l'ensemble des mesures d'entropie maximale du flot billard. Enfin, nous montrons que ce potentiel satisfait les hypothèses dégagées. Par suite, nous obtenons une condition suffisante pour que le flot billard ait une unique mesure d'entropie maximale, et montrons qu'elle est Bernoulli et adaptée. Nous donnons des exemples de billards qui satisfont cette condition.

Abstract: This thesis is divided into two parts. In the first part, we give a short proof showing that the ergodic integrals of a uniquely ergodic flow on a torus in dimension two admitting a transverse section whose Poincaré map has a rotation number of constant type grow at most logarithmically. Thanks to the asymptotic expansion of these integrals for Giulietti-Liverani flows, we retrieve the absence of non-trivial Ruelle resonance of modulus strictly greater than one. We give an example of a flow on the torus renormalized by an Axiom diffeomorphism that satisfies these assumptions. In the second part, we construct equilibrium states for the collision map of a dispersive billiard, associated to piecewise Holder potentials. This construction is based on the study of a weighted transfer operator acting on anisotropic Banach spaces. We show that, when the potential satisfies certain technical conditions, there exists a unique, Bernoulli, adapted and has full support. We explicit a potential such that the set of its equilibrium states is in bijection with the set of measures of maximal entropy of the billiard flow. Finally, we show that this potential satisfies the assumptions identified. As a result, we obtain a sufficient condition for the billiard flow to have a unique measure of maximal entropy, and show that it is Bernoulli and adapted. We give examples of billiard tables satisfying this condition.

Abstract: We study the ergodic properties of the horospheres on certain classes of manifolds without conjugate points. Our goal is to generalize several results already known for negatively curved manifolds. We prove that, for a large class of nonpositively curved rank 1 manifolds, certain horospheres are equidistributed under the action of the geodesic flow towards the Bowen-Margulis measure. In the case of nonflat nonpositively curved surfaces, we define a horocyclic flow on the set of horocycles containing a rank 1 vector that is recurrent under the action of the geodesic flow and we prove that this horocyclic flow has a unique invariant probability measure. Finally, we show that any horocyclic flow on a compact higher genus surface without conjugate points and with continuous Green bundles is uniquely ergodic. Our approach is based on methods specific to geodesic flows such as the boundary at infinity and the construction of the Bowen-Margulis measure via the Patterson-Sullivan theory. The main ingredient in the equidistribution theorem is the mixing of the Bowen-Margulis measure. Regarding the horocyclic flows, our results are obtained thanks to the definition of a uniformly expanding parametrization similar to the one used by B. Marcus in negative curvature.

In the first part, we solve a mean variance portfolio selection problem where the portfolio is penalized by a distance between the wealth invested in each of its assets and the composition of a reference portfolio with fixed weights. The optimal control and value function are obtained in closed form and an analogue of the efficient frontier formula is obtained in the limit where the penalisation tends to zero. The robustness of this allocation is tested on simulated market prices with parameter misspecification.

The second part deals with the delayed control of stochastic differential equations. We solve a simple linear quadratic stochastic control problem where the control appears both in the drift and diffusion part of the state SDE and is affected by a delay. The expressions of the optimal control and value function are obtained in terms of the solution of a system of coupled Riccati PDEs for which the existence and uniqueness of a solution is proven, provided that a condition, combining the time horizon, the delay, the drift and the volatility of the state SDE is satisfied. A deep learning method is used to solve the system Riccati PDEs in the context of Markovitz portfolio selection with execution delay.

In the third part, three methods based on deep learning are defined in order to solve fully non linear PDEs with convex Hamiltonian. These methods use the stochastic representation form of the PDE, whose optimal control is approximated numerically, in order to obtain three different estimators of the PDE solution based on regression or pathwise versions of the martingale representation and its differential relation. The solution and its derivatives are then computed simultaneously. We further leverage our methods to design algorithms for solving families of PDEs with parametric terminal condition by means of DeepOnet neural networks.

Mots clé: EDSPRs, Algorithme SGD, Deep learning, Grande dimension, Schémas de Splitting, particules stochastiques, Transport optimal.

Pour les analyser, on utilise principalement deux méthodes. Tout d’abord, on modifie nos algorithmes pour étudier les tailles des premières branches et là où elles sont collées. Ensuite, pour prouver que nos modèles sont proches de leurs premières branches, on utilise la méthode de chainage. Plus précisément, on divise nos algorithmes en grandes étapes, et on prouve qu’entre deux grandes étapes les objets que l’on construit ne changent pas beaucoup.

Dans le chapitre 2 , on étudie les ICRT et notamment leur compacité et dimension fractales. Dans le chapitre 3 , on prouve des limites d’échelles des arbres à suite de degrés fixés, et on majore leur hauteur. Dans le chapitre 4 , on prouve des limites d’échelles pour les multigraphes à suites de degrés fixés et surplus fixés, et on précise des connexions entre le modèle de configuration et les graphes multiplicatifs. Dans le chapitre 5 , on invente une théorie d’ R -arbre plan ce qui nous permet de définir et d’étudier les ICRT plans, leurs “arbres-boucles”, et des champs sur ces objets. Ce chapitre a pour but d’être appliqué à l’étude des cartes aléatoires à suite de face-degrés fixés.

English abstract: The emergence of complex XVA frameworks and time-consuming pricing models has encouraged researchers and finance practitioners to look at statistical learning methods to accelerate their calculations. The present thesis aims to contribute new approaches based on neural networks. First, we propose a consistent XVA framework along with a practical implementation using neural networks least-squares and quantile/expected shortfall regressions and GPU computing. Our implementation avoids Nested Monte Carlo simulations and does not need the usual approximations used by practitioners. Then, we address the issue of learning conditional expectations or risk measures in the presence of default events in a general framework. For this, we propose a new simulation scheme and provide a statistical convergence analysis and numerical experiments demonstrating its effectiveness. We also study the statistical convergence of a two-step quantile and expected shortfall learning approach and provide learning schemes based on neural networks for the single and multiple quantile learning cases. We address the quantile crossing issue as well. Motivated by the fact that the fungibility of the risk capital with variation margin in XVA calculations gives rise to anticipated backward stochastic differential equations, we devise an explicit learning scheme for such equations. Finally, we provide a projection approach to approximate the price of vanilla options in the context of model calibration to accelerate the latter. Our method, based on complex-step differentiation, augments the learning by seeking to project stochastic directional derivatives.

D'abord, nous établissons un lemme de couture dans le régime 0 < gamma ⇐ 1, donnant une construction qui n'est pas unique ni canonique mais tout de même continue. En corollaire, nous exhibons une paramétrisation bicontinue de l'ensemble des chemins rugueux par un produit d'espaces de Hölder, généralisant à la fois le théorème d'extension de Lyons–Victoir et un résultat récent de Tapia–Zambotti.

Ensuite, nous proposons un théorème de reconstruction dans le contexte des espaces de Besov, généralisant des résultats de Hairer–Labbé et Caravenna–Zambotti. En corollaire, nous donnons une nouvelle preuve du théorème de multiplication dans les espaces de Besov, sans utiliser de paraproduits.

Enfin, nous étudions les propriétés régularisantes des noyaux singuliers contre les germes. Un premier résultat est la construction d'une application de convolution qui agit sur les germes cohérents et homogènes. Nous revisitons ensuite les estimées de Schauder multiniveaux de Hairer, donnant une présentation et une preuve qui font référence aussi peu que possible au formalisme des structures de régularité.

Abstract: In this thesis, we derive analytic results related to the theories of Rough Paths and Regularity Structures, with the point of view of germs, that is, families of local approximations of functions or distributions.

We first establish a Sewing Lemma in the regime 0 < gamma ⇐ 1, giving a construction which is non unique nor canonical but still continuous. As a corollary, we exhibit a bicontinuous parametrisation of the set of Rough Paths by a product of Hölder spaces, generalising both the Lyons–Victoir extension theorem and a recent result by Tapia–Zambotti.

Secondly, we propose a Reconstruction Theorem in the context of Besov spaces, generalising results of Hairer–Labbé and Caravenna–Zambotti. As a corollary, we provide a new proof of the multiplication theorem in Besov spaces without relying on paraproducts. Finally, we study the regularising properties of singular kernels against germs. A first result is the construction of a convolution map which acts on general coherent and homogeneous germs. We also revisit Hairer's multilevel Schauder estimates, providing a presentation and a proof which make only minimal references to the formalism of regularity structures.

Nous considérons d’abord la formulation alternative du théorème de reconstruction faite par Caravenna et Zambotti mais nous généralisons ce résultat dans le cadre de Besov.

Deuxiémement, nous développons un calcul fonctionnel en utilisant une généralisation de la technique d’extension grâce à Kwaśnicki et Mucha .

Enfin, nous nous concentrons sur une approche alternative de la technique d’extension de Kwaśnicki et Mucha utilisant la théorie des fonctionnelles additives continues. Profitant de cette approche, nous montrons comment nous pouvons obtenir des exemples explicites de techniques d’extension.

Abstract: In this thesis, we focus on two problems within analysis and probability. The first being a problem relating to the so-called reconstruction theorem due to Martin Hairer and the second relating to the extension technique due to Caffarelli and Silvestre.

We first consider the alternative formulation of the reconstruction theorem done by Caravenna and Zambotti but we generalize this result within the Besov framework.

Secondly, we develop a functional calculus using a generalization of the extension technique due to Kwaśnicki and Mucha.

Lastly, we focus on an alternative approach of the extension technique from Kwaśnicki and Mucha utilizing the theory of continuous additive functionals. Taking advantage of this approach we show how one can obtain explicit examples of extension techniques.

La première classe d'algorithmes que nous considérons est celle des méthodes bayésiennes basée sur des structures d'arbres. Elles reposent sur le principe de 'diviser pour mieux régner', en partitionnant l'espace des données pour estimer le paramètre localement. En régression, ces méthodes incluent BCART et BART, cette dernière étant un ensemble d'arbres ou “forêt“. En estimation de densité, les arbres de Pólya sont un exemple de telles lois a priori et constituent la base d'une myriade de constructions connexes. Nous proposons une nouvelle extension, DPA, qui est une “forêt de Pólya” et permet d'atteindre des vitesses de contraction minimax, de manière adaptative, en distance de Hellinger pour des régularités de Hölder arbitraires. Des vitesses adaptatives dans la norme infinie sont également obtenues pour la loi a priori des arbres de Pólya optionnel (OPT), similaire à BCART en régression, pour des fonctions de régularité Lipschitz.

Les processus gaussiens (GP) sont une autre classe populaire de lois étudiées en statistique bayésienne nonparamétrique et en apprentissage automatique. Motivés par la taille toujours croissante des bases de données, nous proposons un nouveau processus gaussien 'horseshoe' avec une couche de sélection de variables 'soft' pour pouvoir tirer parti d'une dimension des données plus petite que celle de l'espace ambiant. Nous dérivons des vitesses de contraction optimales pour les loi a posteriori tempérées. Les processus gaussiens profonds sont les homologues bayésiens des célèbres réseaux neuronaux profonds. Nous prouvons que, en tant qu'élément de base dans une telle construction, les GP ‘horseshoe' donnent également des vitesses adaptatives sous des hypothèses de structure de composition du paramètre.

En ce qui concerne la quantification de l'incertitude (UQ), les méthodes bayésiennes sont souvent louées pour la solution qu'elles fournissent avec la définition des ensembles de crédibilité. Nous prouvons que ces ensembles construits sous OPT sont des ensembles de confiance avec un niveau de confiance exact et une taille optimale (ou quasi-optimale) en norme infinie sous des conditions qualitatives d'auto-similarité. De plus, nous menons une étude théorique de l'UQ pour les distances de Wasserstein Wp et mettons en lumière un nouveau phénomène. En dimensions inférieures à 4, il est toujours possible de construire des ensembles de confiance dont les rayons en distance Wp, p⇐2, s'adaptent à n'importe quelles régularités (sans hypothèses qualitatives). Cela contraste fortement avec la théorie habituelle en norme Lp, où des concessions doivent toujours être faites.

This kind of random phenomenon can be explained using a renewal-reward process and by constructing the model, we can estimate the expected value and the fluctuations of the interested stochastic process. Also, this stochastic process becomes the generalization of Markov jump processes and it can contain memory effects. Thus, this is a useful model because the process can describe a broad spectrum of phenomena in physics and other fields, including a melt-up of the stock market and a super spreader in epidemics, where memory effects are known to be important.

In this thesis, our main motivation is to clarify the finite-time behavior of anomalous fluctuations. For studying the topic, we start by introducing the definition of a renewal-reward process and the large deviation theory. Afterward, we show the result of anomalous fluctuations behavior, especially the fluctuations of the renewal-reward process with memory effects, in renewal-reward processes with heavy-tailed waiting time distributions.

In the first work, we study the large time asymptotic of renewal-reward processes with a heavy-tailed waiting time distribution. It is known that the heavy tail of the distribution produces extremely slow dynamics, resulting in a singular large deviation function. This amounts to a “flattened” bottom of the large deviation function, manifesting anomalous fluctuations of the renewal-reward processes.

In the second work, we re-visit the flat part in the cumulant generating function by using a variational principle and a numerical simulation technique developed in large deviation theory. These techniques have been applied to study a singularity appearing in the large deviation function in, among others, kinetically constrained models and active matters. These models are defined using Markov processes, because of which the large deviation function of time-averaged quantities does not have any singularity whenever the system size (not the averaging time) is finite. Our focus is on how the same methodology can be extended to our non-Markovian problem to derive the flat part.

In the third work, by using the renewal theory, we discuss anomalous scaling of the cumulants with memory effects in a renewal-reward process instead of focusing on the probability of rare events. In particular, we analyze the variance of heavy waiting time distributions.

Un premier objectif de la thèse est de contribuer au lien entre l'optimisation et l'estimation dans les modèles espace-état. Nous interprétons en effet les méthodes que nous utilisons comme diverses façons de paramétrer un algorithme de descente de gradient de second ordre, et nous avons détaillé ce lien dans un cas particulier. Une seconde contribution de la thèse est de proposer différentes méthodes d'estimation dans les modèles espace-état. Le principal enjeu nous semble être de définir la dynamique avec lequel évolue l'état, et nous proposons deux méthodes dans ce but. Le troisième apport de ce manuscrit est d'appliquer ces méthodes espace-état à la prévision de consommation d'électricité. Nos prévisions s'appuient sur des modèles de prévision existants, par exemple le modèle additif généralisé, que nous cherchons à adapter. Ainsi, nous tirons parti de certaines dépendances complexes capturées par les modèles existants, par exemple la sensibilité de la consommation d'électricité à la température, tout en profitant de la faculté d'adaptation des modèles espace-état.

The first part focuses on the resolution of parabolic nonlinear PDEs. We describe a multistep neural network scheme which improves existing methods from the literature. One of our contributions is the study of its approximation error together with the ones of existing methods in the semilinear case where the equation is linear with respect to the second order derivative. By using Lipschitz GroupSort neural networks, we are able to link the error to the number of layers and neurons of the approximating network. We also develop one-step and multistep schemes in the more challenging case of fully nonlinear PDEs, based on Malliavin weights and automatic differentiation. All the numerical schemes are tested on numerical examples to demonstrate their relevance.

The second part of this work is dedicated to mean-field control and McKean-Vlasov equations. We prove by probabilistic arguments a rate of convergence for the finite dimensional approximation of a PDE on the Wasserstein space. We then use symmetric DeepSet neural networks to solve symmetric PDEs in high dimension. Hence we are able to approximate numerically mean-field control problems by solving their optimality conditions in the form of a Master Bellman PDE in infinite dimension. We then consider mean-field control with probabilistic state constraints on the law of the controlled state. We represent the problem by an auxiliary unconstrained problem with exact penalisation which can be solved by the modification of an existing brute force deep learning scheme.

To achieve this plan, we consider consecutive observations, or blocks, and analyze their extreme behavior as their lp-norm reaches high levels, for p > 0. This consideration leads to the theory of p-clusters, which model extremal lp-blocks. In the case p = ∞, we recover the classical cluster (of exceedances). For p < ∞, we built on large deviations principles for heavy-tailed observations. Then, we study in depth two setups where p-cluster theory appears valuable. First, we design disjoint blocks estimators to infer statistics of p-clusters, e.g., the extremal index. Actually, p-clusters are linked through a change of norms functional. This relationship opens the road for improving cluster inference since we can now estimate the same quantity with different choices of p. We show cluster inference based on p < ∞ is advantageous compared to the classical p = ∞ strategy in terms of bias. Second, we propose the stable sums method for high return levels inference. This method enhances marginal inference by aggregating extremes in space and time using the lp-norm, where α > 0 is the (tail) index of the series. In simulation, it appears to be robust for dealing with temporal memories and it is justified by the α-cluster theory.

La première contribution consiste à introduire un nouveau modèle appelé ZiMM (Zero-inflated Mixture of Multinomial distributions), et une architecture Encodeur-Décodeur (ED) de réseaux de neurones profonds entraînés de-bout-en-bout, modélisant les parcours de soins pour la prédiction des complications post-chirurgicales. ZiMM-ED est appliqué aux données de santé de remboursement de soins provenant du Système National des Données de Santé (SNDS) en France, qui est une base de données non-clinique, contenant seulement les codes de remboursement datés d'achats de médicaments et des diagnostics hospitaliers. En particulier, nous considérons les complications jusqu'au 18e mois après la chirurgie, ce qui correspond à des observations “floues” car seulement observées à partir des achats de médicaments d'une famille spécifique. Nos expériences montrent les améliorations en termes de performance prédictive de ZiMM-ED par rapport à plusieurs modèles de référence. ZiMM-ED ouvre la voie de l'exploitation d'un tel jeu de données avec peu de pré-traitement à grâce aux réseaux de neurones profonds. Cette base de données est jusque-là utilisée principalement pour des raisons administratives (remboursement des soins de santé), et nous montrons le pouvoir prédictif des réseaux de neurones profonds dessus sur une telle base de données avec un cas précis.

La deuxième contribution porte sur l'étude théorique de l'apprentissage contrastif de représentation, une technique récemment devenue populaire et expérimentalement efficace pour l'entraînement auto-supervisé. En se basant sur quelques résultats proposant des cadres d'étude théoriques, nous étendons la garantie pour la qualité des représentations apprises dans la phase pré-entrainement non-supervisé avec une perte contrastive et de multiples échantillons négatifs, la qualité étant mesurée en termes de performance prédictive pour les tâches supervisées en aval. En outre, nous fournissons une garantie de convergence quant à la minimisation de la perte contrastive avec la descente de gradient pour un encodeur de réseaux de neurones sur-paramétré. Ces résultats théoriques, combinant des expériences numériques, ouvrent des portes pour une meilleure compréhension des pratiques de pré-entrainement - affinement très utilisées aujourd'hui en apprentissage profond.

La troisième contribution consiste à introduire un nouvel algorithme de type forêt aléatoire, que nous nommons WildWood. Alors que l'algorithme standard de forêt aléatoire utilise des échantillons bootstrap out-of-bag seulement pour calculer des scores, WildWood utilise ces échantillons pour améliorer les prédictions en calculant l'agrégation de tous les sous-arbres possibles de chaque arbre dans la forêt : ce calcul est exact et efficace grâce à l'algorithme de context tree weighting. Nous montrons que théoriquement, la perte induite par une telle agrégation est comparable à celle du meilleur sous-arbre possible. Nous proposons une implémentation Python open-source de WildWood avec une stratégie d'histogramme qui permet d'accélérer la recherche des coupures impliquées dans la construction des arbres. Notre implémentation est rapide et compétitive en comparaison avec d'autres algorithmes ensemblistes bien connus, par exemple la forêt aléatoire standard et les algorithmes d'extrême gradient boosting.

Enfin, le dernier chapitre de cette thèse est consacré à la régression logistique en ligne et considère le regret par rapport à la boule l2 de rayon B. Alors qu'il est connu que les algorithmes propres avec regret logarithmique en le nombre d'itérations n subissent nécessairement un facteur exponentiel en B dans leur borne de regret, quelques algorithmes impropres, bayésiens et non-bayésiens, ont été introduits récemment avec des meilleures garanties. Dans le but d'obtenir une garantie de regret optimale, nous proposons deux algorithmes impropres et non-bayésiens, OSMP et AOSMP, reposant sur une stratégie “minmax à une étape”, avec la fonction de perte exacte pour OSMP, et une fonction de perte approchée pour AOSMP. Nos analyses de regret s'appuient entre autres sur la propriété de self-concordance généralisée de la fonction logistique. Pour OSMP, malgré une borne supérieure obtenue pour les regrets instantanés, nous expliquons en quoi l'amélioration des bornes de regret est une question difficile, à laquelle AOSMP apporte une réponse comparable à l'état de l'art de la garantie de regret.

Mots clefs : Apprentissage statistique, Apprentissage profond, Données de santé, Apprentissage contrastif, Forêts aléatoires, Régression logistique en ligne

Secondly, we establish a law of large numbers for interacting particle systems without imposing independence or finite moment assumptions on the initial conditions: Towards this end, we establish a non-closed equation satisfied by the associated empirical measure in a mild sense that differs from the expected limiting McKean-Vlasov PDE only by a certain noise term. In treating said noise term, we employ pathwise rough path bounds and arguments based on Itô-calculus in a complementary fashion that allow to establish the desired law of large numbers.

Finally we investigate regularization phenomena through averaging along curves. Based on recent space-time regularity estimates for local times of fractional Brownian motion in one dimension, we study averaged transport equations in passing by their associated regularized characteristics. By employing a fixed point argument on the level of transport equations, we are able to subsequently pass to a Burgers' type equation averaged along paths of fractional Brownian motion. The arguments at each step are conditional on the Hurst parameter satisfying explicitly established conditions.