Informations générales

Intitulé de l'offre : Doctorant informatique/ machine learning: Foundation Models for Physics-Aware Deep Learning (H/F)
Référence : UMR7222-PATGAL-001
Nombre de Postes : 1
Lieu de travail : PARIS 05
Date de publication : vendredi 17 mai 2024
Type de contrat : CDD Doctorant/Contrat doctoral
Durée du contrat : 36 mois
Date de début de la thèse : 1 novembre 2024
Quotité de travail : Temps complet
Rémunération : La rémunération est d'un minimum de 2100,00 € brut mensuel
Section(s) CN : Sciences de l'information : traitements, systèmes intégrés matériel-logiciel, robots, commandes, images, contenus, interactions, signaux et langues

Description du sujet de thèse

CONTEXTE

Le « physics-aware Deep Learning » est un domaine de recherche émergent visant à étudier le potentiel des méthodes d'IA pour développer la recherche pour la modélisation de phénomènes naturels complexes. Il s'agit d'un sujet de recherche à fort enjeux qui a le potentiel de changer la manière dont nous abordons la recherche dans toute une gamme de domaines scientifiques. Un domaine où cette idée suscite de grands espoirs est la modélisation de la dynamique complexe caractérisant les phénomènes naturels se produisant dans des domaines aussi divers que les sciences du climat, les sciences de la Terre, la biologie, la dynamique des fluides. Diverses approches sont en cours de développement : des méthodes d’apprentissage, des méthodes qui exploitent les connaissances a priori des principes physique couplées à l'apprentissage automatique, des solveurs neuronaux qui résolvent directement les équations différentielles. Malgré des progrès significatifs, il s'agit d'un sujet émergent avec de nombreux problèmes ouverts en apprentissage automatique. Parmi toutes les directions de recherche exploratoires, l'idée de développer des modèles de fondation émerge comme l'un des défis fondamentaux de ce domaine. Cette proposition de thèse vise à explorer différents aspects de ce sujet.

DIRECTIONS DE RECHERCHE

Les modèles de fondation sont l’état de l’art dans des domaines tels que le traitement du langage naturel (GPT, Llama, Mistral, ou la vision (CLIP, DALL-E, Flamingo, . Entraînés avec de grandes quantités de données par auto-supervision, ils peuvent être utilisés ou adaptés à des tâches cibles tout en bénéficiant d'un pré-entraînement. Les premières tentatives pour appliquer cette idée dans des domaines scientifiques sont actuellement en cours d'investigation dans des domaines aussi divers que la biologie (Jumper et al. 2021), les molécules (Zhou 2023), la prévision météorologique (Pathak 2022, Nguyen 2023, Kochkov 2024). Le paradigme des modèles de fondation est-il adaptable à la modélisation physique de systèmes dynamiques ? Certains travaux exploratoires sont actuellement en cours (McCabe 2023, Subramanian 2023, Hao 2024). Ils suggèrent que l'apprentissage à partir de plusieurs équations différentielles partielles (EDP) améliore les performances de prédiction sur des équations spécifiques. L'objectif de la thèse est d'explorer différentes voies de recherche sur ce sujet pour la modélisation de systèmes dynamiques.

RÉSOLUTION DES EDP PARAMÉTRIQUES

Une première étape consiste à considérer la résolution d'équations aux dérivées partielles (EDP) paramétriques, c'est-à-dire d’EDP d'une même famille avec des paramètres variables incluant des conditions initiales et aux limites, des fonctions de forçage ou des coefficients. Il est fréquent que différentes valeurs de paramètres donnent lieu à des dynamiques très différentes. Les solveurs neuronaux actuels fonctionnent soit sur des conditions fixes, soit sur une petite gamme de paramètres. Une première exploration consistera à analyser le potentiel de solveurs neuronaux représentatifs pour interpoler et pour extrapoler hors de la distribution d’apprentissage. Un problème clé est le développement de techniques d’apprentissage permettant une adaptation rapide à de nouvelles dynamiques. Nous examinerons des méthodes inspirées du meta-learning pour développer des stratégies adaptatives (Yin 2021, Kirchmeyer 2022).

MODELISER DES PHYSIQUES MULTIPLES

L’apprentissage de modèles de fondation est particulièrement intéressante dans le cas où les données sont rares, les caractéristiques physiques pouvant être apprises à partir de dynamiques apparentées, disponibles en grande quantité, puis transférées au problème cible. Apprendre à partir de plusieurs dynamiques pose des défis algorithmiques car elles opèrent sur des domaines différents, avec des résolutions spatiales et temporelles différentes. Nous considérerons un cadre Encode-Process-Decode permettant de modéliser les lois d’évolution dans un espace latent. En ce qui concerne la variabilité temporelle des observations, nous envisagerons des modèles pouvant fonctionner sur des séries irrégulières dans l'esprit de (Yin 2023). Ce cadre sera évalué avec un sélection d’architectures neuronales.

GÉNÉRALISATION A DE NOUVELLES DYNAMIQUES

La généralisation à de nouvelles dynamiques est un problème central motivant le développement de modèles de fondation en science. Il s'agit d'une question clé pour l'adoption de méthodes d’apprentissage en physique et plus généralement dans tout contexte où les données sont rares. Nous considérerons le cadre général de l'apprentissage « few shots » visant à spécialiser des modèles pré-entraînés pour des tâches cibles. Dans ce contexte, l'objectif sera de développer des algorithmes pour l'adaptation rapide des modèles de fondation à ces tâches. Différentes stratégies seront analysées et développées, comme l'échantillonnage de paramètres, le meta-learning pour l'adaptation (Yin 2023) et des stratégies inspirées des développements en langage naturel comme l'apprentissage en contexte (Chen 2024).

REFERENCES

Chen, W., Song, J., Ren, P., Subramanian, S., Morozov, D., & Mahoney, M. W. (2024). Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning. 1–21. http:///abs/2402.15734
Hao, Z., Su, C., Liu, S., Berner, J., Ying, C., Su, H., Anandkumar, A., Song, J., & Zhu, J. (2024). DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training. Icml. http:///abs/2403.03542
Jumper, J., Evans, R., Pritzel, A., Green, T., Figurnov, M., Ronneberger, O., Tunyasuvunakool, K., Bates, R., ˇZ´ıdek, A., Potapenko, A., et al. Highly accurate protein structure prediction with alphafold. Nature, 596(7873):583–589, 2021.
Kirchmeyer, M., Yin, Y., Donà, J., Baskiotis, N., Rakotomamonjy, A., & Gallinari, P. (2022). Generalizing to New Physical Systems via Context-Informed Dynamics Model. ICML.
Kochkov D, Yuval J, Langmore I, et al. Neural General Circulation Models. In: ArXiv:2311.07222v2. ; 2024.
McCabe, M., Blancard, B. R.-S., Parker, L. H., Ohana, R., Cranmer, M., Bietti, A., Eickenberg, M., Golkar, S., Krawezik, G., Lanusse, F., Pettee, M., Tesileanu, T., Cho, K., & Ho, S. (2023). Multiple Physics Pretraining for Physical Surrogate Models. 1–25 http:///abs/2310.02994
Nguyen, T., Brandstetter, J., Kapoor, A., Gupta, J. K., and Grover, A. Climax: A foundation model for weather and climate. arXiv:2301.10343, 2023.
Pathak, J., Subramanian, S., Harrington, P., Raja, S., Chattopadhyay, A., Mardani, M., Kurth, T., Hall, D., Li, Z., Azizzadenesheli, K., et al. Fourcastnet: A global data-driven high-resolution weather model using adaptive fourier neural operators.
Subramanian, S., Harrington, P., Keutzer, K., Bhimji, W., Morozov, D., Mahoney, M., & Gholami, A. (2023). Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior. NeurIPS. http:///abs/2306.00258
Yin, Y., Ayed, I., de Bézenac, E., Baskiotis, N. and Gallinari, P. (2021). LEADS: Learning Dynamical Systems that Generalize Across Environments. Neurips.
Yin, Y., Kirchmeyer, M., Franceschi, J.-Y., Rakotomamonjy, A., & Gallinari, P. (2023). Continuous PDE Dynamics Forecasting with Implicit Neural Representations. ICLR.
Zhou, G., Gao, Z., Ding, Q., Zheng, H., Xu, H., Wei, Z., Zhang, L., and Ke, G. Uni-mol: a universal 3d molecular representation learning framework. 2023

Contexte de travail

La bourse de doctorat est un poste de trois ans débutant en octobre/novembre 2024. Il ne comprend pas d'obligation d'enseignement, mais il est possible d'enseigner. Le doctorant travaillera à Sorbonne Université (, sur le campus Pierre et Marie Curie au centre de Paris. Il/Elle intégrera l'équipe MLIA (Apprentissage Automatique et Apprentissage Profond pour l'Accès à l'Information) à l'ISIR (Institut des Systèmes Intelligents et de Robotique). MLIA collabore avec des scientifiques d'autres disciplines telles que le climat ou la mécanique des fluides. Le doctorant sera encouragé à s'impliquer dans de telles collaborations.

Contraintes et risques

NON