STAGE - Masquage en continu des informations personnelles dans la parole
Palaiseau, 91120
Stage
01/04/2027- 30/10/2027
Description
Vous souhaitez donner du sens à votre activité et prendre part à des projets d'envergure nationale comportant de forts enjeux, comme contribuer à l’avance technologique et à la souveraineté de la France dans le domaine de l’IA en soutenant les forces armées ?
Alors postulez et rejoignez l’AMIAD, l’Agence Ministérielle pour l’IA de Défense.
Rattachée au ministre des armées, l’AMIAD est une entité en pleine expansion qui mène des projets IA d’envergure, en collaboration avec toutes les entités du ministère et sur de nombreux domaines d'activité (systèmes d’armes, opérations, renseignement, commandement, soutien, administration).
Missions
Au sein du Pôle Recherche de l'AMIAD, vous rejoindrez notre équipe, où vous développerez un système d'anonymisation de la parole capable de détecter les informations personnelles et modifier les mots d'un locuteur avec une latence minimale.
La tâche d'anonymisation de la parole consiste à rendre l'association d'un extrait de parole à son locuteur impossible, tout en conservant les signaux utiles (la parole doit rester intelligible et conserver les marqueurs d'émotions et d'intention; rester naturelle). Ces applications sont multiples: de la protection de données personnelles, des données médicales, de la vie privée. Cette tâche est maintenant bien implantée dans la communauté du traitement de la parole, grâce notamment à des challenges récurrent comme le Voice Privacy Challenge[1].
Les solutions technologiques en réponse à ce challenge suivent généralement deux grands axes[2] :
· Les solutions de conversion de voix (VC) qui modifient directement le signal audio, permettantt une parole en sortie plus naturelle, un traitement plus rapide de la parole qui permet le développement de systèmes en streaming, mais au coût d'une anonymisation réduite.
· Les solutions en cascades (ASR+TTS) qui transcrivent puis re-génèrent la parole, permettant une anonymisation presque parfaite, la possibilité d'utiliser des systèmes de traitement du langage pour retirer les informations personnelles avant reconstruction, mais au coût d'une latence bien plus élevée interdisant pour l'instant de passer en streaming.
Des travaux récents dans les modèles de langage en parole conversationnels (Conversational Speech LLMs) montrent qu'il est possible d'avoir un traitement et une reconstruction de la parole en un temps très réduit, par l'utilisation de représentations intermédiaires de la parole, en utilisant des codecs ou tokenizers audios[3].
L'objectif principal du stage sera l'implémentation et la mise en œuvre d'un système d'anonymisation de la parole en streaming incluant un masquage/remplacement des informations personnelles. Cette implémentation sera basée sur un système d'anonymisation en streaming existant, les objectifs principaux étant l'ajout du traitement des informations personnelles sans perte de latence. Le stagiaire bénéficiera du soutien de l'équipe du support technique du Pôle Recherche de l'AMIAD, notamment pour les différents choix technologiques.
[1] https://www.voiceprivacychallenge.org/
[2] https://www.voiceprivacychallenge.org/vp2024/docs/VPC-2024-.pdf
[3] https://developers.openai.com/api/docs/models/gpt-realtime-2.1
Profil
Master 2 ou dernière année d'école d'ingénieur, compétences recherchées : apprentissage automatique, deep learning, traitement de la parole, pytorch.
