💬 Traitement du langage naturel (NLP)

Développement de méthodes de classification hiérarchique multi-dimensionnelle (MHC) pour les tâches de NLP. Dans la MHC, chaque instance est affectée simultanément à une catégorie de chacun des multiples arbres de classification hiérarchique. Il s'agit d'un cadre plus général que la classification multi-label ou hiérarchique standard, qui apparaît naturellement dans les systèmes de dialogue parlé, la catégorisation de produits et le codage médical.

La recherche aborde la caractérisation des problèmes de MHC, le développement de stratégies de résolution dédiées (approches locales vs globales, modélisation de la corrélation des étiquettes) et la conception de mesures de performance appropriées pour évaluer les systèmes de MHC.

Recherche sur les approches de génération de données pour la classification de sujets dans les systèmes de dialogue parlé multilingues. Développement de méthodes pour augmenter les données d'entraînement des classifieurs de NLP dans les langues à faibles ressources, incluant la rétro-traduction, la paraphrase et la génération de tours de dialogue synthétiques.

Exploration des grands modèles de langage (LLM) comme outils de sélection de caractéristiques et de classification d'anomalies dans des contextes industriels. Recherche sur l'empilement (stacking) des prédictions de plusieurs modèles LLM (ensemble de LLM) pour améliorer la précision et l'explicabilité dans les tâches de détection d'anomalies, particulièrement pour les systèmes de gestion de bâtiments.

Utilisation des grands modèles de langage pour générer des explications causales pour les décisions de classification d'anomalies. Recherche sur la manière dont les LLM peuvent fournir des explications lisibles par l'homme sur les raisons pour lesquelles une observation particulière est classée comme anormale, améliorant la transparence et la fiabilité des systèmes de détection d'anomalies.

Développement et annotation d'une taxonomie des actes de dialogue pour un système d'assistant virtuel conçu pour améliorer la qualité de vie des personnes âgées. Recherche sur la manière dont les actes de dialogue peuvent être utilisés pour structurer le comportement conversationnel des assistants virtuels qui soutiennent les utilisateurs âgés dans leurs activités quotidiennes.

Comparaison empirique des mesures de distance et de similarité pour les tâches de traitement du langage naturel. Évaluation de différentes mesures (y compris la distance d'édition, la similarité cosinus et les distances de plongement neuronal) pour des tâches telles que la similarité de phrases, les questions-réponses et la classification des actes de dialogue.

Recherche comparant les modèles de plongement de mots et les modèles de vision par ordinateur dans leur capacité à prédire l'activité cérébrale IRMf pendant la reconnaissance visuelle des mots. L'étude examine dans quelle mesure les différentes représentations informatiques du sens des mots correspondent aux représentations neuronales observées dans le cerveau humain pendant le traitement du langage.

Participation à la Chaire ENIA (Estrategia Nacional de Inteligencia Artificial) à l'UPV/EHU, hébergée au sein du centre HiTZ pour la technologie du langage. La chaire se concentre sur l'intelligence artificielle et la technologie du langage, avec des activités couvrant la recherche, l'enseignement et le transfert de connaissances en IA pour les tâches de traitement du langage.

• Santana R (2017). Reproducing and learning new algebraic operations on word embeddings using genetic programming. GECCO 2017.
• Santana R (2021). Semantic Composition of Word-Embeddings with Genetic Programming. GECCO 2021.
• Magalhães RPL, Santana R and Pozo A (2019). An empirical comparison of distance/similarity measures for Natural Language Processing. BRACIS 2019.
• Montenegro M, Marafioti A, Santana R, Alcaide JB, Bolaños M and Cuayahuitl H (2019). Data generation approaches for topic classification in multilingual spoken dialog system. INTERSPEECH 2019.
• Montenegro M, Santana R, Bolaños M and Cuayahuitl H (2020). Transfer learning in hierarchical dialogue topic classification with neural networks. IberSPEECH 2020.
• Montenegro M, Santana R, Bolaños M and Cuayahuitl H (2021). Analysis of the sensitivity of the End-Of-Turn Detection task to errors generated by the Automatic Speech Recognition module. INTERSPEECH 2021.
• Roman I, Santana R, Mendiburu A and Lozano JA (2019). Sentiment analysis with genetically evolved Gaussian kernels. GECCO 2019.
• Roman I, Santana R, Mendiburu A and Lozano JA (2021). Evolution of Gaussian Process kernels for machine translation post-editing effort estimation. Applied Soft Computing.
• Mei N, Carreiras M, Santana R and Pylkkänen L (2019). How the brain encodes meaning: Comparing word embedding and computer vision models to predict fMRI data. NeurIPS Workshop.
• Santana R (2022). An embedding space for SARS-CoV-2 epitope-based vaccines. European Journal of Clinical Investigation.
• Romero M and Santana R (2022). Creating wordless meaning in word-embedding. En préparation.