🧠 Apprentissage automatique
Recherche sur les modèles graphiques probabilistes, les réseaux de neurones, le traitement du langage naturel, le ML adverse et les méthodes de classification.
Les algorithmes d'apprentissage automatique utilisent l'expérience pour améliorer leurs performances sur une tâche donnée. En pratique, l'expérience est comprise comme des données, et la performance est mesurée selon la tâche à accomplir. Nos recherches en apprentissage automatique couvrent à la fois les méthodes fondamentales et leurs applications à des problèmes complexes du monde réel.
Modèles graphiques probabilistes (PGM)
Réseaux bayésiens & Réseaux de Markov
Recherche sur l'apprentissage de la structure et des paramètres des réseaux bayésiens et des réseaux de Markov à partir de données. Applications à l'estimation de densité, à la détection d'anomalies, à la classification et à la génération de données synthétiques.
Machines de Boltzmann restreintes (RBM)
Étude des machines de Boltzmann restreintes structurelles pour le débruitage et la classification d'images. Recherche sur les synergies entre les modèles basés sur l'énergie et les modèles graphiques probabilistes.
Copules de type vine
Recherche sur les modèles de copules vine comme structures de dépendance multivariées flexibles. Développement d'algorithmes pour l'apprentissage de la structure de graphe des copules vine régulières à partir de données de dépendance. Applications aux tâches d'apprentissage automatique nécessitant une modélisation précise de la distribution conjointe.
Classification basée sur les copules
Utilisation des fonctions copules pour les tâches de classification et de régression. Les copules vine offrent des alternatives flexibles aux hypothèses gaussiennes standard pour la modélisation de distributions multivariées complexes.
Réseaux de neurones & Apprentissage profond
Recherche d'architecture neuronale (NAS)
Recherche sur les méthodes évolutionnaires et basées sur l'apprentissage pour la conception automatique d'architectures de réseaux de neurones. Inclut les représentations de modèles factorisés, les architectures multi-réseaux hétérogènes et l'interaction entre les composants NAS et les opérateurs de variation.
Modèles génératifs (GAN & VAE)
Recherche sur les réseaux adverses génératifs et les auto-encodeurs variationnels, incluant leur dynamique d'entraînement, leur transférabilité et leur optimisation à l'aide de méthodes basées sur le gradient.
Réseaux de neurones informés par la physique (PINN)
Développement et analyse de réseaux de neurones informés par la physique pour la résolution d'équations aux dérivées partielles issues de la dynamique des fluides. Recherche sur l'influence des hyperparamètres, le comportement de généralisation en dehors du domaine d'entraînement et l'optimisation du second ordre avec décomposition de domaine.
Apprentissage semi-supervisé
Algorithmes neuroévolutionnaires guidés par des métriques de couverture des neurones pour la classification semi-supervisée. Combinaison de la recherche évolutionnaire avec des objectifs basés sur la couverture pour améliorer l'apprentissage avec des données étiquetées limitées.
Réseaux de neurones pour les systèmes physiques
Application des réseaux de neurones (y compris le NAS) pour identifier les transitions de phase dans des systèmes physiques tels que le modèle d'Ising. Recherche sur les capacités des réseaux de neurones pour les tâches de physique computationnelle.
Traitement du langage naturel (NLP)
Classification hiérarchique multi-label
Développement de méthodes de classification hiérarchique multi-dimensionnelles pour les tâches de NLP. Recherche sur la caractérisation, les stratégies de résolution et les mesures de performance pour les espaces d'étiquettes hiérarchiques complexes.
Grands modèles de langage (LLM) pour la sélection de caractéristiques
Exploration des LLM comme outils de sélection de caractéristiques et de classification d'anomalies. Empilement (stacking) des prédictions de plusieurs modèles LLM pour améliorer la précision et l'explicabilité dans les tâches industrielles de détection d'anomalies.
Chaire ENIA en IA & Technologie du Langage
Participation à la Chaire ENIA (Stratégie Nationale d'Intelligence Artificielle) à l'UPV/EHU (Centre HiTZ) axée sur l'intelligence artificielle et la technologie du langage. Recherche, enseignement et transfert de connaissances en IA pour le langage.
Apprentissage automatique adverse & Explicabilité
Attaques adverses dans le ML explicable
Synthèse complète et recherche sur les menaces adverses contre les systèmes d'apprentissage automatique explicables. Identification des vulnérabilités dans les explications de modèles et développement de défenses contre les attaques ciblant l'interprétabilité.
Distributions de probabilité de classe adverses
Extension des méthodes d'attaque adverse pour produire des distributions de probabilité de classe adverses, allant au-delà de la simple erreur de classification pour manipuler les scores de confiance produits par les classifieurs.
Exemples adverses en audio
Recherche sur la génération et la défense contre les exemples adverses dans le domaine audio. Étude de la transférabilité, de la robustesse et de la perceptibilité des perturbations audio adverses.
Réseaux de neurones auto-explicables probabilistes
Développement d'explications tenant compte de l'incertitude via des réseaux de neurones auto-explicables probabilistes, fournissant des estimations de confiance calibrées pour les prédictions des modèles et leurs explications.
Classification, Régression & Augmentation de données
Classification à partir de séries temporelles
Classification des appareils ménagers à partir de séries temporelles de consommation d'électricité ; classification des défauts dans les systèmes thermiques des bâtiments (unités ventilo-convecteurs). Recherche sur l'impact des méthodes d'imputation et des caractéristiques temporelles.
Méthodes de sélection de caractéristiques
Sélection de caractéristiques basée sur des méthodes de filtrage pour les problèmes de régression multi-cibles, incluant des scénarios avec des identités non attribuées. Sélection de caractéristiques et explication de causalité pour la classification d'anomalies dans les systèmes de bâtiments.
Réseaux à liens fonctionnels à vecteurs aléatoires (RVFL)
Recherche sur les forêts à liens fonctionnels à vecteurs aléatoires et les forêts à apprentissage extrême appliquées à la reconnaissance automatique de cibles par drones (UAV). Évaluation des méthodes d'ensemble pour la classification dans des conditions difficiles.
Publications sélectionnées
- Garciarena U and Santana R (2017). An extensive analysis of the interaction between missing data types, imputation methods, and supervised classifiers. Expert Systems with Applications.
- Garciarena U, Perfecto C and Santana R (2017). Evolving imputation strategies for missing data in classification problems with TPOT. GECCO 2017.
- Garciarena U, Santana R and Mendiburu A (2018). Evolved GANs for generating Pareto set approximations. GECCO 2018.
- Garciarena U, Santana R and Mendiburu A (2018). Analysis of the complexity of the automatic pipeline generation problem. CEC 2018.
- Garciarena U, Santana R and Mendiburu A (2018). Analysis of the complexity of the automatic pipeline generation problem. CEC 2018.
- Garciarena U, Santana R and Mendiburu A (2018). Deep neural networks for automatic pipeline generation with transfer learning. GECCO 2018.
- Vadillo J and Santana R (2019). Universal Adversarial Examples in Speech Command Classification. ICML Workshop 2019.
- Vadillo J and Santana R (2020). On the human evaluation of universal audio adversarial perturbations. Computers & Security.
- Vadillo J, Santana R and Lozano JA (2020). Universal adversarial perturbations for speech command classification. INTERSPEECH 2020.
- Vadillo J, Santana R and Lozano JA (2020). Rethinking the defense against adversarial examples using DNNs. IJCNN 2020.
- Vadillo J, Santana R and Lozano JA (2020). Adversarial examples: Attacks and defenses for deep learning models. arXiv.
- Vadillo J, Santana R and Lozano JA (2021). Extending adversarial attacks and defenses to deep 3D point cloud classifiers. Journal of Machine Learning Research.
- Vadillo J, Santana R and Lozano JA (2022). Open issues in adversarial machine learning. WIRES Data Mining and Knowledge Discovery.
- Garciarena U, Marti L and Santana R (2021). Adversarial Perturbations for Evolutionary Optimization. CEC 2021.
- Santana R, Larrañaga P and Lozano JA (2010). Synergies between network-based representations and probabilistic graphical modeling in the solution of combinatorial optimization problems. J. Statistical Mechanics.