💬 自然语言处理 (NLP)
层次化文本分类、大语言模型应用、对话系统以及大脑语言处理计算模型的研究。
自然语言处理 (NLP) 是人工智能中致力于使计算机能够理解、解释和生成人类语言的领域。我的 NLP 研究涵盖了多个方面：从为结构化标签空间开发新型分类方法，到探索大语言模型在工业领域的应用，再到模拟人类大脑处理语言意义的计算模型。
多标签层次化分类
多维层次化分类 (MHC)
为 NLP 任务开发多维层次化分类方法。在 MHC 框架下，每个实例被同时分配到多个层次化分类树中的类别。这是一种比标准多标签或层次化分类更通用的框架，常出现在对话系统的话题分类、产品目录分类以及医学编码中。
研究内容包括 MHC 问题的特征表征、专用求解策略的开发（局部 vs 全局方法、标签相关性建模）以及用于评估 MHC 系统性能的度量标准设计。
大语言模型 (LLM)
用于特征选择和异常分类的 LLM
探索大语言模型作为工业环境下特征选择和异常分类的工具。研究如何堆叠 (Stacking) 多个 LLM 模型的预测结果（LLM 集成），以提高建筑物管理系统异常检测任务的准确性和可解释性。
利用 LLM 进行因果解释
利用大语言模型为异常分类决策生成因果解释。研究 LLM 如何针对特定观测值被归类为异常的原因提供人类可读的解释，从而提高异常检测系统的透明度和可信度。
对话系统与虚拟助手
面向老年人的虚拟助手对话动作分类
为旨在提高老年人生活质量的虚拟助手系统开发并标注了对话动作 (Dialogue Act) 分类体系。研究如何利用对话动作来结构化虚拟助手的交互行为，从而更好地支持老年用户的日常生活。
NLP 中的距离与相似度度量
对 NLP 任务中的距离和相似度度量进行了实证对比。评估了包括编辑距离、余弦相似度和神经嵌入距离在内的多种度量方法，应用于句子相似度计算、问答系统及对话动作分类等任务。
大脑与语言
词嵌入与大脑表征
对比研究了词嵌入模型和计算机视觉模型在预测视觉词汇识别过程中 fMRI 大脑活动的能力。该研究探讨了语义的计算表示在多大程度上与人类大脑在处理语言时观察到的神经表征相一致。
ENIA 人工智能与语言技术讲席
国家 AI 战略 (ENIA) 讲席项目
参与巴斯克大学 HiTZ 语言技术中心的 ENIA 讲席项目。该讲席专注于人工智能与语言技术，活动涵盖 NLP 任务的研究、教学及知识转移。
精选论文
- Santana R (2017). Reproducing and learning new algebraic operations on word embeddings using genetic programming. GECCO 2017.
- Santana R (2021). Semantic Composition of Word-Embeddings with Genetic Programming. GECCO 2021.
- Magalhães RPL, Santana R and Pozo A (2019). An empirical comparison of distance/similarity measures for Natural Language Processing. BRACIS 2019.
- Montenegro M, Marafioti A, Santana R, Alcaide JB, Bolaños M and Cuayahuitl H (2019). Data generation approaches for topic classification in multilingual spoken dialog system. INTERSPEECH 2019.
- Montenegro M, Santana R, Bolaños M and Cuayahuitl H (2020). Transfer learning in hierarchical dialogue topic classification with neural networks. IberSPEECH 2020.
- Montenegro M, Santana R, Bolaños M and Cuayahuitl H (2021). Analysis of the sensitivity of the End-Of-Turn Detection task to errors generated by the Automatic Speech Recognition module. INTERSPEECH 2021.
- Roman I, Santana R, Mendiburu A and Lozano JA (2019). Sentiment analysis with genetically evolved Gaussian kernels. GECCO 2019.
- Roman I, Santana R, Mendiburu A and Lozano JA (2021). Evolution of Gaussian Process kernels for machine translation post-editing effort estimation. Applied Soft Computing.
- Mei N, Carreiras M, Santana R and Pylkkänen L (2019). How the brain encodes meaning: Comparing word embedding and computer vision models to predict fMRI data. NeurIPS Workshop.
- Santana R (2022). An embedding space for SARS-CoV-2 epitope-based vaccines. European Journal of Clinical Investigation.