🤖 神经网络与深度学习
神经架构搜索、物理信息神经网络、生成模型以及深度学习在物理系统和医学成像中应用的研究。
神经网络和深度学习已经彻底改变了人工智能，使计算机能够在视觉、自然语言和科学模拟等任务中达到甚至超越人类的表现。我的研究重点是通过神经架构搜索自动化网络设计、将物理定律集成到神经模型中（PINN），以及为科学和医疗保健应用开发生成模型。
神经架构搜索 (NAS)
因子分解 NAS 模型
神经架构搜索旨在自动寻找给定任务的最佳神经网络结构。然而，搜索空间往往大得惊人。我们的研究提出并分析了 NAS 中的因子分解模型，这些模型将复杂的架构分解为较小的、可重复使用的组件。
这种方法通过利用架构组件之间的统计依赖关系来降低计算成本并提高搜索效率。我们在 IJCNN 2024 上发表的工作展示了因子分解表示对 NAS 性能和资源消耗的影响。
物理信息神经网络 (PINN)
PINN 的泛化与超参数
物理信息神经网络 (PINN) 通过在损失函数中编码偏微分方程 (PDE)，将物理约束集成到深度学习中。研究探索了影响 PINN 在训练域外泛化能力的超参数，特别是在解决流体动力学问题时。
PINN Balls：二阶方法与域分解
开发了“PINN Balls”——一种利用域分解和自适应采样为 PINN 缩放二阶优化方法的技术。该方法提高了求解高维和复杂物理问题的收敛速度和精度。
生成模型 (GAN, VAE, & Energy-based)
进化生成对抗网络 (GAN)
研究使用进化算法优化生成对抗网络。这包括设计能够逼近帕累托前沿的进化 GAN，并分析这些进化模型在不同优化任务中的迁移性和鲁棒性。
变分自编码器 (VAE)
扩展 VAE 以学习和利用搜索分布中的潜表征。研究如何在进化优化循环中使用 VAE 捕获有前途候选解的结构，从而引导搜索向更高适应度的区域进行。
应用领域
医学成像与神经科学
将深度神经网络应用于医学成像和神经科学任务。包括基于图像分割的深度网络自动设计、使用迁移学习在大脑解码模型中应用，以及分析受大脑启发的卷积网络表征。
识别物理系统中的相变
利用神经网络和 NAS 识别经典物理系统（如伊辛模型）中的相变。研究展示了神经网络如何作为计算物理中的强大工具，能够从模拟数据中提取关于系统状态转变的关键信息。
精选论文
- Bonfanti A, Santana R, Ellero M and Gholami B (2024). On the generalization of PINNs outside the training domain and the hyperparameters influencing it. Neural Computing and Applications.
- Garciarena U, Mendiburu A and Santana R (2023). Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components. IEEE TNNLS.
- Mei N, Santana R and Soto D (2022). Informative neural representations of unseen contents during higher-order processing in human brains and deep artificial networks. Nature Human Behaviour.
- Garciarena U, Mendiburu A and Santana R (2020). Analysis of the transferability and robustness of GANs evolved for Pareto set approximations. Neural Networks.
- Lima RHR, Magalhães D, Pozo A, Mendiburu A and Santana R (2022). A grammar-based GP approach applied to the design of deep neural networks. Genetic Programming and Evolvable Machines.
- Garciarena U, Santana R and Mendiburu A (2020). EvoFlow: A Python library for evolving deep neural network architectures in tensorflow. IEEE SSCI 2020.
- Montenegro C, Santana R and Lozano JA (2020). Transfer learning in hierarchical dialogue topic classification with neural networks. IJCNN 2020.
- Roman I, Santana R, Mendiburu A and Lozano JA (2020). In-depth analysis of SVM kernel learning and its components. Neural Computing and Applications.