【成果】硕士研究生何万奇在脑信号视觉信息解码方面取得进展

   近日，公司控制工程专业2023级硕士研究生何万奇在脑信号视觉信息解码方面取得进展，相关研究成果“Balancing semantic and structural decoding for fMRI-to-image reconstruction”发表在《ESWA》。《ESWA》是人工智能与工程交叉领域的国际知名期刊，目前影响因子为7.5（SCI一区Top）。论文第一作者为何万奇，通讯作者为张冰峰副教授，BB贝博艾弗森为第一名单位和通讯单位，香港理工大学为第二署名单位和通讯单位，该研究得到山东省自然科学基金，国家自然科学基金以及山东省泰山学者工程的资助支持。

图1 论文首页

从功能性磁共振成像（fMRI）信号重建视觉图像是一项极具吸引力的研究课题，它为理解人类认知的复杂机制开辟了新视野。现有方法大多借助扩散模型从fMRI信号中解码高层次语义信息，取得了显著的语义重建效果。然而，这类解决方案往往忽视了物体位置、颜色等低层次结构信息，导致视觉重建效果不完整。本研究提出了一种创新的fMRI图像重建方法，通过在扩散模型中平衡语义解码与结构解码来实现高质量图像重建。具体而言，我们首先利用CLIP模型提取充分的语义信息，再通过MLP模块获取结构细节。随后设计了语义与结构感知平衡模块（SSAB），通过预测当前去噪步骤中结构信息的权重，逐步整合语义与结构信息，从而在图像重建过程中生成高质量图像。实验结果表明，所提出的SSAB模型仅需增加少量参数即可有效提升性能，在全面评估语义与结构指标时均达到行业领先水平。

图2结构语义均衡解码过程

论文链接：https://doi.org/10.1016/j.eswa.2025.129836