人工智能生成的图像映射大脑的视觉功能

来源:
导读 目标是应用数据驱动的方法来理解视觉是如何组织的,同时潜在地消除在查看对研究人员选择的一组更有限的图像的响应时可能出现的偏差。在发表

目标是应用数据驱动的方法来理解视觉是如何组织的,同时潜在地消除在查看对研究人员选择的一组更有限的图像的响应时可能出现的偏差。

在发表在《通讯生物学》上的这项研究中,研究人员让志愿者查看根据人类视觉系统的人工智能模型选择或生成的图像。预计这些图像将最大程度地激活多个视觉处理区域。

研究人员利用功能磁共振成像(fMRI)记录志愿者的大脑活动,发现这些图像比对照图像明显更好地激活了目标区域。

研究人员还表明,他们可以使用这些图像响应数据来调整个体志愿者的视觉模型,以便为特定个体生成最大程度激活的图像比基于通用模型生成的图像效果更好。

“我们认为这是研究视觉神经科学的一种有前途的新方法,”该研究的资深作者、威尔康奈尔医学院菲尔家族大脑和心智研究所的放射学数学和神经科学数学教授AmyKuceyeski说。

这项研究是与康奈尔工程学院和康奈尔理工学院的电气和计算机工程教授以及威尔康奈尔医学院放射学电气工程教授MertSabuncu的实验室合作进行的。该研究的第一作者是顾紫金博士,他是该研究当时由Sabuncu和Kuceyeski共同指导的博士生。

通过将大脑反应映射到特定图像来建立人类视觉系统的准确模型,是现代神经科学更雄心勃勃的目标之一。

例如,研究人员发现,一个视觉处理区域可能会对面部图像做出强烈反应,而另一个视觉处理区域可能会对风景做出反应。考虑到用植入电极直接记录大脑活动的风险和困难,科学家必须主要依靠非侵入性方法来实现这一目标。

首选的非侵入性方法是功能磁共振成像(fMRI),它本质上是记录大脑小血管血流的变化——这是大脑活动的间接测量——当受试者受到感官刺激或以其他方式执行认知或身体任务时。功能磁共振成像机器可以以立方毫米量级的分辨率读出大脑三个维度的微小变化。

在他们自己的研究中,Kuceyeski和Sabuncu及其团队使用了包含数万张自然图像的现有数据集以及来自人类受试者的相应fMRI响应,来训练称为人工神经网络(ANN)的AI型系统来对人类进行建模大脑的视觉处理系统。

然后,他们使用这个模型来预测数据集中的哪些图像应该最大限度地激活大脑的几个目标视觉区域。他们还将该模型与基于人工智能的图像生成器结合起来,生成合成图像来完成相同的任务。

“我们的总体想法是以系统、公正的方式绘制和建模视觉系统,原则上甚至使用人们通常不会遇到的图像,”库切斯基说。

研究人员招募了六名志愿者,并记录了他们对这些图像的功能磁共振成像反应,重点关注几个视觉处理区域的反应。

结果表明,对于自然图像和合成图像,平均而言,受试者的预测最大激活剂图像确实比选择或生成的仅平均激活剂的一组图像更能激活目标大脑区域。

这支持了该团队基于ANN的模型的总体有效性,并表明即使是合成图像也可以用作测试和改进此类模型的探针。

在后续实验中,该团队使用第一阶段的图像和功能磁共振成像响应数据,为六名受试者中的每一位创建单独的基于ANN的视觉系统模型。

然后,他们使用这些个性化模型为每个受试者选择或生成预测的最大激活图像。对这些图像的功能磁共振成像响应表明,至少对于合成图像,与基于群体模型的图像响应相比,目标视觉区域(称为FFA1的面部处理区域)有更大的激活。

这一结果表明人工智能和功能磁共振成像可用于个性化视觉系统建模,例如研究不同人群视觉系统组织的差异。

研究人员现在正在使用更高级版本的图像生成器(称为稳定扩散)进行类似的实验。

他们说,同样的通用方法可能有助于研究听觉等其他感官。库切斯基还希望最终研究这种方法的治疗潜力。

“原则上,我们可以使用专门设计的刺激来改变大脑两个部分之间的连接,例如削弱导致过度焦虑的连接,”她说。

标签:

免责声明:本文由用户上传,如有侵权请联系删除!