多模态神经影像数据分析系统
马丽敏
清华大学/生物与新医药
多模态数据信息融合(Information fusion of Multimodal data)是联合或集合从不同传感器采集的数据携带的信息的处理过程。神经影像信号是对中枢神经系统(脑和脊髓)的信息进行采集获得的信号,包括CT、MRI、EEG、MEG等信号。由于这些信号的采集原理不同、采集的信息不同、信号的表现形式不同,而被称为多模态神经影像信号。多模态神经影像数据已经广泛应用于医学、神经科学、心理学等学科的科学研究和临床应用,但是,如何管理这些数据、如何挖掘这些数据中的信息、如何表达特征信息、如何联合多模态信息来优化决策系统等是目前学术界和应用领域共同面临的问题。目前有很多针对神经影像数据处理的开源软件和工具包,如FSL、SPM、DTIStudio、4DSlicer、DPARSF、Medical imaging toolkit和3D可视化工具包等,但还没有一个完整的方便跟踪研究的集成系统。
本成果的多模态神经影像数据分析系统可以为科学研究和临床分析,特别是脑科学和辅助神经外科、神经康复的预后和疗效评估等,提供一套合理的自动数据管理、信息挖掘、跟踪对比和评估框架和方法,包括数据信息编码、自动生理信息挖掘流程、特征数据管理、特征表达和评估等五方面。本项目系统框架如图1所示,包括:脑多模态数据信息融合、自动处理、跟踪(follow-up)、预后和评估、隐私保护和特征数据分享等关键技术集合。
图1 多模态神经影像数据分析系统示意图
利用本系统,可实现以下效果:使采集的神经影像数据以及提取出来的特征数据与研究信息保持对应关系;通过设计自动处理流程,方便自动数据更新、特征信息挖掘和融合等;无需人工选择,保证数据处理的客观、高效和可重复,为科学研究或健康医学数据分析提供一套合理的框架和方法;对研究信息、扫描信息、关键中间结果、对各模态数据提取的特征和特征表达结果等进行统一管理。可以对上述数据实现远程访问,远程访问的方式既包括网络浏览器,也包括桌面或移动的App程序。本系统具有强扩展性,可以方便地增加数据,增加处理结果,在不同平台上编写应用。本系统底层是可扩展的,可以使用不同的数据库服务和存储服务等。本系统还具有强易用性,使得整个系统结构清晰,便于维护和管理;各服务访问接口设计合理,便于使用。