您的位置: 首页 科技前沿 科技研发
基于多模态融合的情绪识别框架
2022-08-02 浏览数: 1556

情绪的产生、感知及反馈涉及到复杂的认知过程,单一的模态难以捕捉到复杂的情绪反应。针对这个问题,我们提出了多模态融合的情绪识别框架。

 

我们搜集被试观看情绪素材期间的脑电数据和眼动数据,通过特征提取、建模以及多模态融合等多个过程,构建出基于多模态融合框架的情绪识别模型,使得情绪识别准确率有了一定的提升。



此外,我们从识别准确率的角度,对脑电信号和眼动信号进行了分析,表明脑电信号和眼动信号在情绪识别任务上具有互补特性。