多模态情感分析模型研究者 闫菁珊

今日早晨，伴着青岛初春的暖意，我来到学院楼参加项目组的定期汇报会议。在上一周聆听了学长们的研究进展以及经验后，我的思路被骤然打开。这一周的工作中，我在模型的优化上引入新的方法，经过对模型程序编辑和训练，取得了明显的成果，令我对接下来的科研和学习充满信心与动力。

起初由于对情感分析领域的兴趣，我选择加入了王老师的课题组。在老师和学长的帮助下，我逐步确定了自己的细化方向：搭建文本和视频模态融合的情感分析模型。经过一步步的文献学习、数据集调研和代码复现，我学习到如今在文本模态处于领先的分析模型BERT以及视频模态的VideoMAE模型，这两类模型针对各自的领域都有十分不错的结果，但如何将不同模态的信息结合起来，达到一加一大于二的效果，成为我很长一段时间尝试和努力的方向。

最开始我尝试的方法是决策级融合，顾名思义就是分别得到两个模态的分析结果，再对结果进行熵权融合。在将这一思路投入实践的过程中，模型收获了83.26%的最终准确率，对比单一模态56%和81%的准确率，取得了整体的提升。但这样的融合方式也存在着一定的问题，比如每个模态都需要重新训练，对服务器的要求比较高。怀揣着精益求精的态度，在近一段时间以来，我重新对模型做出了优化，尝试特征级融合的思路，将每种模态提取到的特征直接做相互融合，避免各自训练中过长的周期和过高的算力需求。通过这一重点的优化，在维持模型准确率的同时，模型的训练时间也从之前的2天左右大幅降低到了3个小时，在实际调用中也更加便利，这一成果令我感到十分的欣喜与自豪。

在组会上，我向老师汇报了这一进展，在收获肯定与鼓励的同时，更加坚定了我对于继续做好科研任务的信心。会上老师提到现如今青少年心理问题高发，我们的工作就是希望能够在主观回避的情况下，帮助外界及时检测到人们心理情感的异常，从而更早地干预和救助。相较于代码运行的数据，看到切实的应用前景以及能够产生的积极影响，我对于这份工作的责任感更加坚定。希望能够通过我们的努力，带给更多人一份心灵上的暖意。