宋启亚

一、个人简介

宋启亚，工学博士，硕士研究生导师，2023年毕业于湖南大学电气与信息工程学院/机器人视觉感知与控制技术国家工程研究中心（师从李树涛教授），2024年入职于湖南师范大学信息科学与工程学院。以第一/共一作者在IEEE TNNLS、ACM Multimedia等高水平国际期刊/会议发表论文多篇，论文发表获得到国内外同行的关注，申请/授权发明专利五项（其中一项已经完成成果转换）。

在国际顶级会议ACL、ACM以及全球最大竞赛平台kaggle上举办的国际竞赛获得冠军4项、亚军2项；获得国际“互联网+” 创新创业大赛全国银奖/铜奖等；作为研究骨干参与国家重点研发、JKW等国家级/省部级项目多项，与等国内外知名企业和技术企业保持良好合作关系。长期担任IEEE TNNLS、IEEE TALSP IEEE TMM等国内外期刊的审稿人以及多个专委会执行委员，先后获得湖南大学校长奖学金、湖南大学优秀研究生等荣誉称号。

联系方式(微信号)：QiyS_UNB （如有需求，请注明来意）

个人主页：https://qiyasong.github.io/ 

Email：sqyunb@hnu.edu.cn

二、研究方向

长期从事多模态信息融合、音视频图像处理、人工智能、深度学习技术等研究；主要如下：  

1. 多模图像融合：多模图像融合能利用不同模态的优势，实现更全面、更清晰、更准确的感知，在军事侦察、遥感测绘、医疗诊断等领域发挥重要作用。

2. 多模态融合的机器人自然交互：针对复杂场景下人机交互系统面临的智能化和情感化挑战，发展多模信息融合（语音、视觉、文本等）的理论方法，攻克智能人机交互技术；

三、研究成果

近三年代表性学术论文（详细见个人主页更新：https://qiyasong.github.io/）：

[1] Multimodal Graph Neural Network for Recommendation with Dynamic De-redundancy and Modality-Guided Feature De-noisy，in IEEE TNNLS 2024，under review 

[2] SFMRec: A Specific Flow Modality Recovery Framework For Multimodal Recommendation，in AAAI2025，under review

[3] CD4C: Change Detection for Remote Sensing Image Change Caption，in IEEE TGRS，Major revision

[4] FGCM: A Modality-behavior Fusion Model Integrated with Graph Contrastive Learning for Multimodal Recommendation，IEEE TBD，Major revision 

[5] Multi-modal Sparse Transformer Network for Audio-Visual Speech Recognition, IEEE Transactions on Neural Networks and Learning Systems, 2022, doi:10.1109/TNNLS.2022.3163771 （SCI中科院一区 TOP期刊 IF=14.25）

[6] Multi-scale Conformer Fusion Network for Multi-participant Behavior Analysis. Proceedings of the 31st ACM International Conference on Multimedia. 2023.（国际多媒体顶级会议 CCF_A类会议）

[7] Multi-modal Joint Learning framework with Modality Interaction Network for robust speech recognition, in Information Fusion，under review（SCI中科院一区 TOP期刊 IF=18.60）

[8] Continuing Pre-trained Model with Multiple Training Strategies for Emotional Classification，Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis @ ACL. 2022（CCF_A workshop , EI ）

[9] Prompt-based Pre-trained Model for Personality and Interpersonal Reactivity Prediction，Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis @ ACL. 2022 （CCF_A workshop , EI ）

代表性发明专利（已授权）：

[1] 李树涛，宋启亚，孙斌. 一种智能机器人的多模态融合自然交互方法、系统及介质，CN202210838251.1

[2] 李树涛，宋启亚，孙斌. 一种跨模态多特征融合的音视频语音识别方法及系统，CN 202011001648.2

[3] 李树涛，宋启亚，孙斌. 一种基于跨模态注意力增强的唇语识别方法及系统，CN202110986219.3

[4] 李树涛，宋启亚，李宾，孙斌. 一种基于混合注意力的人机对话生成方法、系统及介质，CN202210916763.5

学术竞赛获奖：

[1] 国际顶级会议ACM Multimedia 多模态多人交互说话人预测：冠军

[2] 国际顶级会议ACM Multimedia 多模态多人交互眼动交流检测：亚军

[3] 国际顶级学术会议ACL WASSA Track2—情感分类Emotion Classification ：冠军                            

[4] 国际顶级学术会议ACL WASSA Track3—个人性格预测Personality Prediction ：冠军                          

[5] 国际顶级学术会议ACL WASSA Track4—人际反应指数预测Interpersonal Reactivity Index Prediction ：冠军  

[6] 全球最大科学竞赛平台Kaggle 上人工文本检测Artificial Text Detection (multi task) ：亚军

[7] 第八届中国“互联网+”大学生创新创业大赛：铜奖

[8] 第九届中国“互联网+”大学生创新创业大赛：银奖

[9] 第九届湖南省“互联网+”大学生创新创业大赛：一等奖

四、项目经历

[1] 国家自然科学基金青年项目（62401204），2025.01-2027.12，主持

[2] 国家重点研发计划项目（2018YFB1305200），2019.06-2022.05，主研

[3] 国防重点项目子课题，XXXXXXXXXX，2021.1-2023.12，主研

[4] 国家自然科学基金面上项目（62171183），2022.01-2025.12，主研

[5] 湖南省自然科学基金优秀青年项目（2022JJ20017），2022.01-2024.12，主研 

五、招生信息

课题组（隶属于肖林院长）招收研究生/本科生（计算机/人工智能/软件工程等专业），欢迎对科研感兴趣、有志于读研/博深造以及进大厂的同学积极报名!（发邮件请附上个人简历） 课题组团队氛围融洽，注重科研创新，为同学们提供了一个良好的学习与实践平台，研究生/本科生均将进行系统的科研训练，得到对应的编程、阅读论文等多方面能力的培养，并提供对应的计算资源和硬件平台，确保每个学生有所获/有所得。

【招收要求】

（1）对科研有浓厚兴趣，有志于深造的研究生/本科生优先考虑；

（2）计算机科学、人工智能、电子工程等相关专业优先考虑；

（3）具有清晰的读研目标，明确为何读研，而不仅仅是为了获得学位;

（4）科研需要付出大量努力，需要具备自律、耐心和独立工作的能力，耐得住寂寞，方能守得住繁华；

（5）具备良好的英文读写能力和良好的编程能力，熟练使用Python等编程语言。

【培养方式】

（1）“一对一，手把手”：从阅读论文、总结分析论文、编程实验、结果分析到具体撰写论文，各个环节一对一、手把手带；

（2）“多方位驱动”：采用问题驱动、方法驱动、任务驱动的方式进行培养管理，学生定期汇报进度，探讨并进行学术交流；

（3）科学研究并不需要很高的智商和惊人的天赋，但需要你有兴趣、有毅力、有耐性（本人会手把手指导）；

（4）科学研究中涉及到大量的凝练思考：提高自身发现问题和解决问题的能力，对选择继续读研/博深造或进入国企、大厂的同学都有很重要的作用；

  （5）科研生活劳逸结合：推崇健康快乐的学习方式和环境，定期组织健康有益的活动，比如羽毛球、篮球、爬山、跑步等活动（活动中产生的一切费用无需学生承担）；

  （6）对有意继续深造的同学，建议尽早进入实验室学习。良好的科研基础训练是升学的敲门砖，课题组长期与各个高校的老师保持联系，科研优异者可以推荐到C9高校或者NTU/NUS等高校继续深造；

  （7）对于科研优秀的同学会进行对应的科研奖励。

欢迎对科研充满热情、有志于探索人工智能领域的同学加入我们，共同开启科研之旅！