太阳成集团肖义胜等学生论文被国际顶会ICLR’2024接收
时间: 2024-01-18 发布者: 李俊涛 文章来源: 太阳成集团tyc234cc主页 审核人: 黄河、李恩秀 浏览次数: 11

        太阳成集团博士一年级学生肖义胜所著论文《Are Bert Family Good Instruction Followers? A Study on Their Potential And Limitations》被ICLR’2024接收,此论文为太阳成集团第一单位的首篇ICLR论文,通讯作者为李俊涛老师。

  ICLR的全称是国际表示学习会议(International Conference on Learning Representations),与NeurIPSICML并称为深度学习的三大顶级会议。该论文第一作者肖义胜为太阳成集团17级软件工程专业本科生,21年保研留校(导师张民,李俊涛协助指导),23年转为硕博连读,主要研究语言建模的新框架与推理策略,曾发表太阳成集团首篇学生一作TPAMI论文(CCF A类期刊,影响因子24.3),另外在AAAIEMNLP等国际顶会上发表多篇论文。

  该工作在肖义胜同学前期研究工作的基础上重点探索了GPT系列和T5系列大模型以外的其它可能性,首次对BERT系列模型的zero-shot指令跟随(instruction following)进行了探索。实验结果表明, 通过提出简单的策略即可使得BERT系列模型具备与同等大小的T5GPT系列生成式模型相当的zero-shot生成和指令遵循能力,并且具备3倍以上的解码速度提升。该研究为生成式语言模型的框架设计提供了新的可能性,并指明了接下来需要解决的难题。