CLPA、贝加莱、雷赛智能、华龙讯达、思谋齐聚深圳,共话工业互联&智能制造
504
2023-11-17
10月14日,为期四天的“2023未来科学大奖周”活动在香港正式开幕,该活动邀请了包括诺贝尔化学奖获奖者Gregory Winter在内的来自全球百位顶尖科学家进行科学探讨与交流香港中文大学计算机科学与工程系终身教授、思谋集团创始人及董事长贾佳亚受邀发表主题演讲。
在题为《从大型语言模型到大型视觉语言模型》的主旨演讲中,贾佳亚教授首次系统性介绍其带领的科研团队在大模型层面的前沿探索成果△?贾佳亚教授在科学峰会上进行主旨演讲分享中,贾佳亚教授介绍了团队联合MIT发布的全新超长文本扩展技术LongLoRA,只需两行代码、一台8卡A100机器,便可将7B模型的文本长度拓展到100k tokens,70B模型的文本长度拓展到32k tokens,打破了由于缺乏长文本处理而导致的大语言模型对话缺陷问题。
研究团队在基于LongLoRA超长文本扩展技术和LongAlpaca-12k数据集的基础上,发布了全球首个拥有70B参数量的长文本对话大语言模型LongAlpaca开源首日,LongLoRA技术和LongAlpaca,登上各大开源网站的热榜:Hugging Face热榜第一、Papers With Code热度第一、Github Stars已近2千,Twitter上的相关技术帖子浏览量达18万。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~