彩云科技:AI团队两次刷新大模型训练速度世界纪录,相关代码已并入官方开源仓库

摘要 · 36氪获悉,近日,人工智能企业彩云科技宣布其基础模型算法团队,在全球开源AI技术竞速项目NanoGPT Speedrun中,连续两次刷新大模型训练速度世界纪录,将达标训练时间压缩至1分16秒。相关代码已正式并入官方开源仓库。据了解,两项纪录是彩云科技团队在模型架构上的两项原创性创新——DCMHA(可动态组合多头注意力)和MUDD(多路动态稠密连接),分别于2024年和2025年发表于国际机器学习顶级会议ICML,并均入选口头报告。
阅读原文 · 36氪

36氪获悉,近日,人工智能企业彩云科技宣布其基础模型算法团队,在全球开源AI技术竞速项目NanoGPT Speedrun中,连续两次刷新大模型训练速度世界纪录,将达标训练时间压缩至1分16秒。相关代码已正式并入官方开源仓库。据了解,两项纪录是彩云科技团队在模型架构上的两项原创性创新——DCMHA(可动态组合多头注意力)和MUDD(多路动态稠密连接),分别于2024年和2025年发表于国际机器学习顶级会议ICML,并均入选口头报告。

原文:https://36kr.com/newsflashes/3978747325316104?f=rss

0 条评论 · 观点来自社区

评论区 0 条讨论

的身份发言⌘/Ctrl+Enter 发送
还没有评论,来抢沙发。