效力跃升1.71倍，字节再降MoE练习本钱， 为何AI玩

3月10日，字节跳动豆包年夜模子团队宣布针对MoE架构的通讯优化体系COMET，旨在经由过程细粒度盘算-通讯堆叠技巧优化年夜模子练习。COMET已利用于万卡级出产集群，累计节俭数百万GPU小时资本。跟着DeepSeek等公司开源高潮崛起，更多年夜模子玩家也纷纭跟进，以扩展市场份额、构建生态体系并晋升品牌抽象。 每经记者 杨昕怡每经练习编纂 余婷婷 练习年夜模子的本钱之高始终是行业痛点，各路玩家都在思考怎样用技巧翻新把本钱“打”上去。 3月10日，字节跳动豆包年夜模子团队宣布了针对MoE（混杂专家模子）架构的通讯优化体系COMET，该计划经由过程细粒度盘算-通讯堆叠技巧，助力年夜模子练习优化。据豆包年夜模子团队先容，COMET已现实利用于万卡级出产集群，累计节俭了数百万GPU（图形处置器）小时资本。别的，COMET还可与豆包年夜模子团队此前宣布的新一代稀少模子架构UltraMem联合，实现协同优化。 “在万卡集群上做测试的这个教训，海内很少能有。”一位头部年夜模子算法工程师在接收《逐日经济消息》记者采访时表现，“现在很可能只有字节有这一教训，并且还分享出来了。固然当初海内年夜局部公司都不万卡，但跟着行业今后开展，这一技巧跟先行教训是很主要的。” 能够看到的是，自DeepSeek的开源模子R1在寰球范畴内“爆红”以来，海内更多年夜模子玩家以更高的频率停止着技巧开源。对此，北京市社会迷信院副研讨员王鹏向《逐日经济消息》记者表现，年夜模子公司抉择优良技巧开源，对扩展市场份额、吸引配合搭档构建生态、晋升公司的品牌抽象跟著名度等方面均有辅助。 M开元官方网站入口oE练习效力晋升1.71倍，字节开源COMET技巧 3月1日，DeepSeek在知乎宣布了“开源周”后的“彩蛋”，初次颁布了模子降本增效的技巧细节以及实践上高达545%的利润率。 DeepSeek经由过程MoE架构的翻新让激活参数比年夜幅降落，使得等同后果的年夜模子所需的算力显明降落。“671B的模子，在处置每个成绩时，被挪用激活的专家模子参数仅约37B，算力需要最少下降到本来的约二非常之一。”阿里云无影奇迹部总裁张献涛曾在接收《逐日经济消息》记者采访时表现。 而豆包团队留神到，MoE架构的稀少特征招致盘算跟通讯间的依附静态且庞杂，其散布式练习仍面对着跨装备通讯开支宏大的本钱挑衅。 3月10日，豆包年夜模子团队宣布了针对MoE模子的通讯优化体系COMET。据先容，COMET详细经由过程共享张量依附剖析机制，将共享张量沿Token维度或隐层维度切割，使通讯与盘算的最小单位对齐；同时经由过程静态负载调配算法，依据输入范围跟硬件情况及时调剂线程块调配，打消跨装备通讯带来的等候耽误。 一位豆包年夜模子的技巧职员告知《逐日经济消息》记者，COMET跟DeepSeek的DualPipe（双向并行流水线技巧）都用于下降MoE的通讯开支，但方式差别。记者懂得到，DualPipe经由过程翻新的双向流水线并行技巧，年夜幅进步模子的练习效力。 豆包年夜模子团队称，COMET这一翻新在年夜范围MoE模子上可到达单层1.96倍减速，端到端均匀1.71倍效力晋升。现在，COMET已现实利用于万卡级出产集群，助力MoE模子高效练习，并已累计节俭了数百万GPU小时资本。 “用100张卡测试的稳定可能很少，由于（显卡）出成绩的概率较小，但1万张卡的稳定就会年夜良多。”一位头部年夜模子算法工程师向《逐日经济消息》记者表现，此次字节将这一结果开源，为全部行业供给了车载斗量的万卡集群试验教训，“海内有1万张卡的企业也就多少家。”别的，豆包年夜模子还表现，COMET还可与豆包年夜模子团队此前宣布的新一代稀少模子架构UltraMem联合，实现协同优化。 《逐日经济消息》记者2月11日从豆包年夜模子团队懂得到，团队曾经提出了全新的稀少模子架构UltraMem，该架构无效处理了MoE推理时高额的访存成绩，推理速率较MoE架构晋升2-6倍，推理本钱最高可下降83%。图片起源：视觉中国 VCG211550173673 争取“源神”，为何AI玩家接踵而至开源最新技巧？ 从在寰球范畴内惹起热议的DeepSeek-R1到开源周的“年夜放送”，DeepSeek因连续开源中心技巧被业内称为“源神”。基于DeepSeek的举措，海内年夜模子厂商纷纭跟进并减速了开源举动。 2月18日，阶跃星斗初次开源其Step系列基座模子。该模子分辨是现在寰球范畴内参数目最年夜的开源视频天生模子阶跃Step-Video-T2V，以及行业内首款产物级开源语音交互年夜模子阶跃Step-Audio。MiniMax也在1月15日宣布并开源新一代01系列模子，包括基本言语年夜模子MiniMax-Text-01跟视觉多模态年夜模子MiniMax-VL-01。 除了头部的AI始创公司外，重投年夜模子的多家互联网巨子也在紧跟开源这股高潮，此中阿里始终是动摇的“开源派”。3月3日，开源社区Hugging Face最新榜单表现，开源仅6天的阿里万相年夜模子已反超DeepSeek-R1，登顶模子热榜、空间榜两年夜榜单，成为近期寰球开源社区最受欢送的年夜模子。3月6日清晨，阿里再度抛出新的开源结果。阿里云通义千问官微发布宣布并开源最新的推理模子QwQ-32B。据先容，这是一款领有320亿参数的模子，其机能可与具有6710亿参数（此中370亿被激活）的DeepSeek-R1媲美。 “开源优良技巧能够取得更多声量，也能够吸引更多企业、开辟者停止二次开辟，有助于生态构建。”一位豆包年夜模子的技巧职员向《逐日经济消息》记者表现。 同样，王鹏也以为，开源形式能增进技巧开展、翻新，既可辅助年夜模子公司扩展其在寰球AI市场的影响力跟份额，也能够吸引到更多参加者参加到生态体系的共建中，从而下降本身研发本钱。 不最新版欧洲杯开户平台外，也有best365官方网站登录入口差别的声响，年夜模子公司抉择开源形式毕竟是为了名仍是利？“假如开源的技巧比闭源的更好用，收费的技巧比收费的更好用，那么谁还用闭源跟收费的？”工信部信息通讯经济专家委员会委员盘跟林在接收《逐日经济消息》记者采访时表现，“现实上是以DeepSeek为代表的开源利用，在机能上追平了竞争敌手。这招致良多年夜模子抉择了开源的门路来应答。开源对企业来说，并不克不及发明利润，但能带来用户，互联网流量为王，利润次之。” 新浪财经大众号 24小时转动播报最新的财经资讯跟视频，更多粉丝福利扫描二维码存眷（sinafinance）