中国青年报客户端讯（中青报·中青网记者王烨捷）7月4日，在2024年世界人工智能大会AI基础设施论坛上，无问芯穹联合创始人兼CEO夏立雪发布了全球首个千卡规模异构芯片混训平台，千卡异构混合训练集群算力利用率最高达到了97.6%。

据悉，这是全球首个可进行单任务千卡规模异构芯片混合训练的平台，具备万卡扩展性，支持包括AMD、华为昇腾、天数智芯、沐曦、摩尔线程、NVIDIA六种异构芯片在内的大模型混合训练。此前在公测阶段，已有智谱AI、月之暗面、生数科技等大模型公司客户在Infini-AI上稳定使用异构算力，还有20余家AI Native应用创业公司在Infini-AI上持续调用各种预置模型。

图为发布会现场。世界人工智能大会组委会供图。

作为大模型生命周期中不可或缺的两个阶段，训练和推理均需要强大的计算资源支撑。然而，与国际上模型层与芯片层“相对集中”的格局相比，中国的模型层与芯片层更加“百花齐放”。然而，大量的异构芯片也形成了“生态竖井”，不同硬件生态系统封闭且互不兼容，给算力的使用方带来一系列技术挑战。

目前，业界统计的、宣布拥有千卡规模的中国算力集群已不少于100个，出于诸多缘由，绝大部分集群已经或正在从同构转向异构。但虽然算力集群众多，却难以实现有效的整合与利用。“生态竖井”不仅成为构建AI Native基础设施的最大难点，也是当前大模型行业面临“算力荒”的重要原因。

据悉，无问芯穹与清华大学、上海交通大学组建了联合研究团队，联合团队发布的HETHUB就是一个用于大规模模型的异构分布式混合训练系统，这是业内首次实现六种不同品牌芯片间的交叉混合训练，且工程化完成度高。夏立雪介绍，这项技术工程化的初衷，是希望能够通过整合更多异构算力，继续提高大模型技术能力的上限，同时通过打通异构芯片生态，持续降低大模型应用落地成本。

国内外模型层与算力层生态差异分析。受访者供图。

而此次发布的Infini-AI实现了多种大模型算法在多元芯片上的高效、统一部署。截至目前，Infini-AI已支持了Qwen2、GLM4、Llama3、Gemma、Yi、Baichuan2、ChatGLM3系列等共30多个模型，以及AMD、华为昇腾、壁仞、寒武纪、燧原、海光、天数智芯、沐曦、摩尔线程、NVIDIA等10余种计算卡。

“技术上限推高与技术落地扩散不矛盾，这取决于我们决心如何对待这个技术。”夏立雪认为，今天说让大模型成本减少多少，就像30年前说让家家户户都通电一样，“优良的基础设施就是这样一种魔法，当边际成本下降到临界值，就能有更多的人拥抱新技术”。

来源：中国青年报客户端


                                        
友情提示
本站部分转载文章，皆来自互联网，仅供参考及分享，并不用于任何商业用途；版权归原作者所有，如涉及作品内容、版权和其他问题，请与本网联系，我们将在第一时间删除内容！  
                                        
联系邮箱：1042463605@qq.com