近日，在美国圣迭戈市进行的计较机系统布局主要国际会议ASPLOS上，由鹏城尝试室智能计较研究部、清华年夜学计较机系传授陈文光团队自立研发的国产千卡集群练习优化手艺AdaPipe正式发布。

最近几年来，年夜范围说话模子在对话、问答和文本总结等多种利用场景中揭示出出色机能，遭到了学术界和工业界的普遍存眷。但是，跟着年夜范围说话模子逐步朝着更多的参数目和更长的文本进行演变，对计较装备的存储和处置能力也提出了更高要求。

当前，传统的流水线并行练习方式在处置百、千亿参数的模子时会发生存储和计较负载不平衡的现象，直接影响了资本操纵率和开博体育整体练习效力；同时，因为现有国产算力卡存在高速内存容量和通讯能力不足的环境，使得这一问题显得加倍凸起。

为解决上述问题，陈文光团队开辟了AdaPipe手艺，该手艺按照具体的模子和硬件参数，经由过程细化重计较的粒度来优化重计较策略，并斟酌到练习各阶段计较量的差别，进一步对重计较和流水线切分策略进行优化。该手艺不但将存储资本的操纵率最年夜化，还确保分歧计较节点上的计较负载得以均衡分派，练习效力显著晋升了。

该研究显示，AdaPipe撑持GPU、NPU主流加快卡，该手艺被利用在“鹏城云脑II”的国产千卡集群上练习多种模子（如Llama-2，GPT 3等）时，实现了20%以上的机能晋升。另外，AdaPipe在“鹏城 脑海”通用年夜模子（200B）4K窗口3456卡的现实练习中，获得了10%以上的效力晋升。这些案例将为将来万卡国产集群上的优化练习供给手艺贮备和经验参考。

上述手艺的研发获得国度天然科学基金和鹏城尝试室的撑持和帮助。

相干论文信息：https://doi.org/10.1145/3620666.3651359

版权声明：凡本网注明“来历：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请在正文上方注明来历和作者，且不得对内容作本色性改动；微信公家号、头条号等新媒体平台，转载请联系授权。邮箱：shouquan@stimes.cn。

上一篇:开博-2024年国家留学基金资助出国留学人员选派指南发布—新闻—科学网 下一篇:开博-国家自然科学基金委员会发布严正声明—新闻—科学网