【环球聚看点】集群算力提升三倍,腾讯云发布超强大模型算力集群

红星新闻   2023-04-14 13:07:35

自ChatGPT爆火之后,国内众多科技大厂纷纷跟进。4月14日,腾讯(00700.HK)再度加码提速。


(资料图片仅供参考)

红星资本局注意到,今日,腾讯云正式发布新一代HCC(High-Performance Computing Cluster)高性能计算集群。该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。同时,腾讯云新一代集群的算力性能较前代提升高达3倍。

腾讯方面表示,2022年10月,腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下,将训练时间由50天缩短到11天。如果基于新一代集群,训练时间将进一步缩短至4天。

↑资料配图 图据IC Photo

同等数据集下

训练时长缩短至4天

业界标杆大模型,往往利用数万亿个单词训练,消耗了大量算力资源。而算力作为生产力,则负责为大模型的训练推理提供更好的性能。

红星资本局注意到,2022年4月,腾讯已经对外披露“混元”AI大模型的研发进展。混元AI大模型完整覆盖了NLP(自然语言处理)、CV(计算机视觉)、多模态等基础模型和众多行业模型。同年10月,腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。

腾讯基于自研的高性能计算集群、星脉网络和训练框架AngelPTM,在同等数据集下,将大模型训练时间由50天缩短到11天。如果基于此次发布的新一代集群,训练时间将进一步缩短至4天。

此次新一代HCC采用的腾讯自研的星脉网络,为新一代集群带来了业界最高的3.2T的超高通信带宽。实测结果显示,搭载同样的GPU卡,3.2T星脉网络相较前代网络,能让集群整体算力提升20%,使得超大算力集群仍然能保持优秀的通信开销比和吞吐性能。并提供单集群高达十万卡级别的组网规模,支持更大规模的大模型训练及推理。

芯片方面,国内首发的H800是英伟达新代次处理器,基于Hopper架构,对跑深度推荐系统、大型AI语言模型、基因组学、复杂数字孪生等任务的效率提升明显。与A800相比,H800的性能提升了3倍,在显存带宽上有明显的提高,达到3TB/s。

多款自研芯片已量产

紫霄芯片等在腾讯内部交付使用

腾讯方面表示,腾讯多款自研芯片已经量产。其中,用于AI推理的紫霄芯片、用于视频转码的沧海芯片已在腾讯内部交付使用。其中,紫霄采用自研存算架构,增加片上内存容量并使用更先进的内存技术,消除访存能力不足制约芯片性能的问题,同时内置集成腾讯自研加速模块,减少与CPU握手等待时间。

目前,紫霄已经在腾讯头部业务规模部署,提供高达3倍的计算加速性能,和超过45%的整体成本节省。紫霄在语音转写、OCR等腾讯业务场景中,将语音转文字速度提升4.7倍,OCR识别吞吐能力提升2.4倍。视频处理芯片沧海,已经在云游戏、直点播等场景中规模落地,压缩率比业界通用的软件编解码x265 Medium提升35%。

未来,不仅能通过实例或容器去提供服务,另外也可以通过腾讯云的机器学习平台直接提交任务,也可以体验到自研芯片带来的算力提升。目前,针对内外的使用场景已经在测试中。

值得注意的是,腾讯云的分布式云原生调度总规模超过1.5亿核,并提供16 EFLOPS(每秒1600亿亿次浮点运算)的智算算力。未来,新一代集群不仅能服务于大模型训练,还将在自动驾驶、科学计算、自然语言处理等场景中充分应用。

编辑 杨程

(下载红星新闻,报料有奖!)