面向大模型训练,腾讯发布超强算力集群,性能提升三倍!
来源:富途牛牛 发布时间:2023-04-14 14:46:28

来源:华尔街见闻

就在刚刚,$腾讯控股(00700.HK)$发布了号称国内性能最强的大模型计算集群。

据腾讯微信公众号4月14日消息,腾讯云正式发布面向大模型训练的新一代HCC(High-Performance Computing Cluster)高性能计算集群。


(资料图片仅供参考)

该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。

据腾讯介绍,实测显示,新一代集群整体性能比过去提升了3倍,是国内性能最强的大模型计算集群。

早在去年10月,腾讯训练框架AngelPTM,完成了首个万亿参数大模型训练——混元NLP大模型训练。在同等数据集下,将训练时间由 50 天缩短到 11 天。如果基于新一代集群,训练时间将进一步缩短至 4 天。

针对大模型场景,星星海自研服务器采用 6U 超高密度设计,相较行业可支持的上架密度提高 30%;利用并行计算理念,通过 CPU 和 GPU 节点的一体化设计,将单点算力性能提升至更高。

除此以外,H800 GPU也是新集群的一大看点。公开资料显示,H800为英伟达旗下最先进的芯片之一,对人工智能研发极为重要,其算力超过旗舰芯片A100三倍,这也是国内首次发布搭载H800的大模型产品。

网络层面,腾讯发布自研的星脉网络能提供3.2T通信带宽,为业内最高数据。

腾讯表示,搭载同样的GPU卡,3.2T星脉网络相较前代网络,能让集群整体算力提升20%,使得超大算力集群仍然能保持通信开销比和吞吐性能。并提供单集群高达十万卡级别的组网规模,支持更大规模的大模型训练及推理。

存储层面,几千台计算节点同时读取一批数据集,需要尽可能缩短加载时长。腾讯云自研的文件存储、对象存储架构,具备TB级吞吐能力和千万级IOPS,满足大模型训练的大数据量存储要求。

新一代集群还集成了腾讯云自研的 TACO 训练加速引擎,对网络协议、通信策略、AI 框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。

另外,腾讯自研芯片已经量产,包括用于AI推理的紫霄芯片。它采用自研存算架构和自研加速模块,可以提供高达3倍的计算加速性能和超过45%的整体成本节省。

在上月召开的电话会议上,腾讯方面表示,未来将投入大量资源并建立自己的基础模型,并将其整合进公司的所有业务中。不过腾讯表示,将做对的事,不会仓促行事。

腾讯还说,AIGC可以用来提升腾讯旗下旗舰产品的用户体验。未来可能每一个用户都会有人工智能助理,如果效果好,有可能将生成式AI纳入微信和QQ。

编辑/ruby

标签:

猜你喜欢

微软Bing市场份额不增反降,谷歌搜索“一哥”位置

微软将ChatGPT集成进Bing,并在GPT-4的推动下拥有自己的生成搜索体验,可谓抢尽“搜索一哥”谷歌的...更多

2023-05-15 18:27:36

一图读懂 | 美股期权隐含波动率排行榜 (5.15)

隐含波动率(IV)是对一支股票年内价格变动的预估,反映投资者对未来价格波动程度的预期,是期权定...更多

2023-05-15 18:44:03

财报前夕,腾讯股价一度涨超4%,这次业绩将会有怎

在财报发布的前夕,腾讯结束了连续一个月的股价下行趋势,在5月15日一度涨超4%,说明市场对本次腾讯...更多

2023-05-15 18:28:01

【环球新视野】北水抢筹科网股!加仓腾讯近12亿港

2023年5月15日,南向资金净买入16 53亿港元。$腾讯控股(00700 HK)$、$美团-W(03690 HK)$、$中国海洋石油(00883 HK)$分更多

2023-05-15 17:40:54

巴菲特看好的日本股市,要创33年新高了 环球精选

坚实基本面推动日股上涨,同时外资流入和回购潮支撑日本股市情绪。“股神”又押对了?5月15日周一,...更多

2023-05-15 17:32:45

财报前瞻 | 获多名分析师看好,沃尔玛Q1业绩有

随着最新一轮财报季继续如火如荼地进行,本周零售行业成为了关注焦点。其中,$沃尔玛(WMT US)$将于5月18日更多

2023-05-15 16:35:32

环球要闻:每日期权追踪 | 罕见认错!特斯拉召

编者按:《每日期权跟踪》紧跟期权市场,关注博弈动向,为牛友提供多维度机会参考,助力牛友掌握投...更多

2023-05-15 16:36:38

港市速睇 | 港股午后强劲拉升!三大指数齐涨超1

富途资讯5月15日消息,港股三大指数午后强势拉升,恒指一度收复2万点关口。最终,恒指、国指涨1 75%,科指更多

2023-05-15 16:44:40

易点云(02416.HK)今起招股,发售价每股10-12港元

在数字经济浪潮下,中小企业数字化转型大势所趋!今年两会政府工作报告亦提出「加快传统产业和中小...更多

2023-05-15 16:43:09

每日快看:又一里程碑!港交所:“互换通”正式启

5月15日,港交所正式举行互换通上线仪式,香港政、经两界大佬齐聚金融大会堂,包括香港特区行政长官...更多

2023-05-15 15:30:17