来源:华尔街见闻
4月12日,微软宣布开源了Deep Speed Chat,帮助用户轻松训练类ChatGPT等大语言模型,使得人人都能拥有自己的ChatGPT!(开源地址:https://github.com/microsoft/DeepSpeed)
(资料图片)
据悉,Deep Speed Chat是基于微软Deep Speed深度学习优化库开发而成,具备训练、强化推理等功能,还使用了RLHF(人工反馈机制的强化学习)技术,可将训练速度提升15倍以上,成本却大幅度降低。例如,一个130亿参数的类ChatGPT模型,只需1.25小时就能完成训练。
简单来说,用户通过Deep Speed Chat提供的“傻瓜式”操作,能以最短的时间、最高效的成本训练类ChatGPT大语言模型,这标志着一个人手一个ChatGPT的时代要来了。
微软为什么开源Deep Speed Chat
ChatGPT只用了几个月的时间便席卷全球,成为史上用户增长速度最快的消费级应用,对世界的经济发展、科技研发起到了重要的推动作用。很多企业、个人用户纷纷想参与到这场AI技术变革中,但由于庞大的资源、资金投入只能望而却步。
即便开源领域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等优秀的类ChatGPT项目,仍缺乏一个支持端到端的基于RLHF的规模化系统,使得训练强大的类ChatGPT模型非常艰难。
例如,使用上述开源项目训练一个67亿参数的类ChatGPT模型,通常需要昂贵的多卡至多节点的GPU集群,但这些资源对大多数科学家、小型企业、个人开发者而言难以获取。
即便是拥有这样的资源,现有的开源系统的训练效率通常还不到,这些机器所能达到的最大效率的5%。
现在,通过Deep Speed Chat解决资源、算法等难题,轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。
全民ChatGPT时代来了
做个不太恰当的比喻,微软此次开源Deep Speed Chat就像当年的互联网,为了提升发展速率降低了台式机的价格,使得普通用户也能拥有自己的电脑。
只有参与的用户多了,整个行业生态才能快速壮大发展,所以,微软此次开源对整个ChatGPT生态发展起到了至关重要的推动作用,使得人人都能拥有自己的ChatGPT。
目前,ChatGPT处于初级发展阶段,存在安全隐患、数据隐私、道德等问题。相信随着参与用户的增多,这些难题将会被有效的解决,从而为全球经济发展做出贡献。
编辑/Jeffrey