文心大模型4.0在多个关键技术上实现突破
来源:科技日报 发布时间:2023-10-26 09:25:36

科技日报讯 (记者刘艳)近日,文心大模型4.0在“百度世界2023”发布并开启邀请测试,搜索、如流、地图、网盘、文库等百度AI原生应用以全新面目亮相。

百度首席技术官王海峰说:“文心大模型4.0基本技术架构与3.0和3.5版本一脉相承,在多个关键技术方向上进一步创新突破。理解和生成能力提升幅度相近,逻辑和记忆能力的提升更大,逻辑的提升幅度达到理解的近3倍,记忆的提升幅度也达到了理解的2倍多。9月开始小流量上线后,一个多月内效果又提升了近30%。”

谈及文心大模型4.0,百度创始人、董事长兼首席执行官李彦宏难掩自豪地表示:“这是迄今为止最强大的文心大模型,实现了基础模型的全面升级,综合能力与GPT-4相比毫不逊色。”

这么显著的效果提升是怎么实现的?王海峰介绍,技术人员在万卡算力上运行飞桨平台,通过集群基础设施和调度系统、飞桨框架的软硬协同优化,支持了大模型的稳定高效训练;建设了多维数据体系,形成了数据挖掘、分析、合成、标注、评估闭环,充分释放数据价值,大幅提升模型效果;基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐,保证模型更好地与人类的判断和选择对齐;可再生训练技术通过增量式参数调优,有效节省了训练资源和时间,加快了模型迭代速度。

据了解,在强大的基础大模型之上,百度进一步研制了智能体机制,包括理解、规划、反思和进化,能够做到可靠执行、自我进化,并在一定程度上将思考过程白盒化,让机器像人一样思考和行动,自主完成复杂任务,在环境中持续学习实现自主进化。

当下,大模型已成为人工智能发展的热点方向和新型工业化的重要推动力,但应用层面的挑战始终存在,如何破除大模型进一步普及的阻碍?“过去一年,科技领域最大的创新是大模型带来的智能涌现,并成为开发AI原生应用的基础。”李彦宏认为,AI原生应用,就是基于大模型的理解、生成、逻辑和记忆能力开发出来的应用,而这些能力是过去时代所不具备的,因此才能打开无限的创新空间。

今年5月,百度提出用AI思维重构所有产品,做出AI原生应用。“百度世界2023”大会上,百度通过展现基于文心大模型技术土壤重构的10余款AI原生应用,给出了大模型应用落地的有效路径。

标签: 重要推动力 百度世界2023 王海 记忆能力 提升幅度

猜你喜欢

文心大模型4.0在多个关键技术上实现突破

科技日报讯 (记者刘艳)近日,文心大模型4 0在百度世界2023发布并开启邀请测试,搜索、如流、地图...更多

2023-10-26 09:25:36

东北首趟35吨宽体集装箱铁海快线班列启程

科技日报沈阳10月24日电 (记者郝晓明 通讯员韩庆潇 邢译达)载有50节车厢的40英尺35吨宽体集装箱...更多

2023-10-26 09:25:35

每天爬5层楼可降两成心脏病风险

科技日报北京10月24日电 (记者刘霞)美国杜兰大学科学家在最新一期《动脉粥样硬化杂志》上发表论文...更多

2023-10-26 09:25:32

“十四五”以来医药工业全行业研发投入年均增长超

记者10月24日从工业和信息化部举行的2023中国医药工业发展大会新闻发布会上获悉,十四五以来,我国...更多

2023-10-26 09:25:34

第二届数贸会 预计签约千亿元项目

今年前8个月,我国可数字化交付的服务贸易规模达1 81万亿元,同比增长10 4%。1 81万亿元● 本报...更多

2023-10-26 09:25:31

泓德基金秦毅:未来重点关注四大板块投资机会

中国经济网北京8月31日讯 近日,泓德基金副总经理、研究部总监、基金经理秦毅表示,展望下半年,市...更多

2023-09-01 10:03:18

汇智聚信投资及陈启刚各收警示函 私募未独立尽职

中国经济网北京8月31日讯今日,中国证监会深圳监管局网站公布的行政监管措施决定书〔2023〕144号、1...更多

2023-09-01 10:03:17

汤琰出任长盛基金总经理

长盛基金发布高级管理人员变更公告,汤琰女士担任公司总经理,今年3月13日出任公司董事长并代任总经...更多

2023-09-01 10:03:15

持股公司业绩优异 社保基金投资能力亮眼

从上半年各大机构持股数量变化及持仓市值来看,社保基金整体投资收益优于其他机构。上半年,社保基...更多

2023-09-01 10:03:14

积极拥抱数字经济 公募基金擒牛有方

本报记者张凌之万宇捕捉AI牛股今年以来,A股市场持续震荡调整,基金经理积极调仓换股。天相投顾数据...更多

2023-09-01 10:07:21