您好,欢迎光临北京百睿德文化传播有限公司!电话4008871095
语言选择:

“文心一言”百度的AI产品,市场强烈需求

发布时间:2023-03-17 10:14浏览次数:times

李彦宏表示,通过定向微调,可以在百度内外部各类产品上逐步展示出惊人的亲和力,让每一个产品离自己的用户和客户更近。文心一言这样的大语言模型,会成为每个人必不可少的生产力工具。不过,无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。


“人类进入人工智能时代,IT技术的技术栈发生了根本性变化。过去基本分为三层:芯片层,操作系统层和应用层。现在可以分为四层:芯片层、框架层、模型层和应用层。”他介绍说,“今天,百度是全球为数不多、在这四层进行全栈布局的人工智能公司,从高端芯片昆仑芯,到飞桨深度学习框架,再到文心预训练大模型,到搜索、智能云、自动驾驶、小度等应用,各个层面都有领先业界的自研技术。”


文心一言位于模型层。2019年,百度推出了文心大模型ERNIE 1.0。目前,ERNIE 3.0每天接受数十亿次用户的搜索请求。这让文心一言能够基于一个庞大的、高效的数据池,快速地学习和改进。


“大模型训练堪称暴力美学,需要有大算力、大数据和大模型,每一次训练任务都耗资巨大。全栈布局的优势在于,可以在技术栈的四层架构中,实现端到端优化,大幅提升效率。尤其是,框架层和模型层之间,有很强的协同作用,可以帮助构建更高效的模型,并显著降低成本。事实上,超大规模模型的训练和推理,给深度学习框架带来了很大考验。比如,为了支持千亿参数模型的高效分布式训练,百度飞桨专门研发了 4D 混合并行技术。”李彦宏介绍道。


BEROND中国微信扫码 关注我们

  • 24小时咨询热线4008871095

  • 移动电话13810924440

Copyright © 2002-2022 北京百睿德文化传播有限公司 版权所有 地址:北京市朝阳区广渠门外大街31号合生国际 备案号:皖ICP备11014461号-34 网站地图