零代码1分钟,构建一个Agent应用。
做一个“英语作文批改小帮手”应用,只需在AppBuilder中输入应用名称或者希望开发的功能,平台就能自动生成应用。
再通过简单的调整角色指令、添加所需工作组件,即可生成应用。
发布后马上可使用,从创建到分发,全程只需3步。
这就是新升级后的大模型应用开发神器百度千帆AppBuilder。
它开放了55个工具组件,包括大模型组件、AI组件、搜索组件、第三个API工具等。
能让企业或个人零门槛开发各种场景下的Agent应用。
同时,百度大模型也上新了,一共5个,主打轻量化、性价比、实际场景:
ERNIE Speed
ERNIE Lite
ERNIE Tiny
ERNIE Character
ERNIE Functions
到了应用落地元年,大模型玩家出手不再是纯比拼参数了。经济实用成为了行业开卷的新方向,不仅模型规模变小,价格也降低了。
比如百度智能云透露,ERNIE Lite作为ERNIE Turbo的升级,输入从原本的0.008元/千token降到了0.003元/千token。
为什么要这么做?从百度的最新动作看起。
门槛更低模型更强
先来看百度智能云最新发布的5款模型。
ERINE Speed号称要做最适合微调的基座模型。
它上下文最高支持128K,更便宜,速度更快,微调后可达到比肩通用大模型的效果。
ERINE Lite版本更小一些,它对标此前的Turbo版本,size差不多,但是效果上明显提升。
在兼顾轻量和效果的同时,实现了53%的成本降低。
ERINE Tiny是三款中参数量最小的,强调极致低成本、低延迟、高并发,适用于检索推荐、端侧推理等场景。
另外面向垂直场景,百度智能云针对当下市场的需求,推出了ERNIE Character和ERNIE Functions。
它们可以面向角色扮演类应用场景(游戏NPC、客服对话等)和工具调用场景(对话中使用外部工具、调用业务函数等)。
据介绍,这两款模型已分别与智能硬件厂商、旅游出行APP合作。
为什么要持续加强底层模型能力?
关键原因之一是为了不断降低开发门槛。
发布模型同时,千帆AppBuilder也同步升级。
它的底层由大模型组件、AI能力组件等构成,基础组件与高级组件共同支撑Agent,一方面可以通过工作流编排实现更为复杂的业务逻辑,另一方面Agent也具备强大的自主任务规划能力,能够理解用户意图自动规划执行路径,实现多工具的自动编排和执行。
可以提供零代码、代码编写两种开发模式。
如开头提到的1分钟打造Agent应用,就是实际例子。
开发完成后,AppBuilder支持将应用一键分发到微信客服、微信公众号、Web端/H5及百度灵境矩阵等主流渠道。
值得一提的是,本次发布的基础组件中还包括百度智能云全新推出的向量数据库VDB1.0。
据了解,百度智能云已服务8万企业用户,累计帮助用户精调1.3万个大模型,帮助用户开发出16万个大模型应用,自2023年12月以来百度智能云千帆大模型平台API日调用量环比增长97%。
百度副总裁谢广军表示,用户数量的快速增长,得益于模型效果不断变强和很多应用场景已经有了标杆效益。
2024年AI原生应用会加速落地,这个时候行业会遇到模型性能、效果以及成本多方面的挑战。业界已经逐渐形成一个共识:
因此轻量化模型逐渐成为一种趋势。
与此同时,随着大模型应用深入,企业需求也会从直接调用基座模型逐步转向基于自己的数据微调模型。
谢广军认为,未来精调模型的需求增长会比较大,精调后仍然需要做推理,推理的需求同样也会有很大涨幅。