背景介绍

　　随着大语言模型（Large Language Model, LLM）涌现，如何高效落地应用LLM成为关键，以LLM为核心搭建各种Agent落地应用（AI Agent ）成为新风向。

　　货拉拉在司机邀约、AI客服、创意生成等业务已经应用自研大模型提效，推进AI应用。各业务在摸索大模型落地的过程中，存在以下困难：

　　AI应用集成难

　　构建和使用AI应用的用户可能是场内平台能力，也可能是业务领域服务，也可能是飞书、浏览器插件这样的SaaS系统，另外还有其他应用场景或所需用户。如何将AI应用和这些场景或用户无缝集成将决定用户体验和效果。

　　数据分散

　　Prompt组装或大模型的推理过程中可能涉及外部语料，这些语料来源存在多样性（离线文件、场内数据库、第三方应用），且可能涉及数据的ETL过程和Embedding存储和查找。

　　落地成本高

　　各业务探索大模型落地需要定制化开发，例如会话记录、模型抉择、token分割等。

　　综合如上现状和问题，货拉拉搭建了LLM应用平台（可视化界面，用户可通过拖拽2min快速搭建部署应用），贴合业务侧需求，降低业务和算法应用大模型的成本，缩短接入周期，支持快速便捷构建AI应用提效能。

　　LLM应用平台

　　1 平台架构

　　货拉拉LLM应用平台设计自下至上主要分为3大层：

　　基础设施——最底层是平台使用到的场内常用基础设施，例如场内DB、监控、网关等

　　平台层——通过简单的拖拉拽式的低代码配置、编排、管理AI应用；集成场内监控设施实现AI应用调用监控和链路埋点分析等保障功能

　　业务层——指有计划落地大模型能力的业务应用或场景，通过接入平台提供的开放API，使用平台内发布的业务AI应用

　　基础设施层：这一层分为 Data Service 和 hll知识库&营销数据，其中，Data Service为知识库和营销数据库搭建提供技术支持；知识库&营销数据为上游chain或agent搭建提供数据基础。

　　平台层：通过管理平台后端、web前端、open api 、 调用监控、异常告警、链路埋点整体组合构建应用平台。分模块

　　1. 管理平台后端：平台后端主要分为模型工具管理、组件管理和AI应用管理中心

　　模型工具管理：支持新增、删除、编辑等管理大模型，目前已支持货拉拉自研货运大模型、开源大模型和商业大模型

　　组件管理：该模块包含构建agent落地业务应用时所需的组件，支持添加、删除、编辑等方式管理组件，为agent应用搭建奠定基础

　　AI应用管理中心：该模块支持我们通过调用组建管理中的组件、模型工具管理中的大模型，通过可视化界面拖拽相关组件快速搭建一个flow（AI应用），支持业务快速落地

　　2. web前端：将管理平台后端功能前端可视化展示。

　　3. open api：AI应用搭建完成后，可通过open api 对接业务，降低业务对接成本。

　　4. 调用监控、异常告警、链路埋点：负责监控上线的AI应用，当有异常情况时可及时报警提醒，同时可针对AI应用搭建过程中日志数据埋点，便于我们在AI应用搭建过程中快速定位跟踪问题、观察效果等。

　　业务层：基于LLM应用平台可直接对各业务赋能，支持业务快速应用大模型落地提效。业务方向包括但不限于智能营销（消息、广告、邀约、AI客服）、代码辅助（代码生成、代码检查、程序文档编写）、数据洞察（指标生成、报表分析、策略建议生成）、智能问答（智能检索、知识库、垂类专业助理）等。

　　2 平台功能

　　平台可视化界面，零代码搭建应用。支持通过拖拽组件，几分钟快速搭建chain、agent等部署应用LLM，主要功能包含

　　组件&模型管理：

　　LLM接入管理：支持LLM的快速接入，包含自研大模型、开源大模型以及商用大模型等

　　组件工具管理：不同功能组件管理，例如，prompt、chain、tools、memory以及agent等

　　AI应用部署（反应流管理）：支持简单拖拽连接组件，几分钟快速生成与发布AI应用（对外API）

　　2.1 组件&模型管理

　　组件管理中心针对组件和模型进行管理，支持添加、查看、上线、下线组件/模型。　　

　　添加组件：仅需简单几步信息填写，名称、类型、组件属性、输入输出参数等信息，填写无误提交后便可上线对应组件。　　

　　2.2 AI应用管理

　　通过搭建flow快速部署应用大模型，flow管理中心可管理创建的flow，包括编辑、删除、查看、复制，上下线等操作。　　

　　每个AI应用目前以如下图flow形式展示，通过拖拽左侧组件到画布上，填写必要信息后，链接组件即可搭建如图Flow可生成对应业务的AI应用。　　

　　3 应用示例

　　货拉拉LLM应用平台，支持chain、agent搭建快速落地应用各类大模型。同时针对在业务场景中，prompt和文案不方便对外展示的情况，设计有prompt/文案库隐身功能，便于我们管理自己的prompt和文案。

　　3.1 Chain

　　目前已实现Chain 搭建（LLM + Prompt），用户可在LLM应用平台上拖拽配置应用。同时，针对prompt和文案不方便展示的业务可选隐身，助力业务应用安全落地。

　　自定义prompt：用户可通过写prompt拖拽组件搭建chain。视频中以“帮我写3个货拉拉{节日名称}营销文案，文案中包含{奖励内容}”为例，快速拖拽链接chain、prompt、LLM搭建chain部署上线应用生成营销文案，整个过程在2min左右可完成。

　　prompt库&文案库隐身：针对prompt和文案不方便展示的业务，平台支持调用自定义prompt库和文案库 。

　　如图，在chain搭建过程中，prompt模块无需我们自写prompt，few shot 示例文案仅需要指定所需的示例个数，flow可根据prompt库和文案库中我们设定的参数部署上线应用。

　　动态灵活prompt库

　　同时针对prompt库和文案库搭建，我们设计了一套通用的prompt生成方案，一方面为平台搭建和后续agent搭建提供数据基础，另一方面，为之后货拉拉营销大模型搭建提供训练和测试数据，助力构建货运营销大模型。

　　将prompt拆解生成动态灵活prompt，调用自研大模型生成营销文案，将prompt、文案以及针对文案生成的标签组合，可动态更新生成个性化prompt库和文案库。

　　prompt可以拆分通用模块、细化模块、个性化模块以及业务模块：

　　通用模块：由任务和主体构成，说明任务的主要目标

　　细化模块：该模块由文案库、提示词&memory、thought模块构成；文案库除示例文案外，可通过LLM生成文案风格、关键词等丰富文案库；同时可通过one shot、few shot、以及长短期记忆，结合COT、self critics等思维方式细化prompt

　　个性化模块：根据业务场景诉求，结合司内活动、实时热点、天气预报等工具，生成满足业务场景的个性化模块

　　业务模块：结合业务转化效果以及greedy探索，支持挑选最优示例文案的同时，在探索（exploration）和利用（exploitation）之间进行权衡　　

　　3.2 Agent

　　货拉拉LLM应用平台支持快速构建Agent（LLM + Planning + Tools + Memory ），以基于私有知识库的AI问答机器人搭建为例，展示LLM应用平台如何快速搭建一个agent。

　　实现思路：针对用户上传文档，优先进行文档切分、embedding、向量存储后，可以结合prompt与LLM搭建agent，这样用户提问后，agent可自动检索并给出回答。　　

　　Agent 应用搭建：使用货拉拉LLM应用平台搭建智能问答机器人，flow（AI应用）样式如图，各组件链接无问题后即可上线agent。　　

　　业务落地

　　货拉拉基于自研LLM应用平台，已经在4个业务中的7个场景落地应用，助力业务提效。

　　落地业务：消息中心、AI邀约、智能广告、辅助建模

　　落地场景：文案代写、文案改写、情绪/意图识别、辅助标签、关键词总结等

　　1 智能营销

　　货拉拉每月消息发送量高达26亿，重复或近似的消息推送会导致用户疲劳，消息点击率下降，甚至用户可能关闭消息推送通知，在消息层面流失之后不能再次被触达。

　　针对以上问题，我们在营销消息触达时，采用AIGC辅助运营生成消息文案和改写消息文案，助力运营提效、同时提高消息的点击率。采用大模型生产AIGC文案，在货拉拉LLM应用平台，仅2min可快速搭建AI应用，支持业务落地。

　　文案代写：用户仅需输入【关键词】，通过flow 几秒钟可返回多个文案，在提升运营文案创作效率的同时，丰富了文案库。例如，

　　关键词：开城, 冷藏车上线, 赢x元京东卡　　

　　文案改写：用户仅需输入【待改写文案】，通过flow 可快速返回多风格候选文案，不仅提高文案改写效率，同时也保证了文案的质量和用户体感。例如，

　　标题：您有6张发货神券已到账！！

　　内容：月末省钱日，6张发货神券已到您的账户，单张最高立减30元，快去下单吧>>　　

　　2 AI邀约

　　货拉拉邀约中心已经积累了大量的线索，并且线索量还在不断增加。不同邀约员针对邀约线索标注习惯不同，导致线索管理相对低效。

　　针对上述问题，采用LLM应用平台构建AI应用，针对对脱敏线索数据处理，识别线索中司机的情绪和意图，助力线索管理提效，进而提升线线索跟进率。

　　例如，针对以下两个对话示例，通过LLM应用平台flow，可以快速标记出司机的情感和意向。　

　　3 智能广告

　　货拉拉广告日均曝光量约2700w，广告的曝光以图片为主，但目前大模型针对图片素材生成效果并不理想。针对广告素材生成我们分步优化，优先支持素材文案生成和改写在业务快速落地应用。

　　针对广告文案代写和改写，通过LLM应用平台搭建flow生成AI应用后，用户仅需要输入【业务线名称】或者【待改写文案】便可快速生成多候选文案，提升运营广告素材生成效率以及广告点击率。

　　文案代写示例

　　业务线名称：大车　　

　　文案改写示例

　　待改写文案：下单发货抢红包　　

　　4 辅助建模

　　LLM生成文案时需要运营输入关键词或者说明风格，辅助LLM更好的理解以生成更好的结果。初始阶段我们可以运营辅助，长远预期可自动化生产文案，自动化文案生成离不开优秀的文案库，因此类似风格标签、关键词总结均可以辅助我们丰富文案库，为未来自动化生产文案奠定基础。

　　以下是在货拉拉LLM应用平台，针对风格标签和关键词总结的应用示例，flow应用搭建快速，且可快速响应，结果质量有保证。

　　风格标签：针对文案可批量快速打上对应的风格标签，辅助丰富文案库

　　文案1：标题:速点！送您80元搬家券包；摘要:A.稳稳地接住 B.悄悄去下单

　　文案2：标题:您有新的优惠券入账！；摘要:10元优惠券已发放到您的账户上，快去使用吧~

　　文案3：标题:货拉拉诚邀您参与问卷调研；摘要:货拉拉诚邀您参与问卷调研，并有机会获得16元优惠券喔~

　　文案4：标题:要搬家？优惠券即将过期🚚；摘要:A.放弃优惠 B.点击预约无忧搬家，包搬包运>>

　　文案5：标题:（领）8.8折优惠券！；摘要:立享优惠，去发货🚚🚚🚚

　　文案6：标题:您有新的优惠券到账啦；摘要:16元调研优惠已到账，快下单享受优惠吧　　

　　关键词总结：可针对文案内容总结出核心关键词，基于这些关键词可再生成文案，丰富文案库　　

　　总结

　　针对货拉拉司内LLM应用落地低效的问题，我们搭建了货拉拉LLM应用平台，大模型能力体系逐渐闭环，从完善的大模型工具链到AI开发平台，助力加速AI应用落地。

　　LLM应用平台支持对组件、模型、以及AI应用进行管理，同时可视化界面，用户可以通过简单的拖拽链接组件几分钟快速搭建应用。使得应用大模型效率提升98.75%，平均接入耗时从24小时降低到18分钟。

　　LLM应用平台提供了大模型应用业务的通解，已在营销文案生成、货运邀约情绪识别、智能广告素材生成等7个业务场景落地。

　　LLM应用平台也在逐步完善，会持续不断迭代，为LLM在货拉拉司内落地提供更优质、更高效的服务。