企业内部如何更好落地大模型？我们走访了 10+ 先行者

483 0 0

文章摘要

随着微软推出Copilot，业界开始关注如何在工作场景中落地大型语言模型（LLM）。办公软件如钉钉和飞书也迅速集成了AI功能。软件企业通过在现有软件上增加AI功能来创造新产值，而企业生产场景中集成LLM的能力也受到关注。Founder Park研究中心访谈了多位实践者，发现不同领域的企业都愿意尝试在内部生产环境中应用LLM。

LLM在企业生产环境中的价值体现在专家/岗位经验的数字化、最佳实践放大和初级员工快速赋能。然而，难以描述规则或缺乏过程性数据的需求不适合LLM应用。优质输入对优质输出至关重要，包括知识库文本、专家经验的Prompt和保留Knowhow的过程性数据/问答对。明确应用在工作流中的职责/功能有助于顺畅落地。

企业对技术的理解、技术实践能力和落地方式选择影响应用落地的速度和质量。企业需要综合技术组件灵活搭配，甚至采用通用模型+特定功能小模型的组合。实施LLM应用需要自上而下和自下而上的视角相结合，确保员工愿意使用并持续反馈。

LLM技术特点适合内容创作与对话交互场景。它能预测下一个Token，具备语言理解和逻辑推理能力。LLM可以用于内容写作，如营销文案生成、报表生成和代码辅助，以及对话交互，如企业内部员工问答助手和客服助手。

LLM为企业带来的具体价值包括专家/岗位知识数字化、高质量过程性数据、风险规避、开源和节流。通过整理知识库和过程性数据输入，模型能够模仿专家技能。LLM的价值增量可以从风险规避、开源和节流三个维度衡量。

部署应用的成本已大幅降低，优质开源模型的出现降低了项目花费门槛。私有部署模型追求最优成本，而选用量化模型能进一步降低本地部署的算力门槛。微调不一定是必选技术，模型调用和测试是容易被忽视的隐形成本。

基础实践经验总结指出，将通用智能引入工作环节需要一套技术组合。数据安全和幻觉问题通过配套工程解决，针对性任务进行微调才能落地。梳理面向任务的数据是关键，需要企业与技术供应商之间的良好协作。

应用深入还需解决的问题包括跳出ChatBot、Agent的维度，站在Workflow角度看应用，建立数据反馈视角的产品优化思路，以及基础模型的能力和成本还需优化以支持大规模使用。

以上总结了LLM在企业生产环境中的应用现状、价值、成本和实践经验，以及未来应用深入还需解决的问题。这些内容为正在探索LLM赋能生产的企业提供了有价值的参考。