企业内部如何更好落地大模型?我们走访了 10+ 先行者

企业内部如何更好落地大模型?我们走访了 10+ 先行者

 

文章摘要


【关 键 词】 LLM应用企业生产技术实践成本优化数据安全

随着微软推出Copilot,业界开始关注如何在工作场景中落地大型语言模型(LLM)。办公软件如钉钉和飞书也迅速集成了AI功能。软件企业通过在现有软件上增加AI功能来创造新产值,而企业生产场景中集成LLM的能力也受到关注。Founder Park研究中心访谈了多位实践者,发现不同领域的企业都愿意尝试在内部生产环境中应用LLM。

LLM在企业生产环境中的价值体现在专家/岗位经验的数字化、最佳实践放大和初级员工快速赋能。然而,难以描述规则或缺乏过程性数据的需求不适合LLM应用。优质输入对优质输出至关重要,包括知识库文本、专家经验的Prompt和保留Knowhow的过程性数据/问答对。明确应用在工作流中的职责/功能有助于顺畅落地。

企业对技术的理解、技术实践能力和落地方式选择影响应用落地的速度和质量。企业需要综合技术组件灵活搭配,甚至采用通用模型+特定功能小模型的组合。实施LLM应用需要自上而下和自下而上的视角相结合,确保员工愿意使用并持续反馈。

LLM技术特点适合内容创作与对话交互场景。它能预测下一个Token,具备语言理解和逻辑推理能力。LLM可以用于内容写作,如营销文案生成、报表生成和代码辅助,以及对话交互,如企业内部员工问答助手和客服助手。

LLM为企业带来的具体价值包括专家/岗位知识数字化、高质量过程性数据、风险规避、开源和节流。通过整理知识库和过程性数据输入,模型能够模仿专家技能。LLM的价值增量可以从风险规避、开源和节流三个维度衡量。

部署应用的成本已大幅降低,优质开源模型的出现降低了项目花费门槛。私有部署模型追求最优成本,而选用量化模型能进一步降低本地部署的算力门槛。微调不一定是必选技术,模型调用和测试是容易被忽视的隐形成本。

基础实践经验总结指出,将通用智能引入工作环节需要一套技术组合。数据安全和幻觉问题通过配套工程解决,针对性任务进行微调才能落地。梳理面向任务的数据是关键,需要企业与技术供应商之间的良好协作。

应用深入还需解决的问题包括跳出ChatBot、Agent的维度,站在Workflow角度看应用,建立数据反馈视角的产品优化思路,以及基础模型的能力和成本还需优化以支持大规模使用。

以上总结了LLM在企业生产环境中的应用现状、价值、成本和实践经验,以及未来应用深入还需解决的问题。这些内容为正在探索LLM赋能生产的企业提供了有价值的参考。

原文和模型


【原文链接】 阅读原文 [ 5784字 | 24分钟 ]
【原文作者】 Founder Park
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
AcademicIdeas – 学境思源AI论文写作

相关文章

AcademicIdeas – 学境思源AI论文写作

暂无评论

暂无评论...