大语言模型应用开发框架 Eino 正式开源！

67 0 0

文章摘要

字节跳动内部经过半年多的使用和迭代，基于Golang的大模型应用综合开发框架Eino已在CloudWeGo正式开源。Eino框架以组件为核心，提供强大的流程编排能力，覆盖开发全流程，旨在帮助开发者快速实现深度的大模型应用。Eino具有内核稳定、API简单易懂、扩展性极致、基于强类型语言Golang、背靠字节跳动核心业务线的实践经验等特点，并提供开箱即用的配套工具。Eino已成为字节跳动内部大模型应用的首选全代码开发框架，多条业务线、数百个服务接入使用。

Eino框架由大模型领域的“组件”组成，如与大模型交互的Chat Model等，提供大量有用的组件实现供选择。大模型应用有自身的特点和规律，Eino的编排能力是通用问题的充分解决方案。例如，ReAct Agent基于Eino的组件和Graph编排实现，代码清晰简洁，可与流程图清晰对应。Eino自动进行类型检查、流式封装、并发管理、横切面注入和Option分配等。

Eino框架的独特优势在于封装领域内“不变”的通用核心要素，同时基于最新进展敏捷的横向和纵向扩展。与主流的Python框架相比，基于Golang的Eino具有高可靠性和高可维护性。Eino在实践驱动设计方面有独特优势，依托字节跳动高频应用豆包、抖音等的多样场景、快速迭代和海量反馈。Eino提供有针对性的开发工具，帮助开发者理解和应对复杂性、加速开发过程。

Eino框架的内核稳定，存在一个常见的组件列表，共同构成大模型应用的常见组成部分。每类组件作为一个interface，有完善、稳定的定义。在组件定义和通用基座能力的基础上，Eino提供上述组件的不同编排范式：Chain、Graph、Workflow等。Eino框架具备充分的可扩展性，每类组件都可以横向扩展出不同的实现，支持将自定义function声明为Lambda类型。Eino遵循模块化设计，核心库以及各组件实现是单独的go module，每个go module做到依赖最小化。

Eino框架的设计开发过程，扎根于“满足真实需求”与“实践驱动设计”这两大基石之上。功能的演进过程与字节跳动各业务线的接入过程紧密结合，始终倾听开发者的声音，并通过实际使用效果来检验设计的合理性。Eino内置了tracing callback，并与Langfuse平台做了集成。同时提供了IDE插件，可以在写代码的过程中随时可视化查看编排出的graph，并进行调试运行，甚至可以通过UI拖拽的方式快速构建graph并导出为Eino代码。

针对Eino的学习和使用，提供了完善的Eino用户手册，帮助大家快速理解Eino中的概念，掌握基于Eino开发设计AI应用的技能。如有任何问题，可通过飞书群或者Eino Issues沟通、反馈。