现场Live震撼!OmAgent框架强势开源!行业应用已全面开花
文章摘要
【关 键 词】 大模型技术、自动驾驶、智能体、多模态模型、技术创新
联汇科技作为大模型行业的领军企业,其发展历程与自动驾驶技术的演变颇为相似,均经历了从概念到现实的转变,并在技术产品创新和用户体验上不断取得突破。公司在大模型领域的领先地位得益于其前瞻性思维和创新能力,特别是在多模态大模型的研发上取得了显著成果。联汇科技的首席科学家赵天成博士认为,自主智能将成为第四次工业革命的核心变量,机器、软件和系统将被赋予前所未有的自主决策能力,开启新的效率和创新时代。
在2024年被誉为智能体元年的背景下,联汇科技发布了第二代多模态智能体OmAgent,其感知模块OmDet V2实现了全面加速,通过底层重构和一系列优化技术,实现了20倍以上的速度提升,为边缘AI和具身智能的发展提供了可能。OmDet V2的推理速度和精确分析能力使得单个GPU可以承载500路视频流的实时万物感知分析,摆脱了云端束缚,为人形机器人、家庭智算中心等前沿应用提供了强大的智能支持。
此外,联汇科技还发布了第二代思考大模型OmChat V2,这是一个基于多模态模型原生预训练的生成大模型,支持视频、图文混合、文字等多种复杂输入,能够非常好地支持智能体决策过程中所需要的复杂场景。OmChat V2在多个测试中表现出色,支持高达512K、50万的上下文长度,仅次于Google的Gemin-1.5,远超其他同类产品。
为了推动大模型与智能体技术的普惠落地,联汇科技还完成了与多款国产GPU的适配与性能验证,通过高效稀疏激活、动态专家方法等技术提升了推理效率20倍。Om OS大模型运行平台是首个支持多地域大模型分布式推理的平台,异构九头蛇推理能够提升算力利用率3倍。
联汇科技选择将OmAgent框架全面开源,以鼓励更多企业和开发者参与,通过知识共享和技术创新构建一个更加开放、丰富的智能体生态,带动整个行业的发展。OmAgent框架包含了感知、记忆、决策等综合模块,并整合了OmDet、OmChat等多个不同类型的大模型能力,极大地方便了企业与开发者的应用开发,推动智能体技术向更深层次、更广领域的赋能。
通过OmAgent,可以快速、准确地解决各类场景下的复杂问题,如从影视剧中找出某个问题的答案,尽管影片没有直接呈现答案,但OmAgent依然可以通过对全片的整体理解,掌握剧情并根据原片内容进行思考、作答。这标志着联汇科技在多模态智能体技术上取得了突破性成果,为构建更加智能、高效的应用场景提供了强有力的支持。
原文和模型
【原文链接】 阅读原文 [ 3771字 | 16分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★