国产端侧小模型超越 GPT-4V,「多模态」能力飞升

AIGC动态1个月前发布 aitechtalk
276 0 0
国产端侧小模型超越 GPT-4V,「多模态」能力飞升

 

文章摘要


【关 键 词】 具身智能ICRA会议AI模型端侧应用多模态能力

在近日的机器人学术会议ICRA 2024上,具身智能成为了热议话题,其中具身智能的应用,特别是AI大模型在消费级机器人领域的应用,引发了一个普遍的疑问:应该首先让模型适配终端,还是让终端适配模型?文章探讨了这一议题。

过去一年中,随着6B、7B等小模型的快速发展,以及MoE训练技术的日益成熟,AI模型在手机、学习机、平板电脑、机器人甚至汽车等终端应用上的可能性越来越大。这已成为一个清晰的行业趋势,但在系统整合上,不同话语体系间的博弈成为挑战。

文章指出,以机器人为例,算法层关注的是模型的简化,而硬件厂商关心的是模型能否适配自身产品。消费机器人的固定产品周期和硬件底层的芯片限制是模型适配的主要难题。此外,多模态能力成为了端侧大模型的关键需求

在这种背景下,文章提出了未来端侧大模型爆发的三大要素:满足产品形态与适配芯片的需求、具备多模态模型能力、在产品研发的长周期中保持价格优势。然而,能够兼顾这三者的团队寥寥无几。

文章特别提到了面壁智能发布的端侧多模态模型MiniCPM-Llama3-V 2.5,该模型在OCR能力、手机端突破、多语种支持等方面表现出色,甚至在多模态能力上超越了谷歌的Gemini Pro和OpenAI的GPT-4V。这一突破不仅体现了面壁智能在端侧模型的快速发展,也反映了其在实现更宏大AGI愿景上的努力。

文章最后强调了多模态模型在“识别”与“推理”能力上的重要性,并以MiniCPM-Llama3-V 2.5为例,展示了其在建筑图识别推理、手机图片信息提取、学术论文图表分析等方面的应用案例,表明了其在端侧模型领域的领先地位。

网易AI智能绘画

原文和模型


【原文链接】 阅读原文 [ 3850字 | 16分钟 ]
【原文作者】 AI科技评论
【摘要模型】 glm-4
【摘要评分】 ★★★★★

© 版权声明
讯飞星火大模型

相关文章

星火内容运营大师

暂无评论

暂无评论...