文章摘要
【关 键 词】 端侧AI、长文本处理、智能助手、隐私保护、机器人应用
面壁智能公司近期发布了其最新的端侧基座模型MiniCPM 3.0，该模型在参数量仅为4B的情况下，宣称性能超越了ChatGPT-3.5 Turbo。这一进展标志着端侧AI技术的重要突破，尤其是在长文本处理、函数调用、RAG技术等方面。MiniCPM 3.0采用了长文本分帧处理技术，能够处理无限长的文本，同时保持模型性能不下降，这对于需要处理大量数据的端侧应用，如总结类应用，是一个巨大的利好。
端侧AI模型，即完全依赖设备端算力运行的大模型，曾被视为AI普及的关键。尽管今年大模型成本降低，端侧模型的关注度有所下降，但其在智能设备和机器人领域的应用潜力依然被看好。面壁智能的CEO李大海在接受采访时表示，端侧模型在智能终端助手中的应用仍然广泛，尤其是在手机、PC、汽车车机端等内置助手上，尽管目前更多地采取端云协同的方式。
面壁智能的模型是开源的，其进步得益于内部的第五代训练技术，该技术在数据清洗、学习策略和配比策略上进行了优化。在智能设备厂商中，端侧模型因其能够更激进地使用用户本地隐私数据而变得不可或缺。然而，对于APP开发者来说，适配端侧模型仍然面临挑战，尤其是在不同配置的手机上部署模型。
在智能硬件创业领域，使用端侧大模型的创业者较少，主要原因是云端模型的成本已经降低，且能力上仍然具有优势。不过，一些公司可能会选择在内部应用中使用端侧模型，以实现内容分类、信息提取等功能，同时降低成本。面壁智能的定位是专注于端侧模型，这在智能设备公司中是一种刚需，因为设备厂商通常只能选择一家端侧模型提供商。
李大海还提到，机器人可能是端侧大模型的另一个有潜力的应用场景，因为机器人在大规模普及后可能更需要低时延、不受网络问题影响的大模型反馈。尽管如此，目前与机器人企业的合作仍处于探索阶段。面壁智能对商业模式持乐观态度，认为其服务的场景趋同，产品将逐步标准化，从而避免陷入SaaS领域B端服务的困境。
原文和模型
【原文链接】 阅读原文 [ 2173字 | 9分钟 ]
【原文作者】 极客公园
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
