端侧 AI 新篇章！商汤科技发布「速度最快」的端侧模型

949 0 0

文章摘要

商汤科技最近发布了新一代的端侧模型，名为日日新5.0大模型体系，其中SenseChat-Lite端侧模型表现尤为突出。该模型不仅在性能上全面领先所有开源的同级别模型，甚至在某些方面超越了Llama-2 7B模型。端侧大模型是运行在设备端的大型模型，参数量相对较小，可以直接利用端侧算力运行，具有在任何网络条件下生成回答、保护隐私、成本更低等优势。

端侧AI的快速响应和生成速度给人留下深刻印象。在中端平台上，商汤的模型能够实现每秒18.3字的生成速度，而在旗舰平台上，这一速度更是达到了每秒78.3字。此外，首次加载时间低于0.4秒，远低于云端大模型的响应速度。这种快速响应和生成速度不仅提升了用户体验，还为端侧AI打开了新的应用场景，如工作文件处理、无网络环境下的交流、儿童教育等。

SenseChat-Lite模型在生成能力方面也表现出色。在没有字数要求的情况下，模型能够生成一篇详尽的《红楼梦》读书笔记，显示出对故事走向、意义以及人物解读的深入理解。此外，模型还能够根据场景需求生成不同长度和风格的文案，如微博文案、淘宝评论、朋友圈文案等。

商汤科技还展示了端侧的多模态扩散模型能力，特别是在照片处理方面。AI扩图模型能够计算图片边界，生成无遮挡的图片，并重新调整图片比例，提升图片的美观度和分享性。这些功能在高通旗舰平台上的推理速度小于1.5秒，显示出端侧模型在速度上的优势。

端侧模型的智能性得益于商汤科技最新的数据清洗技术和优质数据。根据尺度定律，使用优质数据训练的小尺寸模型也能超越更大尺寸模型的智能能力。商汤提出的端云结合解决方案，能够使端侧模型在知识类、考试类、问答类场景中处理占比超过70%。

尽管云端模型已经非常强大，但端侧模型在生成速度快、断网条件下的生成能力以及对隐私的保护方面具有明显优势。这些优势使得端侧模型能够扩展出新的AI使用场景，如飞机上办公、无人区救生攻略查找、网络不佳时的翻译、儿童教育等。对于行业而言，端侧模型能够降低成本，提高用户活跃度和商业化能力，是AI普惠的重要路径。

商汤科技的端侧模型已经开始与包括小米小爱在内的多家头部厂商合作，未来将在更多智能硬件上实现智能体验。商汤的端侧模型不仅适用于多种芯片的手机，还可以在XR、车载等平台上使用，为设备提供从无到有的智能体验。随着端侧模型能力的不断增强，商汤科技在智能设备市场的前景广阔。