谷歌开源最强端侧小模型：2B参数越级跑赢GPT-3.5-Turbo，苹果15Pro运行飞快
文章摘要
【关 键 词】 人工智能、模型优化、开源模型、安全分类器、模型可解释性
谷歌近期在人工智能领域取得了显著进展，特别是在开发高效且安全的AI模型方面。该公司开源了Gemma 2模型系列，包括9B和27B版本，并在对话任务中展现出超越规模更大的模型的性能。在此基础上，谷歌进一步推出了更轻量级的2B版本Gemma 2，以及两个新工具：安全内容分类器ShieldGemma和模型可解释性工具Gemma Scope。
Gemma 2 2B模型在参数数量只有20亿的情况下，在LMSYS Chatbot Arena的评分中达到了1130分，超越了GPT-3.5-Turbo和Mixtral-8x7b等模型。这一成果不仅展示了小型模型的潜力，还表明通过先进的训练技术和架构设计，可以在不牺牲性能的前提下减少模型规模。Gemma 2 2B模型的开源特性和对多种硬件平台的兼容性使其成为端侧模型的理想选择。
苹果机器学习研究团队的科学家Awni Hannun展示了Gemma 2 2B在iPhone 15 Pro上以4bit量化版本运行的情况，证明了其快速的运行速度。此外，Gemma 2 2B在处理一些大模型难以回答的问题（如”9.9和9.11谁大”）时表现出色。
谷歌的这一突破引发了业界对大语言模型（LLM）发展趋势的讨论。Lepton AI创始人贾扬清提出，LLM是否也会像卷积神经网络（CNN）一样，从追求规模转向追求效率。他回顾了CNN发展过程中从AlexNet到MobileNet的转变，并提出了对LLM未来发展的思考。
ShieldGemma是谷歌推出的一款先进的安全分类器，旨在检测和缓解AI模型输入和输出中的有害内容。它专注于仇恨言论、骚扰、色情内容和危险内容的检测，并提供了不同规模的模型以满足不同需求。ShieldGemma在性能上达到了行业领先水平，为开发者提供了负责任地部署AI模型的工具。
Gemma Scope则是一个模型可解释性工具，通过稀疏自编码器（SAE）技术，为研究人员和开发人员提供了对Gemma 2模型内部工作原理的深入洞察。Gemma Scope提供了超过400个免费的SAE，以及交互式演示和易于使用的存储库，帮助用户更好地理解模型的决策过程。
总体而言，谷歌在AI领域的这些新成果不仅推动了小型、高效模型的发展，还强调了模型安全性和可解释性的重要性。这些进展有望对人工智能领域产生深远影响，促进更安全、更可靠、更易于理解的AI系统的构建。
原文和模型
【原文链接】 阅读原文 [ 2300字 | 10分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
