iPhone可跑2B小钢炮！谷歌Gemma 2来袭，最强显微镜剖解LLM大脑

702 0 0

文章摘要

谷歌DeepMind发布了Gemma 2家族的三个新成员，包括Gemma 2 2B轻量级模型、ShieldGemma安全内容分类器和Gemma Scope可解释性工具。Gemma 2 2B虽然只有2.6B参数，但在性能上超越了参数更大的GPT-3.5和Mixtral 8x7B，在MMLU和MBPP基准测试中取得了优异成绩，性能比前代Gemma 1 2B提升了10%。Gemma 2 2B实现了性能与效率的平衡，适用于各种终端设备和云平台，通过NVIDIA TensorRT-LLM优化，支持多种硬件部署。

ShieldGemma是一个先进的安全分类器，专注于检测和减少仇恨言论、骚扰内容、露骨内容和危险内容等四个关键有害领域。它基于Gemma 2构建，提供了不同规模的模型参数，经过NVIDIA速度优化，适用于在线和离线应用。

Gemma Scope是一个开源稀疏自编码器，为研究人员和开发者提供了对Gemma 2模型内部运行机制的深入洞察。通过放大模型中的特定点，Gemma Scope使模型的内部工作更易于解释，提供了前所未有的透明度。Gemma Scope包括数百个适用于Gemma 2 9B和2B的免费开放稀疏自动编码器，专门设计的神经网络帮助解读由Gemma 2处理的密集、复杂信息。

Gemma Scope的创新点包括：
1. 开源SAEs：超过400个免费提供的SAEs，覆盖Gemma 2 2B和9B的所有层。
2. 互动演示：在Neuronpedia上无需编写代码，即可探索SAE功能，并分析模型行为。
3. 易于使用的资源库：提供与SAEs和Gemma 2交互的代码和示例。

Gemma Scope通过稀疏自编码器解读模型激活，发现一组潜在的特征，并将每个激活分解为少数几个特征。这有助于研究人员了解Gemma 2如何识别模式、处理信息、做出预测，从而构建更易理解、负责任和可靠的AI系统。谷歌DeepMind还发布了一份20页的技术报告，详细介绍了Gemma Scope的技术细节和应用案例。