ChatGPT参数规模被扒：只有7B

模型信息

【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★★☆☆

文章摘要

【关 键 词】 攻击、参数规模、透明度、安全性、供应链

这篇文章报道了南加州大学团队对ChatGPT进行攻击并揭露其参数规模的研究成果。他们使用一种攻击方法，仅花费不到1000美元就成功挖出了最新版gpt-3.5-turbo模型的机密，发现其嵌入向量维度为4096或4608，参数规模很可能只有7B。这一发现引发了对OpenAI模型优化能力的讨论，尤其是在之前有关GPT-3.5模型参数为20B的信息被删除后。南加大团队通过揭示Softmax瓶颈的存在，成功撬开ChatGPT的保护壳，从API调用中获取足够多的输出样本，推断出大模型的特征向量维度，进而推断参数规模、还原概率输出、发现API更新变化以及判断模型来源。他们认为这种攻击虽然有一定破坏性，但也有助于建立大模型供应商和客户之间的信任，促使大模型公司提供更高的透明度。南加大团队还探讨了目前几种应对这种攻击的方法，认为这些方法要么消除了大模型的实用性，要么实施成本高昂。总的来说，他们认为这种攻击对于大模型领域是一个feature而非bug。整体而言，这项研究揭示了对ChatGPT等现代语言模型的攻击方法，以及对大模型供应链透明度和安全性的重要性。

原文信息

【原文链接】 阅读原文
【阅读预估】 884 / 4分钟
【原文作者】 量子位
【作者简介】 追踪人工智能新趋势，关注科技行业新突破