ChatGPT参数规模被扒:只有7B

AIGC动态9个月前发布 QbitAI
894 0 0

模型信息


【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★★☆☆

ChatGPT参数规模被扒:只有7B
 

文章摘要


【关 键 词】 攻击参数规模透明度安全性供应链

这篇文章报道了南加州大学团队对ChatGPT进行攻击并揭露其参数规模的研究成果。他们使用一种攻击方法,仅花费不到1000美元就成功挖出了最新版gpt-3.5-turbo模型的机密,发现其嵌入向量维度为4096或4608,参数规模很可能只有7B。这一发现引发了对OpenAI模型优化能力的讨论,尤其是在之前有关GPT-3.5模型参数为20B的信息被删除后。南加大团队通过揭示Softmax瓶颈的存在,成功撬开ChatGPT的保护壳,从API调用中获取足够多的输出样本,推断出大模型的特征向量维度,进而推断参数规模、还原概率输出、发现API更新变化以及判断模型来源。他们认为这种攻击虽然有一定破坏性,但也有助于建立大模型供应商和客户之间的信任,促使大模型公司提供更高的透明度。南加大团队还探讨了目前几种应对这种攻击的方法,认为这些方法要么消除了大模型的实用性,要么实施成本高昂。总的来说,他们认为这种攻击对于大模型领域是一个feature而非bug。整体而言,这项研究揭示了对ChatGPT等现代语言模型的攻击方法,以及对大模型供应链透明度和安全性的重要性。

原文信息


【原文链接】 阅读原文
【阅读预估】 884 / 4分钟
【原文作者】 量子位
【作者简介】 追踪人工智能新趋势,关注科技行业新突破

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...