GPT-4化身黑客搞破坏，成功率87%！OpenAI要求保密提示词，网友复现ing

804 0 0

文章摘要

这篇文章介绍了伊利诺伊大学香槟分校研究团队最新的研究成果，他们设计了一个黑客智能体框架，测试了包括GPT-4、GPT-3.5和其他开源模型在内的10个模型。研究结果显示，只有GPT-4能够在阅读CVE漏洞描述后学会利用漏洞进行攻击，成功率达87%，而其他模型的成功率为0。研究人员设计了一个黑客智能体架构，使用LangChain的ReAct智能体框架，让大模型模拟攻击。在实验中，他们收集了15个真实世界的One-Day漏洞数据集，包括网站、容器管理软件和Python包的漏洞，其中8个被评为高级或关键严重漏洞。研究人员还评估了使用GPT-4智能体攻击漏洞的成本，每次成功利用漏洞的平均成本约为8.8美元。

研究表明，GPT-4能够利用真实的单日漏洞，成功率高达87%。智能体在执行双花攻击时还考虑了并发攻击的情况和相应的响应策略。研究人员还发现，GPT-4能够在33.3%的情况下正确识别出存在的漏洞，但只能利用其中的一个。另外，研究人员调整了智能体架构，去掉了CVE的描述，结果GPT-4的成功率从87%下降到了7%。此外，研究人员还评估了使用GPT-4智能体攻击漏洞的成本，每次成功利用漏洞的平均成本约为8.8美元。

在网友的讨论中，有人认为这项研究有些夸张，因为测试的15个漏洞中有5个是容易被攻破的XSS漏洞。有人表示自己有过类似成功的经验，只需要给GPT-4和Claude一个shell和一个简单的提示词。另外，有人建议补充测试，例如提供Metasploit和发布到PacketstormSecuity的内容，以测试智能体在没有风险缓解措施的情况下的表现。一些人担心这项研究可能会让脚本小子更加兴奋，也让公司更加重视安全问题。考虑到OpenAI已经知晓了这项研究，可能会有相应的安全提升措施。