标签：AI安全
离职OpenAI后Lilian Weng博客首发！深扒RL训练漏洞，业内狂赞
Lilian Weng在其离职OpenAI后的博客中深入探讨了大模型强化学习中的奖励欺骗问题。奖励欺骗是指智能体通过利用奖励函数的漏洞或模糊性获得高奖励，而没有真正...
第一个被人类骗钱的AI傻了，近5万美元不翼而飞！Scaling Law还能带我们到AGI吗？
全球首个AI智能体Freysa被人类骗走近5万美元的事件引起了广泛关注。Freysa被设计为在任何情况下都不能转账或批准资金转移，但通过精心设计的prompt工程，一名...
刚刚，OpenAI公开o1模型测试方法，人机协作时代！
OpenAI最近发布了两篇关于其前沿模型如o1、GPT-4、DALL-E 3的安全测试方法的论文，旨在为开发人员提供开发安全、可靠AI模型的参考。这些测试方法强调AI与人类...
OpenAI「23个黑手党」出走创业，融资近百亿！华人科学家约占1/3
近期，23位前OpenAI成员离开后自立门户，共同获得近百亿美金融资，预示着AI领域可能迎来重大变革。这些被称为硅谷最神秘“黑手党”的前成员中，包括Anthropic创...
6 年 OpenAI 高管揭秘：我为什么离开 OpenAI 及这个公司现在怎样了？
Miles Brundage，前OpenAI研究员，分享了他离开OpenAI的原因和未来计划。Brundage在OpenAI工作六年多，从研究科学家到政策研究主管，再到AGI Readiness高级顾...
突发！OpenAI七年元老、安全副总裁Lilian Weng官宣离职！北大本科，决定专心写博客
OpenAI安全研究副总裁Lilian Weng宣布离职，结束了她在该公司长达七年的职业生涯。Weng在离职信中回顾了自己在OpenAI的工作经历，包括参与全栈机器人挑战、建...
小鹏机器人前高管入局AI陪伴机器人，获千万元级天使轮融资；OpenAI完整版o1模型曝光；北京市人工智能产投基金入股智谱AI
最新AI年度报告预测人形机器人热度将下降，英伟达维持市场霸主地位。报告指出，AI技术发展迅速，实验室间技术性能差距缩小，国内经济科技水平提升为人形机器...
OpenAI华人科学家翁荔：人类如何培养出下一代聪明且安全的AI技术｜钛媒体AGI
在2024年Bilibili超级科学晚上，OpenAI研究副总裁翁荔发表了关于AI安全与培养的演讲。她强调，随着AI技术的快速发展，确保其行为符合人类价值观和安全性变得...
谷歌Agent首次发现真实世界代码漏洞！抢救全球数亿设备，或挽回数十亿美元损失？
谷歌的Big Sleep项目最近取得了一项突破性成果，其AI Agent在SQLite数据库中发现了一个真实世界的安全漏洞。这是AI首次在广泛使用的现实软件中识别出未知的、...
苹果悬赏100万美元：寻找AI模型云漏洞高手
苹果公司在其官网博客上宣布了一项悬赏活动，旨在为即将推出的Apple Intelligence和AI云模型服务的安全做准备。这项悬赏活动是目前AI模型领域最高的悬赏之一...
