OpenAI闭门讨论：今天Agent落地的难点在哪里？

102 0 0

文章摘要

在OpenAI举办的一场关于管理自主AI系统（Agentic Systems）的活动中，与会者深入探讨了当前Agent项目面临的诸多挑战。讨论主要基于论文《Practices for Governing Agentic AI Systems》，该论文详细阐述了自主AI系统的治理实践。OpenAI并非因为技术水平不足而面临这些挑战，而是因为其更早地开始探索这些边界问题。这些问题不仅是OpenAI需要面对的，也是整个行业都将遇到的共同挑战。

在定义方面，Agent的概念已经严重泛化，不同人在讨论“Agent”时可能指的是完全不同的东西。通常，ChatGPT被视为一种AI应用，而GPTs这种定制化、能够调用外部功能并处理复杂任务的产品则被称为Agent。Agent与AI应用的主要区别在于“代理性”（agenticness），即AI系统在没有直接人类监督下运作的能力。代理性是一个连续体，其程度取决于系统在特定环境中的表现。正统的Agent不仅能回答问题，还能自主决定行动，甚至创造更多的AI帮手。然而，尽管Agent在理论上具有巨大潜力，但在实际落地中却面临诸多困难，如责任划分问题。

在落地难点方面，AI Agent的复杂性主要体现在其工作场景和任务的不确定性。例如，自动驾驶车辆在模拟环境中表现优异，但在现实世界中可能因不可预测的变量而表现不稳定。目前，尚缺乏有效的方法来准确评估AI Agent在实际环境中的性能。此外，AI Agent在执行高风险操作前需要获得用户的明确批准，但频繁的审批请求可能导致用户出现审批疲劳，从而削弱批准机制的效果。默认行为的确定也是一个挑战，频繁的请求可能会影响用户体验，因此需要在系统安全性和用户体验之间找到平衡。

推理透明展示是另一个重要问题，AI Agent需要向用户清晰展示其推理过程，但如果推理过程过于复杂，普通用户可能难以理解。因此，确保透明性和易理解性之间的平衡至关重要。此外，AI Agent的行为监控也是一个复杂问题，例如，一个用于监控仓库库存的AI系统如果误报商品缺货，可能导致库存严重积压。是否需要另一个Agent来监控这个Agent，以及如何计算成本，都是需要深入思考的问题。

在责任追究方面，如果匿名发布内容的AI Agent发布了违规内容，追踪到具体负责的人或机构可能极其困难。因此，建立一个能够确保责任可追溯的系统尤为关键，同时还需要平衡隐私保护和责任追究的需求。最后，在严重事故发生时，如何设计一个能够迅速且全面响应的紧急停止机制，以防止故障扩散或造成更大损失，是一项技术和策略上的复杂挑战。

总的来说，自主AI系统的治理和落地面临诸多复杂问题，需要行业共同努力，找到有效的解决方案。