大模型时代，企业安全建设如何升级？安全人员饭碗不保了吗？

200 0 0

文章摘要

随着AI大模型在安全领域的应用日益广泛，其在处理大量安全数据、模式识别和实时威胁情报分析方面展现出巨大潜力。然而，大模型也带来了新的挑战，如生成有害内容、泄露敏感数据等问题。在这一背景下，企业如何建立合规框架和监管机制，成为业界关注的焦点。

百度杰出架构师包沉浮和雾帜智能联合创始人傅奎在QCon全球软件开发大会2024上海站前夕的讨论中，分享了他们对大模型时代企业安全建设的看法。他们认为，尽管大模型在可解释性和安全性方面有所提升，但仍需对技术保持敬畏之心。在实际应用中，大模型在告警研判、事件处理等关键场景中的效果参差不齐，需要结合人工干预以提高准确性和可靠性。

在数据安全方面，百度推荐私有化部署方案，并采用数据脱敏技术保护隐私。同时，百度也在探索隐私计算等技术，以实现在不泄露隐私的前提下有效应用大模型。在自动化和人工干预的平衡方面，包沉浮认为，虽然零值守是一个可实现的方向，但目前百度还没有这样的目标。他强调，要实现这一目标，需要明确每个步骤的预期结果和质量标准，并在技术层面和组织信任方面克服挑战。

傅奎则指出，业界安全领域运营的趋势和痛点包括如何将专家经验有效传承和分享，以及攻防技术的探索空间。他认为，大模型技术有望改变行业的知识管理方式，并在攻防领域展现跨领域技术融合的可能性。

面对生成式人工智能大模型的技术、法律和监管风险，包沉浮表示，政府和相关部门制定的法律法规和监管措施是必要的。在具体工作层面，百度从基础设施安全、数据安全、模型本身的安全性等多个维度着手，以确保大模型的安全应用。

最后，关于大模型对安全人员就业的影响，傅奎认为，短期内人类和机器将有一段时间的协作，而包沉浮则认为，安全人员不太可能是第一批被取代的，因为只要技术存在，安全问题就会一直存在，带来更多的机会。他们还讨论了Open AI的O1模型对安全领域的启示和机会，认为O1的思维链过程为训练出能够像安全专家那样工作的模型提供了可能性。