极客说｜AIGC？安全的才是最好的

351 0 0

文章摘要

本文介绍了AI内容安全（AI Content Safety）的概念，即利用技术对AI生成的内容进行审核和监测，以识别和屏蔽不当、违规或有害信息。文章通过Azure的相关能力，指导读者构建一个AI内容安全系统，并进行概念验证（PoC）。内容涵盖环境准备、视频过滤、图像过滤和文本过滤的代码示例，并展示如何运行这些脚本并理解它们的输出结果。

环境准备部分，首先需要克隆代码库并设置环境变量，包括Azure密钥和认知服务端点。视频过滤方面，使用`sample_analyze_video.py`脚本，对视频内容进行筛查和过滤，分析视频帧中是否包含仇恨、自残、色情和暴力等不当内容。图像过滤使用`sample_analyze_image.py`脚本，分析图像中是否包含上述不当内容。文本过滤则使用`sample_manage_blocklist.py`脚本，通过自定义黑名单词汇对文本内容进行过滤。

文章强调，AI内容安全技术可以帮助保护用户体验，增强企业品牌形象，避免合规风险。通过构建和运行这些脚本，可以快速验证AI内容安全系统的概念，并为实际应用打下基础。