AI 时代，网关更能打了？

404 0 0

文章摘要

网关在网络通信中扮演着关键角色，包括数据转发、协议转换、负载均衡、访问控制与身份验证、安全防护、内容审核以及服务和API的管控等。
随着互联网从Web 2.0时代向AI时代迈进，用户与互联网的交互方式以及内容生产流程发生了显著变化，对基础设施提出了新的诉求和机遇。
AI时代下，网关面临新的场景和需求，如长连接、高延时和大带宽等特征，传统网关如Nginx难以应对，新一代基于Envoy内核的开源网关应运而生。

Higress作为基于Envoy的开源网关，已经为多个AI业务提供网关流量接入。
Higress支持热更新配置，避免了传统网关配置变更导致的连接断开问题。
在安全和流量防护方面，Higress不仅支持传统限流能力，还引入了基于Token的细粒度管理，更准确地量化了LLM处理的数据量。
此外，Higress还提供了内容安全服务，保障生产内容的合规和安全。

面对AI场景下大带宽和高延时的流量特征，Higress基于Wasm的插件扩展机制支持对请求/响应的流式处理，降低了内存占用，提升了用户体验。
同时，Higress在多租能力方面也表现出色，支持海量域名和路由规则，实现了快速的路由生效和按需加载。

在AI时代，网关承载了更大的AI工程化使命，如MaaS/AGI接入层、AI应用层和企业内部系统对接等。
Higress在负载均衡、流量灰度和观测等方面发挥了关键作用。
随着国内大模型技术的发展，越来越多的AI应用将选择使用国内厂商的API，对网关提出了特定需求，如统一协议、内容安全和A/B测试等。

展望未来，AI将深刻改变互联网的发展。
从用户角度看，用户将通过AI更智能地参与互联网；从内容角度看，内容生产将同时服务于真实用户和AI。
AI时代的Web 2.0将基于理解互联网内容来识别页面中的”可操作能力”，完成复杂任务。
API将成为LLM应用的一等公民，API管理的重要性将愈发凸显。
网关应回归本质，帮助用户做好API的设计和管理，实现更智能化的流量治理。

AIGC技术正重塑创新边界，《大模型领航者AIGC实践案例集锦》电子书深度对话顶尖专家，展示大模型在多个行业的应用成果。
AICon全球人工智能大会聚焦大模型前沿议题，汇聚落地场景与最佳实践，帮助与会者把握AI时代先机。