AI网关：AI原生架构下的智能流量中枢

AI网关：AI原生架构下的智能流量中枢01020304AI网关的演进历程与核心特性Higress AI网关的落地实践HiMarket AI开放平台总结AI网关的演进历程与核心特性网关的演进历程单体架构垂直架构SOA 架构微服务架构云原生架构AI 原生架构流量网关（Nginx）微服务网关ESB云原生网关AI 网关KubernetesRuntimeLLM实现快、维护成本高模块化负载均衡服务管理、RPC技术高密度部署原子、自治按量使用、极致弹性AI应用、Agent、轻量AI网关是伴随 AI 应用快速发展的必然产物AI应用落地过程中的挑战模型集成工具调用安全合规稳定性保障• 多模型• 多模态• 多场景• 权限管理• 工具精准性• 存量API转换• API-KEY泄漏• 生成内容合规• 模型服务中断• 负载均衡• 可观测与告警• 成本失控Higress-AI网关的核心特性AI开发插件集AI安全防护多模型适配LLM缓存提示词模板提示词装饰器请求/响应转换向量检索内容审核插件Token限流插件Token配额插件AI代理插件协议转换多API Key管理FallbackLLM访问日志Token消费观测可用性告警可观测插件开发工具插件编程AI助手插件代码WebIDE通义 / 百炼 / PAI 内置 AI 网关，每天亿级多模态请求生产验证AI统计插件支持MCPMCP Servers ProxyMCP Server ConverterMCP Client身份认证MCP Server动态发现第三方 MCP Server 市场企业级 MCP Server 市场阿里云函数计算 MCP Server 市场AI AgentClaude Desktop ClineCursor通义灵码Custom AgentOpenAIGoogle GeminiLLMs通义千问DeepSeek…….DashVectorLindormPostgreSQL……向量数据库数据脱敏Higress AI网关的落地实践Higress AI网关的落地实践AI网关的可观测体系AI网关MCP代理AI网关LLMs代理AI网关的安全体系AI网关LLMs代理AI网关LLMs代理➢ 1. API-KEY的管理与分发➢ 2. 模型代理与Fallback➢ 3. 丰富的生态集成➢ 4. LLM可观测LLMs代理——基于Token的限流降级AI AgentBackend ServiceOpenAI Client提供丰富的限流策略➢ 基于消费者的限流➢ 基于模型的限流➢ 基于Query、Header、Cookie、IP的限流提供扩展点，接入Redis实现Token维度的限流能力HigressAI 网关➢成本管理➢资源管理➢用户分层➢防止恶意使用LLMs代理——语义化缓存AI AgentBackend ServiceOpenAI Client➢提高效率➢降低成本➢保持一致性向量数据库HigressAI 网关文本向量化服务未命中缓存，透传命中缓存，直接返回LLMs代理——高可用实践AI AgentBackend ServiceOpenAI ClientAI网关1. AI API维度配置Fallback策略➢ 开启Fallback：➢ 可以添加多个Fallback服务➢ 可以维护每个Fallback LLM服务的顺序➢ 开启首Token超时➢ 首Token超时后自动触发Fallback当请求自建 DeepSeek 异常报错时自建LLM服务Node4 1…….Node2 1Node1 1Node3 1服务健康探测，移除异常节点2. 服务维度配置健康检查策略➢ 主动健康检查：➢ 主动发送请求（TCP/HTTP GET）➢ 被动健康检查：➢ 基于实际流量的请求成功率动态分析节点的健康状态MCP的统一代理AI AgentClaude Desktop ClineCursor通义灵码Custom Agent统一对接MCP后端MCP服务夸克搜索（SSE）PostgreSQL（Streamable HTTP）自定义MCP（任意MCP框架）…企业现存REST APIHTTP ServiceHTTP Service统一对接MCP客户端HigressAI 网关REST to MCP协议转换直接代理REST to MCP：盘活存量资产REST to MCP能力可以将企业现存的海量RESTAPI一键转换为MCP Server。只需要使用Higress提供的工具和API的Swagger文件，就可以一键生成协议转换配置。MCP SSE状态会话负载均衡您的MCP服务在K8s集群中部署了多个实例，Higress网关可以将实例的地址信息编码后嵌入到返回用户的Session ID中。用户再次持有此Session ID请求时会从ID中解析出地址信息，再次路由会该实例。从而保证了SSE会话的一致性AI网关作为MCP的统一代理➢ 统一安全认证（API-KEY，Bearer，凭证透传）➢ 统一协议适配（协议卸载，SSE，Streamable HTTP）➢ 统一可观测（监控，限流，审计日志）MCP调用MCP优化与卸载AI AgentClaude Desktop ClineCursor通义灵码Custom AgentMCP服务夸克搜索（SSE）PostgreSQL（Streamable HTTP）自定义MCP（任意MCP框架）…企业现存REST APIHTTP ServiceHTTP ServiceHigressAI 网关REST to MCP协议转换直接代理响应调优：让LLM理解API基础调优 (prependBody)问题: 旧API返回{“succ”: true, “data”: {“p_name”: “...”, “p_id”: “...”}}, LLM完全无法理解p_name和p_id的含义。解决:通过Higress配置自动在响应前追加注释深度定制 (Template DSL)方案: 使用Higress的模板DSL和gjson路径表达式,对响应体进行"重塑"。效果: 通过Higress配置定义新结构,彻底丢弃原始的复杂JSON,转而返回一个LLM极易理解的清爽JSON。这不仅节省了Token,还从根本上杜绝了LLM的错误解读。协议卸载：智能翻译官问题：MCP生态存在两种传输协议:StreamableHTTP(无状态短连接)和SSE(有状态长连接)。这导致了客户端与服务端的"协议错配"。方案：网关可以把客户端的Streamable HTTP请求转换为SSE，让后端进行处理。价值：后端服务可以随意进行滚动更新、扩缩容,甚至实例重启,而客户端的连接完全不受影响。网关屏蔽了底层的复杂性,极大提升了系统的健壮性。SSEStreamable HTTP1. 响应调优2. 协议卸载MCP的身份认证和权限管控AI AgentClaude Desktop ClineCursor通义灵码Custom AgentMCP服务夸克搜索（SSE）PostgreSQL（Streamable HTTP）自定义MCP（任意MCP框架）…企业现存REST APIHTTP ServiceHTTP Service1. 客户端到MCP Server的认证Higr