随着 AI 的火热,眼看着之前调研的各家竞品 API 网关产品纷纷把自己的介绍改为 AI Gateway,于是就想调研一下这些所谓的 AI Gateway 究竟做了些啥。这次调研的对象有一些之前靠 API 网管或者云原生 Ingress Controller 起家加入 AI 功能的,例如:Kong,Gloo和Higress。也包括一些第一天就是借着 AI 起来的我认为真正 AI 原生的网关,例如Portkey和OneAPI。以及这篇博客介绍的基于公有云 Serverless 的Cloudflare AI Gateway。大体来看目前的 AI Gateway 主要能力在三个方面:常规 API 网关功能在 AI API 上的应用,例如:监控,日志,限速,反向代理,集成用户系统等。这些功能其实和 AI 关系不大就是把 LLM 的 API 当成了一个普通的 API 进行接入。部分 API 网关功能针对 AI 进行优化,例如限速功能增加基于 Token 的限速,缓存功能增加基于 Prompt 的缓存,防火墙基于 prompt 和 LLM 返回进行过滤,多个 LLM API Key 之间的负载均衡。这些功能在原有的 API 网关就存在类似的概念,不过在 AI 场景下又有了相应的扩展。基于 AI 应用的场景增加的新功能,例如部分 AI 网关增加了 Embedding 和 RAG 的功能,把向量数
...
继续阅读
(50)