社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

21K Star!登上 GitHub 趋势榜 Top3 的 AI 网关项目!

开源星探 • 4 周前 • 139 次点击  

 

前段时间刷 GitHub 时,我发现了一个叫 OmniRoute 的项目,一下子就被吸引住了。

这个项目的核心口号是"Never stop coding"——永不停止编码。

它通过一个端点连接 237 个 AI 提供商,其中 90+ 个是免费的。更厉害的是,它还能自动故障转移,当一个提供商配额用完时,毫秒级切换到下一个。

什么是 OmniRoute?

OmniRoute 是一个开源的 AI 网关项目,由开发者 diegosouzapw 发起。

它的核心思想很简单:把所有 AI 提供商都统一到一个 OpenAI 兼容的端点下,让你的任何 AI 工具都能无缝对接。

只需要配置一个本地网关,然后把 Claude Code、Cursor、Cline、Copilot 等所有工具都指向这个网关。

网关会根据你的设置,智能选择最优的 AI 提供商——可以是最快的、最便宜的、质量最好的,也可以是配额最充足的。

当某个提供商出问题或配额用完时,它会自动切换到备用方案,整个过程对你完全透明。

核心亮点

免费Tokens池

这可能是 OmniRoute 最吸引人的地方。

它聚合了 40+ 个提供商池、500+ 个模型的免费额度。

很多服务商共享同一个免费池,如果简单相加会严重夸大。OmniRoute 只计数一次,确保数字真实可信。

4层自动故障转移

OmniRoute 设计了一套聪明的 4 层故障转移机制:

  1. 1. 订阅层:优先使用你付费订阅的服务商(如 Claude Code、Codex、Copilot)
  2. 2. API Key 层:当订阅配额用完时,自动切换到你配置的 API Key 提供商
  3. 3. 便宜层:使用成本极低的模型(如 GLM,$0.5/1M tokens)
  4. 4. 免费层:最后兜底,使用永久免费的提供商

整个切换过程在毫秒级完成,你甚至感觉不到任何中断。

15-95% Token 压缩

AI 编码时,工具输出(如 git diff、日志、grep 结果)往往占据大量 tokens,但这些内容对模型来说并不需要完整处理。

OmniRoute 集成了 RTK + Caveman 压缩技术,可以智能过滤和压缩这些内容,平均节省 15-95% 的 tokens。

17种路由策略

OmniRoute 提供了 17 种路由策略,可以根据不同场景灵活组合:

  • • priority:按优先级顺序使用,用尽一个再切换下一个
  • • cost-optimized:自动选择成本最低的模型
  • • headroom:优先选择配额最充足的提供商
  • • lkgp:优先使用最近成功的提供商(Last-Known-Good Path)
  • • fusion:并行请求多个模型,由"裁判"模型综合最优答案

你可以根据自己的需求,构建适合的"combo"组合。

内置 MCP 服务器

OmniRoute 内置了 MCP(Model Context Protocol)服务器,支持 95 个工具和 30 个权限范围。

快速上手

安装方式

OmniRoute 支持多种安装方式,最简单的是通过 npm:

npm install -g omniroute

也可以用 Docker:

docker run -p 20128:20128 diegosouzapw/omniroute

或者下载 Electron 桌面应用(支持 Windows、macOS、Linux)。

启动服务

安装完成后,启动服务:

omniroute start

服务默认运行在 http://localhost:20128/v1

配置工具

将你的 AI 编码工具指向 OmniRoute 端点:

  • • Claude Code:在设置中配置 API Base URL 为 http://localhost:20128/v1
  • • Cursor:在设置中配置自定义 API 端点
  • • 其他工具:类似配置 OpenAI API 的方式,将 base URL 指向本地网关

使用 Auto 模式

最简单的方式是使用 auto 模式。在工具中选择模型为 auto,OmniRoute 会自动构建虚拟组合并实时评分:

auto/coding    # 代码生成优化
auto/fast      # 最低延迟优先
auto/cheap     # 最低成本优先
auto/offline   # 配额最充足优先
auto/smart     # 质量优先 + 10% 探索

自定义 Combo

你也可以在仪表盘中创建自定义的 combo,指定路由策略和提供商顺序。例如:

Combo: "always-on"
Strategy: priority
1. cc/claude-code       # 订阅层:Claude Code
2. cx/copilot           # 备用订阅:GitHub Copilot
3. ds/deepseek-chat     # 便宜层:DeepSeek
4. kg/kilo-code         # 免费层:Kilo Code

写在最后

OmniRoute 是一个非常实用的工具,它解决了开发者在使用 AI 工具时最头疼的几个问题:

  1. 1. 成本控制:通过聚合免费额度和智能路由,大幅降低 AI 使用成本
  2. 2. 高可用性:自动故障转移确保不会因为配额问题中断工作
  3. 3. 简化管理:一个端点管理所有 AI 提供商,告别多个控制台

它完全开源免费,零成本启动,说不定能帮你省下一大笔开支。

项目地址https://github.com/diegosouzapw/OmniRoute

官网https://omniroute.online

 







如果本文对您有帮助,也请帮忙点个 赞👍 + 在看 哈!❤️

在看你就赞赞我!

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/199037