OmniRoute
OmniRoute - это движок Чата поверх OmniRoute, OpenAI-совместимого шлюза, который
стоит перед большим каталогом моделей и имеет собственные комбинации auto/*,
выбирающие модель за вас, в Чате - /chat?engine=omniroute.
Что делает
Заголовок раздела «Что делает»Показывает все модели, которые объявляет шлюз (поле поиска фильтрует зачастую длинный список), либо оставляет auto, чтобы выбирал сам шлюз. Строка состояния показывает, сколько моделей доступно, или offline, если шлюз или ключ отсутствуют; Re-check проверяет заново. OmniRoute замыкает группу Agents во флоте - он маршрутизирует к моделям, а не является одной из них, - поэтому стоит рядом с PROVIDERS, а не среди вендоров.
Настройка
Заголовок раздела «Настройка»OmniRoute - форк 9router, работающий как отдельный сервис на :20128; установщик
автозапуска M.A.V.E.N регистрирует его systemd-юнит. Задайте OMNIROUTE_API_KEY в
Settings → Secrets (и OMNIROUTE_BASE, если размещаете его в другом месте), затем
нажмите Re-check. Собственный дашборд шлюза встроить нельзя; откройте его в
отдельной вкладке.
Как пользоваться
Заголовок раздела «Как пользоваться»- Выберите OmniRoute в строке движков.
- Выберите модель или комбинацию
auto/*. - Отправьте; Stop прерывает медленный ответ.
- OmniRoute - это провайдер, отдельный от собственной маршрутизации моделей M.A.V.E.N (Settings → Model routing); этот движок обращается к нему напрямую.
- Комбинации
auto/*удобны, когда вам не важно, какая именно модель отвечает, - важно лишь, чтобы она была хорошей. - Он доступен в M.A.V.E.N, но намеренно отсутствует в Чате M.A.V.E.N Teams, где маршрутизатор в списке движков сделал бы вопрос «с какой моделью я разговариваю» неоднозначным.