OmniRoute
OmniRoute - это движок Chat поверх OmniRoute, OpenAI-совместимого шлюза, который
стоит перед большим каталогом моделей и имеет собственные комбинации auto/*,
выбирающие модель за вас, в Chat - /chat?engine=omniroute.
Что делает
Заголовок раздела «Что делает»Показывает все модели, которые объявляет шлюз (поле поиска фильтрует зачастую длинный список), либо оставляет auto, чтобы выбирал сам шлюз. Строка состояния показывает, сколько моделей доступно, или offline, если шлюз или ключ отсутствуют; Re-check проверяет заново. OmniRoute замыкает группу Agents во флоте - он маршрутизирует к моделям, а не сам служит одной из них, - поэтому стоит рядом с PROVIDERS, а не среди вендоров.
Настройка
Заголовок раздела «Настройка»OmniRoute - форк 9router, работающий как отдельный сервис на :20128; установщик
автозапуска M.A.V.E.N регистрирует его systemd-юнит. Задайте OMNIROUTE_API_KEY в
Settings → Secrets (и OMNIROUTE_BASE, если размещаете его в другом месте), затем
нажмите Re-check. Собственный дашборд шлюза встроить нельзя; откройте его в
отдельной вкладке.
Как пользоваться
Заголовок раздела «Как пользоваться»- Выберите OmniRoute в строке движков.
- Выберите модель или комбинацию
auto/*. - Отправьте; Stop прерывает медленный ответ.
- OmniRoute - это провайдер, отдельный от собственной маршрутизации моделей M.A.V.E.N (Settings → Model routing); этот движок обращается к нему напрямую.
- Комбинации
auto/*удобны, когда вам не важно, какая именно модель отвечает, - важно лишь, чтобы она была хорошей. - Он доступен в M.A.V.E.N, но намеренно отсутствует в Chat M.A.V.E.N Teams, где маршрутизатор в списке движков сделал бы вопрос «с какой моделью я разговариваю» неоднозначным.