Что это такое?
Free Router — локальный шлюз, совместимый с OpenAI, который направляет ваш клиент к бесплатным моделям любого настроенного вами провайдера с OpenAI-совместимым API, ранжирует их и автоматически переключается, когда один лимитирован по частоте, недоступен или не имеет ключа.
Free Router — локальный шлюз, совместимый с OpenAI, который направляет ваш клиент к бесплатным моделям любого настроенного вами провайдера с OpenAI-совместимым API, ранжирует их и автоматически переключается, когда один лимитирован по частоте, недоступен или не имеет ключа.Это хостинговый сервис или то, что я запускаю сам?Это самостоятельно размещаемый локальный сервер (приложение Node.js или Docker-контейнер), который вы запускаете на своей машине, а не облачный сервис.
Это самостоятельно размещаемый локальный сервер (приложение Node.js или Docker-контейнер), который вы запускаете на своей машине, а не облачный сервис.Как его запустить?Запустите на Node.js 20+: скопируйте .env.example в .env, добавьте хотя бы один ключ провайдера, затем стартуйте сервер; остановка — через ./stop.sh. Либо запустите через Docker Compose командой 'docker compose up -d'.
Запустите на Node.js 20+: скопируйте .env.example в .env, добавьте хотя бы один ключ провайдера, затем стартуйте сервер; остановка — через ./stop.sh. Либо запустите через Docker Compose командой 'docker compose up -d'.Что нужно перед запуском?Нужны Node.js 20 или новее (или Docker, если используете compose-вариант) и хотя бы один API-ключ от OpenAI-совместимого провайдера, предлагающего бесплатные модели.
Нужны Node.js 20 или новее (или Docker, если используете compose-вариант) и хотя бы один API-ключ от OpenAI-совместимого провайдера, предлагающего бесплатные модели.Что будет, если бесплатная квота провайдера исчерпается?Если настроенный провайдер лимитирован, недоступен или пуст, Free Router автоматически переключается на следующего в рейтинге; провайдер без настроенного ключа просто пропускается.
Если настроенный провайдер лимитирован, недоступен или пуст, Free Router автоматически переключается на следующего в рейтинге; провайдер без настроенного ключа просто пропускается.На каких платформах это можно запускать?Работает везде, где доступен Node.js 20+ или Docker, включая Linux, macOS и Windows.
Работает везде, где доступен Node.js 20+ или Docker, включая Linux, macOS и Windows.Как он выбирает, какую бесплатную модель использовать?Он ранжирует актуальные бесплатные модели у всех настроенных вами OpenAI-совместимых провайдеров и направляет к лучшей доступной, автоматически переключаясь при сбое.
Он ранжирует актуальные бесплатные модели у всех настроенных вами OpenAI-совместимых провайдеров и направляет к лучшей доступной, автоматически переключаясь при сбое.Можно ли направить на него мой существующий OpenAI-клиент?Да, поскольку он открывает OpenAI-совместимый API, достаточно направить любой имеющийся OpenAI-клиент на локальный эндпоинт Free Router вместо эндпоинта провайдера.
Да, поскольку он открывает OpenAI-совместимый API, достаточно направить любой имеющийся OpenAI-клиент на локальный эндпоинт Free Router вместо эндпоинта провайдера.Нужно ли настраивать каждого провайдера?Нет, достаточно добавить ключи для провайдеров, которых хотите использовать; провайдеры без настроенного ключа автоматически пропускаются.
Нет, достаточно добавить ключи для провайдеров, которых хотите использовать; провайдеры без настроенного ключа автоматически пропускаются.What are similar projects?gpt4free, OmniRoute, ds2api, one-api, casbin-gateway, bifrost, busbar, litellm
gpt4free, OmniRoute, ds2api, one-api, casbin-gateway, bifrost, busbar, litellmWhich topics is it in?failover, ai-gateway, load-balancer, openai-api, openai-compatible, proxy, docker-compose, free, api, terminal, server, llm
failover, ai-gateway, load-balancer, openai-api, openai-compatible, proxy, docker-compose, free, api, terminal, server, llm