Что это?
Это набор Python-скриптов, которые прощупывают эндпоинты моделей, совместимые с OpenAI API, чтобы проверить, не является ли модель «маскированной» (помеченной другой архитектурой, чем она есть на самом деле). Каждый скрипт получает список моделей, запускает проверку личности/логики и печатает сводку.
Это набор Python-скриптов, которые прощупывают эндпоинты моделей, совместимые с OpenAI API, чтобы проверить, не является ли модель «маскированной» (помеченной другой архитектурой, чем она есть на самом деле). Каждый скрипт получает список моделей, запускает проверку личности/логики и печатает сводку.Это один инструмент или набор отдельных скриптов?Это три самостоятельных Python-скрипта, а не единый CLI-инструмент: каждый запускается отдельно и нацелен на свой сценарий проверки (одиночная модель, InferHub или CFRouter).
Это три самостоятельных Python-скрипта, а не единый CLI-инструмент: каждый запускается отдельно и нацелен на свой сценарий проверки (одиночная модель, InferHub или CFRouter).Как это настроить?Скопируйте .env.example в .env и задайте переменные вручную. На Windows PowerShell не подгружает .env-файлы автоматически, поэтому перед запуском скрипта нужно выставить переменные окружения самому.
Скопируйте .env.example в .env и задайте переменные вручную. На Windows PowerShell не подгружает .env-файлы автоматически, поэтому перед запуском скрипта нужно выставить переменные окружения самому.Нужен ли API-ключ для запуска?Да, нужны совместимый с OpenAI API-ключ и URL эндпоинта; они читаются из переменной окружения, а не зашиты в скрипт.
Да, нужны совместимый с OpenAI API-ключ и URL эндпоинта; они читаются из переменной окружения, а не зашиты в скрипт.Запуск этих проверок что-то стоит?Да, каждая проверка отправляет реальный запрос инференса на целевой эндпоинт, что может расходовать вашу квоту или тариф у провайдера.
Да, каждая проверка отправляет реальный запрос инференса на целевой эндпоинт, что может расходовать вашу квоту или тариф у провайдера.Безопасно ли направлять это на любой эндпоинт?Нет, тестировать следует только те эндпоинты и API-ключи, которыми вы владеете или на проверку которых у вас есть явное разрешение; никогда не коммитьте свой настоящий .env или ключ.
Нет, тестировать следует только те эндпоинты и API-ключи, которыми вы владеете или на проверку которых у вас есть явное разрешение; никогда не коммитьте свой настоящий .env или ключ.Что означает «маскировка» в этом контексте?Это когда модель помечена неверно или ребрендирована — например, провайдер выдаёт модель за DeepSeek, а она фактически отвечает как GPT. Скрипты выявляют это, сравнивая семейство моделей из метки с тем, что модель говорит о себе в проверке личности.
Это когда модель помечена неверно или ребрендирована — например, провайдер выдаёт модель за DeepSeek, а она фактически отвечает как GPT. Скрипты выявляют это, сравнивая семейство моделей из метки с тем, что модель говорит о себе в проверке личности.В чём разница между тремя скриптами?cekmodelfast.py позволяет выбрать одну модель и запускает проверку личности/логики с предупреждением о несовпадении; cekmodelwwaiting.py проверяет все модели InferHub с повторными попытками; cekmodelwaiting3s.py проверяет все модели CFRouter с задержкой между запросами.
cekmodelfast.py позволяет выбрать одну модель и запускает проверку личности/логики с предупреждением о несовпадении; cekmodelwwaiting.py проверяет все модели InferHub с повторными попытками; cekmodelwaiting3s.py проверяет все модели CFRouter с задержкой между запросами.Как он обнаруживает несовпадение?cekmodelfast.py печатает предупреждение «ARCHITECTURE MISMATCH / SUSPECT», когда семейство модели, подразумеваемое её меткой (например, DeepSeek), отличается от семейства, которое модель называет в ответе на проверку личности (например, GPT).
cekmodelfast.py печатает предупреждение «ARCHITECTURE MISMATCH / SUSPECT», когда семейство модели, подразумеваемое её меткой (например, DeepSeek), отличается от семейства, которое модель называет в ответе на проверку личности (например, GPT).What are similar projects?iFixAi, jevlint, pyinstaller, aichat, strix, dingtalk-workspace-cli, crush, promptfoo
iFixAi, jevlint, pyinstaller, aichat, strix, dingtalk-workspace-cli, crush, promptfooWhich topics is it in?llm-security, openai-api, script, llms, python3, cli-tool, inference, testing, openai, command-line-tool, security, api
llm-security, openai-api, script, llms, python3, cli-tool, inference, testing, openai, command-line-tool, security, api