1.7K ·GitHub
Что это?
ModelTrace — запускаемый локально инструмент активной атрибуции моделей: он отправляет три фиксированных challenge-промпта целевой модели, извлекает отпечаток вывода и сопоставляет его с библиотекой известных моделей, чтобы угадать семейство и конкретную версию модели.
ModelTrace — запускаемый локально инструмент активной атрибуции моделей: он отправляет три фиксированных challenge-промпта целевой модели, извлекает отпечаток вывода и сопоставляет его с библиотекой известных моделей, чтобы угадать семейство и конкретную версию модели.Это приложение, которое я устанавливаю, или просто страница, которую я открываю?Это статическая страница без бэкенда (static/index.html, развёрнутая также на GitHub Pages) плюс опциональный плагин для Codex под названием ModelTrace Guard, который ведёт фоновый мониторинг внутри сессий Codex.
Это статическая страница без бэкенда (static/index.html, развёрнутая также на GitHub Pages) плюс опциональный плагин для Codex под названием ModelTrace Guard, который ведёт фоновый мониторинг внутри сессий Codex.Как провести тест?Откройте сайт GitHub Pages или локальный static/index.html. Для ручного тестирования скопируйте три challenge-промпта в целевую модель и вставьте обратно её ответы; для автоматического введите Base URL, API Key и имя модели — запросы он выполнит сам.
Откройте сайт GitHub Pages или локальный static/index.html. Для ручного тестирования скопируйте три challenge-промпта в целевую модель и вставьте обратно её ответы; для автоматического введите Base URL, API Key и имя модели — запросы он выполнит сам.Нужен ли API-ключ для использования?Только для режима автоматического тестирования, который поддерживает совместимые эндпоинты OpenAI Chat Completions и Anthropic Messages. Ручному тестированию ключ не нужен вообще — ответы модели вы вставляете сами.
Только для режима автоматического тестирования, который поддерживает совместимые эндпоинты OpenAI Chat Completions и Anthropic Messages. Ручному тестированию ключ не нужен вообще — ответы модели вы вставляете сами.Всегда ли он правильно определяет модель?Нет — результаты лишь вероятности в рамках текущей библиотеки отпечатков, а не доказательство. Модель, которой нет в библиотеке, всё равно будет сопоставлена с ближайшей известной, так что незнакомая модель может дать уверенно выглядящий, но неверный результат. Системные промпты тоже сильно искажают результаты, поэтому тестирование именно внутри Claude Code заведомо ненадёжно.
Нет — результаты лишь вероятности в рамках текущей библиотеки отпечатков, а не доказательство. Модель, которой нет в библиотеке, всё равно будет сопоставлена с ближайшей известной, так что незнакомая модель может дать уверенно выглядящий, но неверный результат. Системные промпты тоже сильно искажают результаты, поэтому тестирование именно внутри Claude Code заведомо ненадёжно.Он работает только в браузере или что-то нужно устанавливать?Он полностью работает в браузере, бэкенд не нужен для ручного/API-режимов; только плагин Codex Guard нужно установить внутрь Codex CLI.
Он полностью работает в браузере, бэкенд не нужен для ручного/API-режимов; только плагин Codex Guard нужно установить внутрь Codex CLI.Что на самом деле делает плагин Codex ModelTrace Guard?Он мониторит выполняющуюся задачу Codex в фоне, периодически форкая замороженный снимок задачи, чтобы запускать обычные и повторные пробы, не блокируя основную задачу, и молча логирует согласованные результаты, предупреждая и приостанавливая агента при повторяющихся несоответствиях.
Он мониторит выполняющуюся задачу Codex в фоне, периодически форкая замороженный снимок задачи, чтобы запускать обычные и повторные пробы, не блокируя основную задачу, и молча логирует согласованные результаты, предупреждая и приостанавливая агента при повторяющихся несоответствиях.Что сейчас есть в библиотеке отпечатков?Два семейства моделей, всего 17 моделей: данные GPT, собранные с официальной подписки Codex, и данные Claude, собранные через OAIPro.
Два семейства моделей, всего 17 моделей: данные GPT, собранные с официальной подписки Codex, и данные Claude, собранные через OAIPro.Как алгоритм атрибуции оценивает модель?Все модели делят одно глобальное пространство признаков; инструмент проецирует наружу оценённое направление помех, оценивает три ответа относительно центра каждой модели, усредняет оценки и переводит их в вероятности глобальным softmax с калибровочной температурой.
Все модели делят одно глобальное пространство признаков; инструмент проецирует наружу оценённое направление помех, оценивает три ответа относительно центра каждой модели, усредняет оценки и переводит их в вероятности глобальным softmax с калибровочной температурой.Что вдохновило этот проект?Автор ссылается на hanlinwenyuan/hlwy-ai-checker — более ранний проект, использовавший смещение генерации случайных чисел LLM для проверки согласованности сторонних API-каналов.
Автор ссылается на hanlinwenyuan/hlwy-ai-checker — более ранний проект, использовавший смещение генерации случайных чисел LLM для проверки согласованности сторонних API-каналов.What are similar projects?lm-detector, Ai-jailbreak, wardrobe, strix, promptfoo, repomix, ai-guide, ruflo
lm-detector, Ai-jailbreak, wardrobe, strix, promptfoo, repomix, ai-guide, rufloWhich topics is it in?fingerprinting, detection, analysis, llm-security, github-pages, ai-security, statistics, ai-tools, gpt, reverse-engineering, artificial-intelligence, testing
fingerprinting, detection, analysis, llm-security, github-pages, ai-security, statistics, ai-tools, gpt, reverse-engineering, artificial-intelligence, testing