cek-probe-model README

The project's README from github.com/yureii1996/cek-probe-model. As one markdown file: README.md.

Cek Probe Model

Kumpulan skrip Python untuk menguji endpoint model yang kompatibel dengan API OpenAI. Skrip mengambil daftar model lalu menjalankan probe sederhana dan menampilkan ringkasan hasil.

Keamanan

Instalasi

python -m venv .venv
.\.venv\Scripts\Activate.ps1
pip install requests

Salin .env.example menjadi .env, lalu set variable secara manual. PowerShell tidak otomatis membaca .env, jadi contoh paling sederhana:

$env:EUROUTER_API_KEYS = "replace-with-authorized-key"
python .\cek_model_fast.py

Skrip

cek_model_fast.py juga memberi warning ARCHITECTURE MISMATCH / SUSPECT jika keluarga model pada label, misalnya DeepSeek, berbeda dari keluarga yang disebut pada jawaban identity probe, misalnya GPT.

cek-probe-model (yureii1996/cek-probe-model)

Searching Database…

这是什么?这是一组 Python 脚本,用于探测 OpenAI API 兼容的模型端点,检查模型是否被“套壳”(贴上与实际架构不符的标签)。每个脚本会获取模型列表,运行身份/逻辑探测,并打印摘要。
这是单一工具还是一组独立脚本?它是三个独立的 Python 脚本,不是一个统一的 CLI 工具:每个脚本单独运行,针对不同的测试场景(单模型、InferHub 或 CFRouter)。
怎么配置它?把 .env.example 复制为 .env,手动设置变量。在 Windows 上,PowerShell 不会自动加载 .env 文件,所以你需要自己在运行脚本前设置好环境变量。
运行它需要 API 密钥吗?需要,你需要一个 OpenAI 兼容的 API 密钥和端点 URL,从环境变量读取,而不是硬编码在脚本里。
运行这些探测会花钱吗?会,每个探测都会向目标端点发送真实的推理请求,可能消耗你的服务商配额或产生计费。
把它指向任意端点安全吗?不安全,你只应测试自己拥有的或获得明确许可测试的端点和 API 密钥;绝不要提交你真实的 .env 或密钥。
这里的“套壳”(masking)是什么意思?它指模型被贴错标签或换牌销售——比如供应商宣称模型是 DeepSeek,实际上回答却像 GPT。脚本通过对比标签中的模型家族与模型在身份探测中的自述来标记这种情况。
这三个脚本有什么区别?cekmodelfast.py 让你选择单个模型,运行带不匹配警告的身份/逻辑探测;cekmodelwwaiting.py 带重试地测试 InferHub 的所有模型;cekmodelwaiting3s.py 在请求之间加延迟地测试 CFRouter 的所有模型。
它怎么检测不匹配?当标签所暗示的模型家族(如 DeepSeek)与模型在身份探测回答中自称的家族(如 GPT)不一致时,cekmodelfast.py 会打印“ARCHITECTURE MISMATCH / SUSPECT”警告。
Creator
yureii1996
Size
<0.1 MB
Stars
183
Updated
CommitSep 11
Age
1mo
Commits · 90 Days