qwen38-uncensored README

The project's README from github.com/Wassimyounes01/qwen38-uncensored. As one markdown file: README.md.

qwen38-uncensored

Qwen 3.8 27B Uncensored

Abliterated Qwen 3.8 27B — uncensored at the weight level, not just prompting.
Cross-platform: Mac M5 Pro (Q3_K_M · 13.5GB · Metal) + Windows (Q4_K_M · 16.8GB · CUDA).
Optional MLX backend for 30-50% faster inference on Apple Silicon.

Abliterated GGUF MLX Official Qwen 3.8 27B

MIT weights Apache-2.0 abliterated M5 Pro Windows

What's different: abliterated vs system-pack

Approach How it works Uncensoring depth
System pack (v1) Official Qwen weights + a SYSTEM prompt that steers away from refusal Surface-level — model can still refuse
Abliterated (v2, this) Refusal direction orthogonalized out of 131 weight matrices at layer 38 Weight-level — refusal circuits removed

This repo now defaults to orcarouter's abliterated weights + the system pack as reinforcement.

Hardware profiles

Platform Chip RAM Quant Model size Context Backend
Mac M5 Pro 18-core CPU, 20-core GPU 48 GB Q3_K_M 13.5 GB 8192 Metal (all-GPU)
Mac M5 Max 40-core GPU 64-128 GB Q4_K_M+ 16.8 GB 16384 Metal
Mac (any, ≥32GB) Apple Silicon 32+ GB Q3_K_M 13.5 GB 8192 Metal
Windows NVIDIA 24GB 24+ GB Q4_K_M 16.8 GB 8192 CUDA
Windows NVIDIA 12GB 16+ GB Q3_K_M 13.5 GB 4096 CUDA

Why Q3_K_M for Mac M5 Pro?

The M5 Pro has 48GB unified memory, but macOS reserves 25% (12GB). That leaves ~36GB for inference:

Quick start

Mac (Ollama)

git clone https://github.com/Wassimyounes01/qwen38-uncensored.git
cd qwen38-uncensored

# Auto-detects Mac → pulls Q3_K_M abliterated (13.5 GB)
node bin/install.cjs

ollama run --think=false qwen3.8:27b-uncensored

Mac (MLX — 30-50% faster)

# Install MLX backend (Apple Silicon native, ~30-50% faster than Ollama)
node bin/install.cjs --mlx

# Or use the shell script:
bash bin/install-mlx.sh

# Start the server (same port as Ollama — harness works unchanged)
mlx_lm.server --model models/mlx --port 11434

# Chat
node examples/chat.cjs "hello"

Windows

git clone https://github.com/Wassimyounes01/qwen38-uncensored.git
cd qwen38-uncensored

# Auto-detects Windows → pulls Q4_K_M abliterated (16.8 GB)
node bin/install.cjs

ollama run --think=false qwen3.8:27b-uncensored

Override quant

# Force a specific quant on any platform
node bin/install.cjs --quant=IQ4_XS    # 15.3 GB — mid-ground
node bin/install.cjs --quant=Q5_K_M    # 19.5 GB — higher quality
node bin/install.cjs --quant=Q3_K_M    # 13.5 GB — maximum headroom

# Use legacy official weights + system pack (NOT abliterated)
node bin/install.cjs --legacy

Available quants

All from orcarouter/Qwen3.8-27B-Uncensored-GGUF — abliterated at the weight level.

Quant Size Best for
Q3_K_M 13.5 GB Mac M5 Pro 48GB, 12GB GPUs, max context headroom
IQ4_XS 15.3 GB Importance-matrix, best quality-per-bit at this size
Q4_K_S 16.2 GB Slightly smaller than Q4_K_M
Q4_K_M 16.8 GB Windows 24GB GPU (default)
Q5_K_M 19.5 GB Higher quality when VRAM allows
Q6_K 22.4 GB Quality-per-GB sweet spot
Q8_0 29.0 GB Near-lossless

Architecture

┌─────────────────────────────────────────────┐
│               install.cjs                    │
│  detects platform → picks quant + Modelfile  │
├──────────────┬──────────────────────────────┤
│   Mac path   │      Windows path            │
│  Q3_K_M      │      Q4_K_M                  │
│  Modelfile.mac│     Modelfile                │
│  Metal GPU    │      CUDA GPU                │
│  12 threads   │      auto threads            │
├──────────────┴──────────────────────────────┤
│         orcarouter abliterated weights       │
│  refusal direction orthogonalized out of     │
│  131 matrices at layer 38 (Arditi et al.)    │
├─────────────────────────────────────────────┤
│           SYSTEM pack (reinforcement)        │
│  profile.cjs → Modelfile SYSTEM block        │
└─────────────────────────────────────────────┘

Troubleshooting

Still slow on Mac?

  1. Check GPU offloading: ollama ps — if you see a CPU/GPU split, the model is partially on CPU
  2. Force all layers to GPU: Already set in Modelfile.mac (num_gpu 999), but verify with ollama show qwen3.8:27b-uncensored
  3. Reduce context: QWEN_NUM_CTX=4096 node examples/chat.cjs "test" — smaller KV cache = less memory
  4. Switch to MLX: node bin/install.cjs --mlx — 30-50% faster on Apple Silicon
  5. Close memory-heavy apps: Safari, Chrome, Docker eat into unified memory
  6. Check Ollama version: Requires 0.17.1+ for Qwen 3.8 architecture

Model doesn't respond / refuses

Honest stack

Layer What it actually is
Loaded weights Abliterated orcarouter/Qwen3.8-27B-Uncensored-GGUF — refusal direction removed from 131 matrices. Mac: Q3_K_M, Windows: Q4_K_M.
SYSTEM pack Reinforcement layer from this repo (lib/profile.cjs), harvested from orcarouter model card.
MLX alternative orcarouter/Qwen3.8-27B-Uncensored-MLX — same abliterated weights in Apple MLX format.
Not loaded The 30.9 GB FP8 checkpoint. That is the abliteration source, not the serving format.

API usage

const res = await fetch('http://127.0.0.1:11434/api/chat', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify({
    model: 'qwen3.8:27b-uncensored',
    stream: false,
    think: false,
    messages: [{ role: 'user', content: 'Hello' }],
    options: { num_ctx: 8192, num_gpu: 999, num_batch: 512 },
  }),
});
const { message } = await res.json();
console.log(message.content);

License

Scripts, attribute pack, and platform harness: MIT.
Qwen weights: Apache-2.0. This repo does not redistribute weight bytes.

Abliterated weights by orcarouter. Abliteration method: Arditi et al. (2024).

qwen38-uncensored (Wassimyounes01/qwen38-uncensored)

Searching Database…

362 ·GitHub
Qwen38-uncensored
Что это?Установщик на Node.js, который настраивает Qwen 3.8 27B как полностью безцензурную локальную модель: используются аблитерированные на уровне весов GGUF-веса плюс усиливающий SYSTEM-промпт; запуск через Ollama или MLX от Apple.
Здесь сама модель или только скрипты для её настройки?Это установщик и профильная обвязка, а не сами веса: он подтягивает аблитерированный GGUF-чекпоинт (опубликованный orcarouter на Hugging Face) и настраивает за вас Ollama/MLX, не включая файлы весов в репозиторий.
Как это запустить?Запустите `node bin/install.cjs` на Mac или Windows, чтобы подтянуть нужный квант и настроить Ollama, используйте `bash bin/install-mlx.sh` для более быстрого бэкенда Apple MLX, затем общайтесь через `node examples/chat.cjs`.
Нужны ли Ollama и конкретный GPU?Да — нужен Ollama 0.17.1 или новее для архитектуры Qwen 3.8, плюс либо Mac на Apple Silicon с 32 ГБ+ объединённой памяти (Metal), либо NVIDIA GPU с 12 ГБ+ видеопамяти на Windows (CUDA).
Гарантирует ли аблитерация, что модель никогда не откажет?В основном да, поскольку направления отказов ортогонализованы из 131 весовой матрицы, но если запустить старый режим `--legacy` только с system-pack (промптинг вместо правки весов), отказы всё же могут проскакивать.
Работает и на Apple Silicon, и на GPU для Windows?Да, сделано для обеих платформ: Mac (серия M, Metal или MLX) и Windows (GPU NVIDIA, CUDA), с отдельными квант-профилями под каждую.
Чем аблитерированная версия отличается от прежней версии с system-pack?System-pack (v1) лишь добавляет SYSTEM-промпт, отбивающий желание отказывать, на официальных весах — это поверхностно и всё ещё обходится; аблитерированная версия (v2) навсегда вырезает направления отказов из 131 весовой матрицы на 38-м слое, убирая цепи отказов на уровне весов.
Какой квант-файл выбрать?Q3KM (13,5 ГБ) лучше всего подходит для Mac M5 Pro и 12-гигабайтных GPU с максимальным запасом под контекст, Q4KM (16,8 ГБ) — вариант по умолчанию для 24-гигабайтных GPU на Windows, а варианты доходят до Q80 (29 ГБ) для почти безпотерьного качества на более мощных машинах.
Почему на Mac M5 Pro используется Q3KM, а не Q4KM?macOS резервирует около 25% от 48 ГБ объединённой памяти, свободно остаётся примерно 36 ГБ; Q4KM с его ~20 ГБ впритык при открытых других приложениях, а Q3KM с ~16,5 ГБ оставляет 23 ГБ+ запаса для системы и больших окон контекста.
Что проверить, если инференс работает медленно?Запустите `ollama ps`, чтобы проверить, не размазана ли модель между CPU и GPU; принудительно поместите все слои на GPU (уже задано через Modelfile.mac с numgpu 999); уменьшите окно контекста, чтобы сэкономить память KV-кэша; или перейдите на бэкенд MLX для инференса на 30-50% быстрее на Apple Silicon.
What are similar projects?Qwen3.8-Flash-Next, qwen38-mtp, slotstream, rizzo-flow, Strata, decider, SemIf-OpenJev, Bonsai-demo
Which topics is it in?uncensored, qwen3, model, llama-cpp, mlx, gguf, metal, installer, llm-inference, qwen, quantization, large-language-models
Creator
Wassimyounes01
Size
2.6 MB
Stars
362
Updated
CommitAug 20
Age
2mo
Commits · 90 Days