闲鱼智能监控系统
[中文] ｜ English
基于 Playwright 和 AI 的闲鱼多任务实时监控，提供完整的 Web 管理界面。
核心特性
- Web 可视化管理: 任务管理、账号管理、AI 标准编辑、运行日志、结果浏览
- AI 驱动: 自然语言创建任务，多模态模型深度分析商品
- 多任务并发: 独立配置关键词、价格、筛选条件和 AI Prompt
- 高级筛选: 包邮、新发布时间范围、省/市/区三级区域筛选
- 即时通知: 支持 ntfy.sh、企业微信、Bark、Telegram、Webhook等多渠道
- 定时调度: 支持 Cron 配置周期性任务
- 账号与代理轮换: 多账号管理、任务绑定账号、代理池轮换与失败重试
- Docker 部署: 一键容器化部署
截图
🐳 Docker 部署（推荐）
git clone https://github.com/Usagi-org/ai-goofish-monitor && cd ai-goofish-monitor
cp .env.example .env
vim .env # 填写相关配置项
docker compose up -d
docker compose logs -f app
docker compose down
如果镜像无法访问或下载速度慢，可尝试使用加速：
docker pull ghcr.nju.edu.cn/usagi-org/ai-goofish:latest
docker tag ghcr.nju.edu.cn/usagi-org/ai-goofish:latest ghcr.io/usagi-org/ai-goofish:latest
docker compose up -d
- 默认 Web UI 地址：
http://127.0.0.1:8000
- Docker 镜像已内置 Chromium，无需宿主机额外安装浏览器。
- 官方镜像地址：
ghcr.io/usagi-org/ai-goofish:latest
- 更新镜像：
docker compose pull && docker compose up -d
- 如果你修改了
.env 中的 SERVER_PORT，请同步更新 docker-compose.yaml 里的端口映射。
docker-compose.yaml 默认会把 SQLite 主库挂载到 ./data:/app/data，数据库文件默认为 data/app.sqlite3- 目前默认持久化这些目录：
data/ SQLite 主存储（任务、结果、价格历史）state/ 登录状态 cookie 文件prompts/ 任务提示词logs/ 运行日志images/ 商品图片与任务临时图片目录config.json、jsonl/、price_history/ 首次升级到 SQLite 时用于兼容导入的旧数据源
数据存储与迁移
- 当前在线主存储为 SQLite，默认路径
data/app.sqlite3
- 可通过环境变量
APP_DATABASE_FILE 自定义数据库路径；Docker 默认设置为 /app/data/app.sqlite3
- 应用启动时会自动建库建表，并尝试从旧的
config.json、jsonl/、price_history/ 导入一次历史数据
state/、prompts/、logs/、images/ 仍然是文件系统目录，不在 SQLite 中- 商品图片会临时落到
images/task_images_<task_name>/，任务结束后默认会清理
- 首次升级完成并确认
data/app.sqlite3 中数据正确后，可视部署方式决定是否继续保留旧的 config.json、jsonl/、price_history/ 挂载
最少配置
| 变量 |
说明 |
必填 |
OPENAI_API_KEY |
AI 模型 API Key |
是 |
OPENAI_BASE_URL |
OpenAI 兼容接口地址 |
是 |
OPENAI_MODEL_NAME |
支持图片输入的模型名称 |
是 |
WEB_USERNAME / WEB_PASSWORD |
Web UI 登录账号密码，默认 admin/admin123 |
否 |
其余配置见下方“配置说明”。
第一次使用
- 打开默认 Web UI
http://127.0.0.1:8000 并登录。
- 进入“闲鱼账号管理”，使用 Chrome 扩展 导出并粘贴闲鱼登录态 JSON。
- 登录态文件会保存到
state/ 目录，例如 state/acc_1.json。
- 回到“任务管理”，创建任务并绑定账号后即可运行。
创建第一个任务
AI判断：填写“详细需求”，提交后会弹出独立进度弹窗，后台异步生成分析标准。关键词判断：填写关键词规则，任务会直接创建，不经过 AI 生成流程。区域筛选：已改为省 / 市 / 区三级选择器，数据基于闲鱼页面抓取快照内置。
用户使用说明
点击展开 Web UI 功能说明
任务管理
- 支持 AI 创建、关键词规则、价格范围、新发布范围、区域筛选、账号绑定、定时规则。
- AI 任务创建是后台 job 流程，提交后会打开单独的进度弹窗。
- 区域筛选会显著缩小结果集，默认留空。
账号管理
- 支持导入、更新、删除闲鱼账号登录态。
- 每个任务可指定账号，也可不绑定并交给系统自动选择。
结果查看与运行日志
- 结果页和导出功能现在从 SQLite 查询，不再直接扫描
jsonl 文件。
- 日志页按任务展示运行过程，便于排查登录态失效、风控和 AI 调用问题。
系统设置
- 可查看系统状态、编辑 Prompt、调整代理与轮换相关配置。
开发者开发
环境要求
- Python 3.10+
- Node.js + npm（本地验证
Node v20.18.3 可完成前端构建）
- Playwright CLI 与 Chromium，首次运行前建议执行
python3 -m pip install playwright && python3 -m playwright install chromium
- Chrome / Edge 浏览器（Linux 环境也可使用 Chromium；
start.sh 会先检查浏览器是否存在）
git clone https://github.com/Usagi-org/ai-goofish-monitor
cd ai-goofish-monitor
cp .env.example .env
一键启动
chmod +x start.sh
./start.sh
start.sh 会先检查 Playwright CLI 和浏览器前置条件；在前置条件满足后自动安装项目依赖、构建前端、复制构建产物并启动后端。
手动启动
# 后端
python -m src.app
# 或
uvicorn src.app:app --host 0.0.0.0 --port 8000 --reload
# 前端
cd web-ui
npm install
npm run dev
- FastAPI 启动时会自动初始化 SQLite，并在首次启动时尝试导入旧的
config.json/jsonl/price_history
spider_v2.py 默认从 SQLite 读取任务；只有显式传入 --config <path> 时才会走 JSON 配置兼容模式- 默认数据库路径为
data/app.sqlite3
- Vite 开发服务器会将
/api、/auth、/ws 代理到 http://127.0.0.1:8000。
npm run build 先生成 web-ui/dist/，start.sh 再复制到仓库根目录 dist/。- FastAPI 负责提供根目录
dist/index.html 和 dist/assets/。
./start.sh 默认输出访问地址 http://localhost:8000 和 API 文档 http://localhost:8000/docs。
测试与校验
PYTEST_DISABLE_PLUGIN_AUTOLOAD=1 pytest
cd web-ui && npm run build
任务创建 API
点击展开 API 行为说明
POST /api/tasks/generate
decision_mode=ai：返回 202 和 job，需要继续轮询进度。decision_mode=keyword：直接返回已创建任务。
GET /api/tasks/generate-jobs/{job_id}：查询 AI 任务生成进度。POST /auth/status：校验 Web UI 登录凭据。
配置说明
点击展开常用配置项
AI 与运行时
OPENAI_API_KEY / OPENAI_BASE_URL / OPENAI_MODEL_NAME：AI 模型接入必填项。PROXY_URL：为 AI 请求单独指定 HTTP/SOCKS5 代理。RUN_HEADLESS：是否以无头模式运行爬虫；Docker 中应保持 true。SERVER_PORT：后端监听端口，默认 8000。LOGIN_IS_EDGE：本地环境可切换为 Edge 内核；Docker 镜像未内置 Edge，容器内会固定使用 Chromium。PCURL_TO_MOBILE：是否将 PC 商品链接转换为移动端链接。
通知
NTFY_TOPIC_URLGOTIFY_URL / GOTIFY_TOKENBARK_URLWX_BOT_URLTELEGRAM_BOT_TOKEN / TELEGRAM_CHAT_ID / TELEGRAM_API_BASE_URLWEBHOOK_*
代理轮换与失败保护
PROXY_ROTATION_ENABLEDPROXY_ROTATION_MODEPROXY_POOLPROXY_ROTATION_RETRY_LIMITPROXY_BLACKLIST_TTLTASK_FAILURE_THRESHOLDTASK_FAILURE_PAUSE_SECONDSTASK_FAILURE_GUARD_PATH
完整示例见 .env.example。
Web 界面认证
点击展开认证说明
- Web UI 当前使用登录页收集账号密码，并通过
POST /auth/status 校验。
- 登录成功后，前端会在浏览器本地保存登录状态，用于路由守卫和 WebSocket 初始化。
- 默认账号密码为
admin/admin123，生产环境请务必修改。
🚀 工作流程
下图描述了单个监控任务从启动到完成的核心处理逻辑。主服务运行于 src.app，按用户操作或定时调度启动一个或多个任务进程。
graph TD
A[启动监控任务] --> B[选择账号/代理配置];
B --> C[任务: 搜索商品];
C --> D{发现新商品?};
D -- 是 --> E[抓取商品详情 & 卖家信息];
E --> F[下载商品图片];
F --> G[调用AI进行分析];
G --> H{AI是否推荐?};
H -- 是 --> I[发送通知];
H -- 否 --> J[保存记录到 SQLite];
I --> J;
D -- 否 --> K[翻页/等待];
K --> C;
J --> C;
C --> L{触发风控/异常?};
L -- 是 --> M[账号/代理轮换并重试];
M --> C;
常见问题
点击展开常见问题
AI 任务创建为什么不是立即完成？
AI 模式会先生成分析标准，再创建任务。现在该流程已改为后台 job，提交后会显示独立进度弹窗，避免表单长时间卡住。
区域筛选为什么默认建议留空？
区域筛选会显著减少搜索结果，适合明确只看某个区域的场景。若你先验证整体市场，建议先不填。
本地页面打开后提示前端构建产物不存在？
说明根目录 dist/ 缺失。可直接执行 ./start.sh，或先在 web-ui/ 里执行 npm run build，再确认构建产物已复制到仓库根目录。
./start.sh 为什么提示缺少 Playwright 或浏览器？
这是脚本的前置检查。请先安装 Playwright CLI 与 Chromium，并确保系统中可用 Chrome / Edge（Linux 环境也可用 Chromium），然后重新执行 ./start.sh。
致谢
点击展开致谢内容
本项目在开发过程中参考了以下优秀项目，特此感谢：
以及感谢LinuxDo相关人员的脚本贡献
以及感谢 LinuxDo 社区。
以及感谢 ClaudeCode/Gemini/Codex 等模型工具，解放双手 体验Vibe Coding的快乐。
注意事项
点击展开注意事项详情
- 请遵守闲鱼的用户协议和robots.txt规则，不要进行过于频繁的请求，以免对服务器造成负担或导致账号被限制。
- 本项目仅供学习和技术研究使用，请勿用于非法用途。
- 本项目采用 MIT 许可证 发布，按"现状"提供，不提供任何形式的担保。
- 项目作者及贡献者不对因使用本软件而导致的任何直接、间接、附带或特殊的损害或损失承担责任。
- 如需了解更多详细信息，请查看 免责声明 文件。
Star History
一个可自托管的闲鱼（中国最大的二手交易平台）监控系统，使用 Playwright 抓取商品列表，并借助 AI 实时或定时分析、筛选商品，同时提供完整的网页管理界面。