aggregator README

项目的 README,来自 github.com/wzdnzd/aggregator。合并为一个 markdown 文件:README.md。

Aggregator - 免费代理池构建工具

GitHub stars GitHub forks GitHub issues License

🎯 项目简介

一个强大的免费代理池构建工具,通过爬取多个平台/网页的代理资源,自动验证、聚合并转换为各种客户端所需格式。

✨ 核心特性

🌐 支持协议

VMess | Trojan | SS | SSR | Snell | Hysteria2 | VLESS | Hysteria | TUIC | AnyTLS | HTTP | SOCKS

🚀 两种使用方式

方式一:process.py(推荐)

完整功能版本 - 支持复杂配置、多源爬取、自定义规则

# 1. 准备配置文件
cp subscribe/examples/config.default.json my-config.json

# 2. 设置环境变量
export PUSH_TOKEN=your_github_token

# 3. 运行处理
python subscribe/process.py -s my-config.json

适用场景:

方式二:collect.py

简化版本 - 快速收集机场订阅

# 直接运行,自动收集并上传到 Gist
python subscribe/collect.py \
    -g username/gist-id \
    -k your-github-token \
    -t clash v2ray singbox

适用场景:

🎁 共享订阅

可前往 Issue #91 获取现成的共享订阅,量大质优。请勿浪费

📊 工作流程

graph LR
    A[开始] --> B{选择方式}
    B -->|简单| C[collect.py]
    B -->|完整| D[process.py]

    C --> E[自动收集机场]
    E --> F[注册账号]
    F --> G[获取订阅]
    G --> H[验证代理]
    H --> I[上传到Gist]

    D --> J[加载配置]
    J --> K[多源爬取]
    K --> L[聚合处理]
    L --> M[质量检测]
    M --> N[格式转换]
    N --> O[推送存储]

⚡ 快速配置

最小配置示例

process.py 配置:

{
    "sites": [
        {
            "name": "example-airport",
            "domain": "example.com",
            "push_to": ["free"]
        }
    ],
    "crawl": {
        "enable": true,
        "telegram": {
            "enable": true,
            "users": {
                "proxy_channel": {
                    "push_to": ["free"]
                }
            }
        }
    },
    "groups": {
        "free": {
            "targets": {"clash": "free-clash"}
        }
    },
    "storage": {
        "engine": "gist",
        "items": {
            "free-clash": {
                "username": "your-username",
                "gist_id": "your-gist-id",
                "filename": "clash.yaml"
            }
        }
    }
}

环境变量:

export PUSH_TOKEN=your_github_token

常用命令

# 快速收集(推荐新手)
python subscribe/collect.py -g username/gist-id -k token

# 完整处理(推荐进阶)
python subscribe/process.py -s config.json

# 仅检查代理活性
python subscribe/process.py -s config.json --check

# 高性能模式
python subscribe/process.py -s config.json -n 128

📚 相关文档

文档 说明 适用人群
完整文档 详细配置说明 进阶用户
English Docs English version International users

🔧 常见问题

问题 解决方案
配置文件错误 python -m json.tool config.json 验证语法
Token 无效 检查 GitHub Token 权限和有效期
网络超时 增加超时 -t 15000 或减少线程 -n 16
无代理输出 检查爬取源配置和网络连接

插件开发

拥有灵活的插件系统,支持自定义爬取目标。欢迎贡献高质量的爬取插件!

🚧 TODO 路线图

架构重构

插件化架构

配置系统优化

代码质量提升

性能与稳定性


⚖️ 免责声明

🙏 致谢

核心依赖

赞助支持

感谢以下组织的赞助支持:

社区贡献

感谢所有为项目贡献代码、提出建议和报告问题的开发者们!

如果这个项目对你有帮助,请给它一个 ⭐

报告问题 · 功能请求 · 贡献代码

aggregator (wzdnzd/aggregator)

正在搜索数据库…

这是什么?一个免费的代理池构建工具。它会抓取代理来源、检测哪些代理可用、汇总结果,并将其转换为 Clash、V2Ray、SingBox 等客户端可用的格式。
这是我自己运行的脚本,还是托管服务?这是一个需要自己运行的 Python 命令行工具。它有两个入口:process.py 适合需要完全控制的场景,collect.py 用于快速获取机场订阅。
我该怎么把它跑起来?按照 README 中的快速配置操作:为 process.py 编写 config.json,用 python -m json.tool 检查,设置列出的环境变量,然后运行脚本。
除了 Python,我还需要准备什么?README 中提到 Subconverter 是订阅转换核心,Mihomo 是代理测试引擎。另外还提到了 GitHub Token,它对基于 GitHub 的存储很重要。
常见的问题有哪些?如果没有获取到代理,请检查抓取来源和网络连接。如果遇到超时,可以用 -t 15000 调高超时时间,或用 -n 16 降低线程数。
我该用 process.py 还是 collect.py?process.py 适合需要精细控制抓取规则、多个输出分组、自定义存储或定时运行的用户。collect.py 适合没有复杂配置需求、只想快速个人使用的场景。
我可以添加自己的代理来源吗?可以。README 中介绍了用于自定义抓取目标的插件系统,并欢迎贡献者添加新的爬虫插件。
它会从哪些网站抓取代理?Telegram、GitHub、Google、Yandex、Twitter 等网页。抓取结果可以保存到 GitHub Gist、PasteGG 或 Imperial。
它怎么确认代理真的可用?它会自动检测代理的可用性和质量。README 中提到 Mihomo 是代理测试引擎。
接下来有什么计划?路线图包括:将爬虫和存储后端改为插件,增加核心接口,引入基于 Pydantic 的配置模型,支持结构化日志,并改进并发和重试机制。
作者
wzdnzd
大小
1.1 GB
星标
7.6K
更新
提交Oct 23
时长
7年
提交 · 90 天