并发爬取、断点续爬、多格式导出、UA 池、Referer 池、URL 黑白名单、HTML 快照。从「能抓」到「抓得稳」的工业级升级。
每请求随机延时 0.5~2s，可配置范围与全局限速。
内置 20+ 真实浏览器 UA，每线程固定一个。
模拟站内跳转来源，70% 概率自动携带。
支持通配符 * 与正则 re: 前缀，精准控制范围。
保存原始 HTML，便于调试与二次解析。
基于文本密度算法，自动去导航、广告。
多线程并发，速度提升 5~10 倍。
中断后从上次位置继续，不重复抓取。
自动识别「下一页」，追踪 rel=next。
TXT / JSON / Markdown / CSV 四种。
点击上方按钮下载 tar.gz 压缩包，解压到本地。
tar -xzf yixn-crawlerv3.1.tar.gz运行安装脚本，自动检测 Python 并安装依赖：
python install.py无参数运行进入交互模式，或使用命令行：
python main.py -u https://example.com -d 3 -p 200使用请求延时 + 限速，避免被封 IP：
python main.py -u URL --delay-min 1 --delay-max 3python main.py -u URL --rate-limit 5使用黑白名单限制抓取范围：
python main.py -u URL --whitelist "*posts*"python main.py -u URL --blacklist "*tag*" "*category*"爬取时终端显示进度条：
📄 爬取进度 |██████░░░░| 60/200 [30.0%] 3.2页/s ETA 00:00:44默认生成 yixn-output/ 目录：
yixn-output/
├── pages/ 页面元数据
├── contents/ 正文文本
├── links/ 每页链接
├── images/ 图片链接
├── data/ 导出文件
├── downloaded_images/ 图片归档
├── snapshots/ HTML 快照
├── logs/ 运行日志
├── crawl_report.json 完整报告
└── summary.txt 摘要爬取结果为 0？查看下方 FAQ。