august06exe / web-crawler

web-crawler（顾问版爬虫）

决策树

1. 只需要 1-3 个页面的内容？→ 单页抓取：内容读进上下文直接用，不留档（除非是知识库素材）。
2. 需要整个文档站作为长期知识库？→ 整站爬取落盘：只存盘 + manifest，不读进上下文，后续按需 grep/Read。
3. 需要跟踪内容更新？→ 记录抓取日期，重抓后对比；若客户侧有此需求，给客户的 Hermes 装 watchers/rss 类技能（见 02-知识库/01-专题/05-客户端技能推荐清单.md）。

落盘规范

• 位置：临时调研 → 05-客户/<客户>/调研/<站点名>/；长期知识 → 02-知识库/<主题>/。
• 每次爬取必须留 manifest：种子 URL、抓取日期、页数、文件清单。
• 文件名保留来源路径信息（如 docs_user-guide_desktop.md），便于溯源。
• 大文件（>100KB）禁止整读进上下文：先 grep 定位，再按行号区间读。

规矩

• 遵守 robots.txt；礼貌延迟 ≥300ms；不爬登录/付费内容。
• 抓完必须蒸馏：24小时内把高频使用的事实提炼成 KB 专题文档（附 URL/行号指针），原始抓取只作备查——不许让以后的工作依赖翻原始快照。
• 原始站会改版：凡引用抓取内容的专题文档，头部标注「基于 <URL> 于 <日期> 抓取」，超过3个月的专题文档复核后再引用。