# 内容采集与归档系统 — 信息包

> 生成时间：2026-06-26
> 用途：提供给另一个 AI Agent 快速了解整个内容采集系统的架构、数据、流程和技能

---

## 一、对标文章档案（wechat-archive）

### 1. 基本信息
- **技能名**: `wechat-archive`
- **存储目录**: `D:\wechat-archive\`
- **文章总数**: 8 篇
- **支持平台**: 微信公众号 ✅ / 知乎 ⚠️(反爬封禁) / 小红书 / 今日头条 / 百度贴吧 / 普通网页
- **虚拟环境**: `.venv/` (已存在)

### 2. 数据文件
| 文件 | 说明 |
|------|------|
| `articles.json` | 核心数据文件，JSON数组，每篇文章完整字段 |
| `公众号对标文章档案.html` | 供人阅读的HTML页面（按平台→主题分类展示） |
| `公众号对标文章档案.md` | Markdown版本（备用） |
| `archive.py` | 归档脚本（25KB） |
| `history/` | 原始抓取存档（content_xxx.txt + raw_xxx.html） |

### 3. 文章数据结构（articles.json 每条记录）
```json
{
  "id": 1,
  "platform": "微信公众号",
  "account": "公众号名",
  "title": "文章标题",
  "title_display": "标题（|替换为丨）",
  "url": "https://mp.weixin.qq.com/s/...",
  "author": "作者名",
  "publish_time": "2026-01-11 19:25",
  "read_count": null,
  "heat_display": "—",
  "article_type": "教程/个人经历/观点文/科普文/商业推广",
  "category": "主题分类",
  "summary": "300-500字精炼摘要",
  "created_at": "2026-06-07 23:46"
}
```

### 4. 主题分类体系（14类）
| 分类 | 关键词 |
|------|--------|
| ADHD/特殊儿童 | ADHD、多动症、自闭症、阿斯伯格、感统、发育迟缓、抽动 |
| AI/人工智能 | AI、人工智能、大模型、ChatGPT、GPT、LLM |
| 赚钱/副业 | 赚、副业、变现、搞钱、带货、创业、流量 |
| 汽车 | 汽车、车、驾驶、新能源车、电动车、特斯拉 |
| 生活/日常 | 生活、日常、好物、家居、收纳、Vlog |
| 亲子/教育 | 教育、孩子、育儿、亲子、学校、儿童、中考、高考 |
| 科技/数码 | 科技、数码、手机、电脑、软件、App、评测 |
| 健康/医疗 | 健康、医疗、医院、医生、治疗、疾病、养生 |
| 财经/投资 | 财经、投资、股票、基金、理财、保险、房价 |
| 美食/旅游 | 美食、旅游、旅行、餐厅、探店、咖啡、景点 |
| 职场/成长 | 职场、工作、面试、简历、升职、加班、跳槽 |
| 情感/心理 | 情感、心理、情绪、关系、恋爱、婚姻、原生家庭 |
| 个人成长 | 认知、思维、方法论、效率、习惯、自律、读书 |
| 其他 | 未匹配以上分类的 |

### 5. 当前文章列表
- **#1** [ADHD/特殊儿童] [个人经历] 儿童ADHD，非常好治，不用花钱... | 2026-01-11 19:25 | [https://mp.weixin.qq.com/s/_jzbNjCrXCe0NwwtMbztxw](<https://mp.weixin.qq.com/s/_jzbNjCrXCe0NwwtMbztxw>)
- **#2** [ADHD/特殊儿童] [教程] 为什么现在这么多孩子「多动症」？！情况是这样的... | 2025-11-24 16:00 | [https://mp.weixin.qq.com/s/GiO_1vdwRrQQYdMJGEmjgQ](<https://mp.weixin.qq.com/s/GiO_1vdwRrQQYdMJGEmjgQ>)
- **#3** [ADHD/特殊儿童] [个人经历] 我如何养育ADHD孩子... | 2025-09-15 11:57 | [https://mp.weixin.qq.com/s/7tyhmzIpL9PXfdvubX5xDQ](<https://mp.weixin.qq.com/s/7tyhmzIpL9PXfdvubX5xDQ>)
- **#4** [ADHD/特殊儿童] [教程] 作为“疑似阿斯+社恐”，这是30年来我的“社交进化史”... | 2026-06-10 20:31 | [https://mp.weixin.qq.com/s/mPMojqxCrBFebIDxPmWw2Q](<https://mp.weixin.qq.com/s/mPMojqxCrBFebIDxPmWw2Q>)
- **#5** [ADHD/特殊儿童] [个人经历] 阿斯伯格的羞耻感。... | 2026-06-09 06:02 | [https://mp.weixin.qq.com/s/aluwEBQs7kviAWb5IGPUiA](<https://mp.weixin.qq.com/s/aluwEBQs7kviAWb5IGPUiA>)
- **#6** [ADHD/特殊儿童] [观点文] 阿斯伯格｜这事都过去五年了，你怎么还在提？... | 2026-06-08 19:59 | [https://mp.weixin.qq.com/s/JyO_lssJQSFYtbAqvWoAkQ](<https://mp.weixin.qq.com/s/JyO_lssJQSFYtbAqvWoAkQ>)
- **#7** [AI/人工智能] [观点文] Codex和Claude Code负责人都不写提示词了，AI 圈爆火的Loop到底是什么... | 1781402400 | [https://mp.weixin.qq.com/s/nM1fpAdA8F2wYPNh2jEvPg](<https://mp.weixin.qq.com/s/nM1fpAdA8F2wYPNh2jEvPg>)
- **#8** [AI/人工智能] [观点文] 无限期免费，Token 随便用，再升级！... | 1782307800 | [https://mp.weixin.qq.com/s/j4kVUrCcK9pmHY8QwodSnw](<https://mp.weixin.qq.com/s/j4kVUrCcK9pmHY8QwodSnw>)

### 6. 核心工作流
1. **接收链接** → 检测平台 → 查重（查 articles.json）
2. **抓取文章** → 微信公众号用 requests+手机UA（id=js_content）；其他平台用 browser 渲染
3. **自动分类** → 按平台和主题关键词匹配
4. **归档** → 追加到 articles.json → 重新生成 HTML + MD
5. **批量处理** → 支持一次多发多个链接，逐个查重+抓取+分类+归档

**⚠️ 注意**：Windows 路径读写必须用 `execute_code` + Python 原生 `open()`，不要用 `read_file`/`write_file` 工具直接操作 `D:\wechat-archive\` 下的文件（编码问题）。

---

## 二、生财有术内容监控（shengcai-monitor）

### 1. 基本信息
- **技能名**: `shengcai-monitor`
- **存储目录**: `D:\shengcai-monitor\`
- **已收录URL**: 26 条
- **已处理文章**: 28 篇（projects.md）
- **提炼项目**: 7 个
- **历史存档**: 178 个文件（history/）
- **虚拟环境**: `.venv/` (Python 3.14, requests/lxml/bs4)

### 2. 数据文件
| 文件 | 大小 | 说明 |
|------|------|------|
| `seen_urls.json` | 5KB | 链接去重库（26条URL） |
| `projects.md` | 69KB | 文章提炼结果（28篇+7个项目） |
| `projects.html` | 90KB | 供人阅读的HTML页面 |
| `monitor.py` | 21KB | 自动抓取+提炼+生成脚本 |
| `generate_html.py` | 35KB | HTML生成器 |
| `to_html.py` | 12KB | MD→HTML转换 |
| `README.md` | 846B | 使用说明 |
| `RESEARCH.md` | 5KB | 研究笔记 |
| `history/` | 178文件 | 原始抓取存档（content_xxx.txt + raw_xxx.html） |

### 3. 已收录URL列表（seen_urls.json）
- `https://mp.weixin.qq.com/s/rxnX8EjTd_Nyq_W3ClPOqA`
- `https://mp.weixin.qq.com/s/RNi7XMj9o25D0bWnqz3FrA`
- `https://mp.weixin.qq.com/s/2YcDJe7jxCTCkPv7cpz5gA`
- `https://mp.weixin.qq.com/s/VmbPh-V-t5Zw5bdLWxvtRg`
- `https://mp.weixin.qq.com/s/Z4JDHu96zvitkrhleDcp_A`
- `https://mp.weixin.qq.com/s/iq_47uZAgQVUeKcUoR1SsQ`
- `https://mp.weixin.qq.com/s/03eYeUmxkrhhQpUKbyDlzg`
- `https://mp.weixin.qq.com/s/KENuG7KYeCqvl3I9xv1hmQ`
- `https://mp.weixin.qq.com/s/B6pFgzk4SoDtVyYKXjpv6w`
- `https://mp.weixin.qq.com/s/GMRrBxl3osOxsi3q4f6GyA`
- `https://mp.weixin.qq.com/s/XWfyduEeOMVpwl1xFC6kOA`
- `https://mp.weixin.qq.com/s/xRMOMSiFfQ6RjhV7XyYSQw`
- `https://mp.weixin.qq.com/s/q-wlxRPikPMpf--R8iNtOA`
- `https://mp.weixin.qq.com/s/WxDe0UZ9x2gjVgS-QomPJQ`
- `https://mp.weixin.qq.com/s/WxDe0UZ9x2gjVgS-QomPJQ`
- `https://mp.weixin.qq.com/s/6fhAvjQjcGMzEZB9GN-kQg`
- `https://mp.weixin.qq.com/s/iepuFH-YbQXwTvWpGI7haQ`
- `https://mp.weixin.qq.com/s/CeA_DFOQg4gT0D1yYENAhA`
- `https://mp.weixin.qq.com/s/VVfMxPdFYaOsIIS7EXEDqQ`
- `https://mp.weixin.qq.com/s/yiuMNjIkkb3JFkXVVX_2rg`
- `https://mp.weixin.qq.com/s/oHA5CKqxvQsf0IT-qx0r0A`
- `https://mp.weixin.qq.com/s/R6VMgxQOwrFP8AdvTmgsmQ`
- `https://mp.weixin.qq.com/s/SC6-bFdjWN5W-NoekhomXg`
- `https://mp.weixin.qq.com/s/Yc9lImUI9GH-Jn6RviOIsw`
- `https://mp.weixin.qq.com/s/wTWaamNUIa882uk9QaRz_Q`
- `https://mp.weixin.qq.com/s/ml3Y-7CyGw8fjCdpT_gdCA`

### 4. 核心工作流
1. **接收链接** → 查 `seen_urls.json` 去重
2. **抓取文章** → requests + 手机UA → 提取 `id=js_content` 正文
3. **保存原始** → `history/content_xxx.txt` + `history/raw_xxx.html`
4. **提炼内容** → 两种格式：
   - **格式A（有SOP）**：一句话概括 → 5-6步编号步骤 → 收益说明 → 关键提醒
   - **格式B（仅思路）**：一句话概括 → 关键洞察 → 目标用户 → 变现方式 → 行动启发
5. **更新 MD** → 追加到 `projects.md`
6. **生成 HTML** → 完整重写 `projects.html`（左侧目录+右侧卡片）
7. **更新 seen_urls.json** → 加入新链接
8. **复制HTML到桌面** → `C:\Users\jayxu\Desktop\生财监控.html`

### 5. HTML页面结构
- **顶部**：标题 + 统计（总文章数、项目文章数、提炼项目数）
- **左侧**：固定目录索引 + 📋已收录链接（可折叠）
- **右侧**：📌项目卡片在前 → 📄普通文章在后
- **标记规则**：标题含"分享"+"搞钱项目"或"生财情报"→📌，其余→📄

### 6. 引导文处理
- 正文<500字符且含"扫码领取"等关键词 → 判定为引导文
- 标记 🔒 "此文章为引导文，精华内容需在生财内部查看"
- 仍记录在 seen_urls.json 和已收录链接中

### 7. 定时检查（cronjob）
- 每天早上9:00自动运行
- **⚠️ 远程服务器限制**：无法直接访问 D: 盘文件
- 通过 `session_search` 检测用户是否在新会话中提交了链接
- 无新链接 → `[SILENT]` 压制通知
- 有新链接但无法处理 → 报告情况，让用户在本地会话处理

---

## 三、两个系统的关系

| 维度 | wechat-archive | shengcai-monitor |
|------|----------------|------------------|
| 目标 | 多平台对标文章归档 | 生财有术公众号变现项目监控 |
| 来源 | 用户发链接（多平台） | 用户发链接（仅微信公众号） |
| 处理 | 自动分类+摘要 | 深度提炼（SOP/项目/变现思路） |
| 输出 | HTML档案+MD | projects.html+MD+seen_urls.json |
| 分类 | 14个主题分类 | 项目vs普通文章 |
| 共同点 | 都存D盘、都用requests+手机UA、都生成HTML+MD、都需要execute_code读写 |

---

## 四、给另一个 Agent 的快速上手指南

### 接收新链接的处理流程
1. 判断链接来源：
   - 微信公众号 `mp.weixin.qq.com/s/...` → 两个系统都可能用到
   - 其他平台 → 只进 wechat-archive

2. 去重检查：
   - 生财有术 → 查 `D:\shengcai-monitor\seen_urls.json`
   - 对标文章 → 查 `D:\wechat-archive\articles.json`

3. 抓取文章（微信公众号通用方法）：
```python
import requests, re
headers = {'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 16_0...)'}
resp = requests.get(url, headers=headers, timeout=15)
# 标题: <meta property="og:title" content="...">
# 正文: id="js_content" 或 class="rich_media_content"
# 公众号名: var nickname = "..." 或 id="js_name"
# 发布时间: var create_time = "..."
```

4. 写入数据后，重新生成对应的HTML页面（完整重写，不patch）

### 关键注意事项
- 🚫 **不要使用 `read_file`/`write_file` 工具读写 `D:\wechat-archive\` 或 `D:\shengcai-monitor\` 下的文件** — 必须用 `execute_code` + Python 原生 `open()`
- 🚫 **不要在 cron job 中使用 `execute_code`** — 会被安全系统拦截
- ✅ 微信公众号抓取稳定，其他平台可能需要 browser 渲染
- ✅ 生财有术的 monitor.py 已包含完整抓取+提炼+生成逻辑，可直接参考
- ✅ wechat-archive 的 archive.py 已包含完整抓取+分类+生成逻辑

---

*此信息包由 Hermes Agent 自动生成，供其他 AI Agent 快速理解内容采集系统架构使用。*