爬虫教程 · 首页
这个 vault 的用法:Obsidian 里”打开文件夹作为仓库”,选本文件夹。带编号的是叙事章节,按顺序读;90-卡片 是蒸馏出来的知识卡片,复习和检索用;灰色链接 = 已规划还没写的章,它们是这座库的路线图,不是坏链。
全图
第一部分 基础篇:跑起来,抓得对
- 01-网页是什么,爬虫是什么 ✅
- 02-HTTP请求与响应逐行拆
- 03-状态码与请求头
- 04-CSS选择器:在HTML里捞数据
- 05-XPath与lxml
- 06-存数据怎么选
- 07-翻很多页:三种分页
- 08-列表页与详情页
第二部分 进阶篇:跑得快,跑得稳
第三部分 对抗篇:抓不想被你抓的
第四部分 工程篇:变成别人能用的东西
第五部分 深度逆向篇:读不想被读的代码
- 22-协程线程进程三笔账一次算清
- 23-Hook:从改一个函数到全网监听
- 24-OB混淆与AST
- 25-Webpack打包找模块
- 26-JSVM与VMP
- 27-补环境:从vm2到手搓浏览器
- 28-瑞数们怎么拆
知识卡片索引
卡片从章节里蒸馏,一张只装一个论断。新章节里出现新论断就加卡片,卡片 source 字段指回章节出处小节。
写作规矩(KB 版,每章必守)
- 每个笔记带 frontmatter:tags、status(draft/verified)、created、part、order。章节 tags 用
爬虫/叙事+ 部分 tag;卡片用爬虫/卡片。 - 代码先真跑再贴,实测输出带日期。跑不通的声称不进正文。
- 概念第一次出现必须是 wikilink:有卡片指卡片,概念主场在别章指别章。禁止”见第 X 章”这种死文字引用。
- 章结尾只留”检查你自己”,不写总结。callout 用法:坑用
[!warning],实测结论用[!tip]或[!danger],自测题用[!example]。 - 卡片一论断一张,正文不超过 10 行,source 指回章节小节锚点。
- 文件命名:章节”编号-标题”,编号即章序;卡片直接用论断句命名。不改名,改名全库链接断。
进度
- 第 1 章(+ 6 张卡片)
- 第 2–28 章
进度表由发布脚本自动生成:扫各章 frontmatter 的 status / created / order,Obsidian 与网页共用同一张表,不用手维护:
| 章 | 状态 | 创建 |
|---|---|---|
| 01-网页是什么,爬虫是什么 | verified | 2026-11-15 |
状态取值:draft = 初稿还没实测,verified = 代码真跑过、输出贴进正文。