网页就是一个文本文件

网页是一个纯文本文件（HTML）。浏览器干两件事：下载它、渲染它。爬虫只干第一件。

推论：发现”爬虫抓到的和浏览器看到的不一样”时，先怀疑渲染出来的样子骗了你——文本里可能压根没有那块内容。