MediaCrawler ，6万Star开源爬虫，浏览器自动化抓取7平台公开数据

子午猫
子午猫

网络侦查研究院

2026年10月10日 06:42
湖南

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

一、写爬虫真正难的是\"签名\"，它绕开了

做数据采集的人都知道，写代码本身花不了多少时间，真正耗人的是签名——平台给接口参数加密，想直接调接口得先逆向前端、搞清楚签名算法，平台隔三差五改一次，脚本就废了。2023 年小红书升级风控那阵，满屏 461 状态码，死了一大批爬虫脚本。MediaCrawler 的思路不同：它不碰加密，用浏览器自动化拿数据，支持小红书、抖音、快手、B站、微博、贴吧、知乎共 7 个平台，目前在 GitHub 上已有 6.4 万 Star，由一名个人开发者从 2023 年维护至今三年多未断更。

二、能干什么：内容、评论、创作者主页

采内容有两种方式：一是在配置里填关键词，把搜索结果里的笔记和视频（标题、正文、点赞、收藏、评论数）采下来；二是手上有明确目标时，把帖子或视频 ID 填进配置列表，只采这几条。评论这块做得好——一级评论全部拉下，楼中楼回复也能一起采，还能直接生成词云图，高频词一眼扫知舆情。它还支持采创作者主页：填主页即可拿到该作者发过的内容列表与对应数据。

三、原理：让浏览器自己算签名

底层用的是 Playwright 浏览器自动化框架。扫码登录后登录态被保存，之后需要签名的地方，让浏览器在登录状态里自己去算——平台改算法也无所谓，签名是浏览器算的，跟代码无关。默认走 CDP 模式，连接本机日常使用的 Chrome，登录过的账号、Cookie 都能复用，平台看到的\"就是一个正常用户在刷网页\"。项目火起来后作者一度删库怕惹麻烦，后来代码被拿去卖钱，便补了一份免责声明重新开源，首页第一屏即是加粗的合规条款。

四、怎么跑起来

clone 后一句 uv sync 装完 Python 依赖；另需 Node.js 16 以上（爬抖音、知乎要用），Chrome 144 以上并开远程调试开关。跑一句 uv run main.py --platform xhs --lt qrcode --type search 弹出二维码，手机 App 扫码即缓存登录态。关键词、平台、存储格式都在 config/base\_config.py 里改（带中文注释）；不想碰命令行还有 WebUI。数据可存 CSV/JSON/JSONL/Excel，也能直接写进 SQLite 和 MySQL。

五、几个要注意的边界

一是账号风控风险：程序操作频率过高，平台会盯上登录账号，建议频率放低、只采公开数据、采完即停，主力账号别拿来跑。二是功能边界：开源版无断点续爬、不支持多账号（这些在付费 Pro 版），且开源协议为作者自定义、核心意思仅限学习研究、禁止商用。三是平台会一直升级，今天能跑不代表三个月后还能跑——好在项目从 2023 年 6 月开源至今持续更新。开源地址：github.com/NanmiCoder/MediaCrawler。

情报视角：MediaCrawler 的价值不在\"黑客技巧\"，而在把\"浏览器自动化 + 登录态复用\"做成开箱即用的公开数据采集中枢，对舆情监测、开源情报（OSINT）前期素材积累很有用。但须严守红线：只采公开数据、不碰个人隐私、不商用；对公安网安等合规场景，应评估其\"平台改版即失效\"\"账号有风控风险\"的工程局限，不可替代专业情报系统的稳定运行要求。

来源：AI技术前哨（2026-09-07 08:50 山西）