一个推特图片、视频爬虫工具

作者: maofun 分类: 代码 发布时间: 2024-01-03 09:32

用的是 nodejs 写的,主要还是对 python 不太熟悉。

大致原理就是使用 puppeteer 模拟浏览器的行为,监听网络请求和响应等。

目前的做法可能不是最佳实践,因为网络环境不好的时候会出现遗漏情况,而且速度方面可能欠佳(模拟滚动页面的时间比较长)。

项目的地址:

https://github.com/Plumbiu/twid

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注