一个推特图片、视频爬虫工具

用的是 nodejs 写的,主要还是对 python 不太熟悉。

大致原理就是使用 puppeteer 模拟浏览器的行为,监听网络请求和响应等。

目前的做法可能不是最佳实践,因为网络环境不好的时候会出现遗漏情况,而且速度方面可能欠佳(模拟滚动页面的时间比较长)。

项目的地址:

https://github.com/Plumbiu/twid

阅读剩余
THE END