一个推特图片、视频爬虫工具
用的是 nodejs 写的,主要还是对 python 不太熟悉。
大致原理就是使用 puppeteer 模拟浏览器的行为,监听网络请求和响应等。
目前的做法可能不是最佳实践,因为网络环境不好的时候会出现遗漏情况,而且速度方面可能欠佳(模拟滚动页面的时间比较长)。
项目的地址:
用的是 nodejs 写的,主要还是对 python 不太熟悉。
大致原理就是使用 puppeteer 模拟浏览器的行为,监听网络请求和响应等。
目前的做法可能不是最佳实践,因为网络环境不好的时候会出现遗漏情况,而且速度方面可能欠佳(模拟滚动页面的时间比较长)。
项目的地址: