标签:scrapy 相关文章

做一个网盘搜索引擎

前言​ 两年前笔者做过一个当时非常有成就感的小型搜索引擎,但回过头一看,全忘完了?,为了复习一下以前的知识,前面写过一篇文章总结概括了一下搜索引擎的原理。但作为程序员,光是理论肯定是不够的,所以得实践一下。以前的文章搜索引擎说实话没啥用,所以这次为了让项目更加有意思一点,决定做的是一个网盘类的搜索引擎,也算是有点用处。 笔者将整个搜索引擎简化了很多,甚至比两年前做的那个小型搜索引擎还要简单,但也算是一个微型搜索引擎了,帮助笔者实践了部分知识。 项目演示​ 线上演示地址:pan.justin3go.com 至文章发布3个月内该地址应该都可以访问。服务器暂时买了3个月的放在那里,3个月之后看是否还……

继续阅读»»»

scrapy爬取表情包使用flask搭建搜索网站

网上有很多表情包网站,何不自己爬取搭一个表情包搜索网站呢?因此本文以doutula为演示站点,详细说明从网上使用scrapy爬取表情包并最终搭建一个自己的表情包搜索网站的过程。主要步骤如下: 1. scrapy爬取表情包并存入mysql 2. flask搭建搜索网站 准备工作,anaconda python3 pip install scrapy pip install flask pip install pymysql 1.scrapy爬取表情包并存入mysql 1.1打开网站审查元素 确定css提取规则与mysql表结构。 可以看到主要字段有两个,一个为图片地址,可以看到为新浪来源,确定字……

继续阅读»»»