|
|
## Scrapy-Redis-Zhihu项目介绍
|
|
|
|
|
|
1. 基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答；
|
|
|
2. 集成selenium模拟登录知乎，并处理英文验证码及倒立文字验证码的识别；
|
|
|
3. 通过Twisted将MySQL 入库操作变成异步化执行；
|
|
|
4. 集成bloomfilter对URL进行去重；
|
|
|
5. 随机生成User-Agent、IP代理应该反爬；
|
|
|
6. 通过scrapy信号机制，统计爬取的URL总数；
|
|
|
7. 通过Scrapy数据收集机制，获取爬取失败的URL，并写入到json文件中，方便后期进行分析。
|
|
|
|
|
|
## Scrapy-Redis-Zhihu项目结构介绍
|
|
|
|
|
|
captcha: 存放知乎登录页面英文验证码或倒立文字验证码图片
|
|
|
|
|
|
cookies: 存放登录之后获取到的cookies
|
|
|
|
|
|
failed_urls: 存放爬取失败的url信息
|
|
|
|
|
|
libs：存放Scrapy编写过程中需要用到的函数
|
|
|
|
|
|
libs.bloomfilter: 布隆过滤器，对url进行去重
|
|
|
|
|
|
libs.chaojiying: 英文验证码识别
|
|
|
|
|
|
libs.common: 其他函数
|
|
|
|
|
|
libs.proxy: 获取西刺ip代理
|
|
|
|
|
|
spiders: 项目文件
|
|
|
|
|
|
zheye: 倒立文字验证码识别相关文件
|
|
|
|
|
|
## Scrapy-Redis-Zhihu重要方法介绍
|
|
|
|
|
|
spiders.zhihu.py:
|
|
|
get_cookies：模拟登录知乎，将登录后的cookies写入文件中，并返回登录之后的cookies
|
|
|
|
|
|
deal_with_chinese_captcha: 倒立验证码的识别
|
|
|
|
|
|
deal_with_english_captcha: 英文验证码的识别
|
|
|
|
|
|
middlewares.RedirectDealDownloaderMiddleware.process_response: 因为scrapy-redis中的start_requests已经被重写过了，无法将登录后的cookies传入到Response中，所以在这里进行捕获登录页面，模拟登录，并将获取登录后的cookies并传入到Response中，同时处理302重定向到登录页面问题
|
|
|
|
|
|
## 如何使用
|
|
|
### 安装依赖
|
|
|
```
|
|
|
git clone https://github.com/Yanxueshan/Scrapy-Redis-Zhihu.git
|
|
|
cd Scrapy-Redis-Zhihu
|
|
|
pip install -r requirements.txt
|
|
|
```
|
|
|
|
|
|
### 参数修改
|
|
|
settings.py中的某些参数需要修改
|
|
|
|
|
|
这是数据库MySQL相关配置，修改为自己的MySQL配置
|
|
|
```
|
|
|
MYSQL_HOST = 'localhost'
|
|
|
MYSQL_DBNAME = 'zhihu'
|
|
|
MYSQL_USER = 'root'
|
|
|
MYSQL_PASSWORD = 'root'
|
|
|
```
|
|
|
|
|
|
这是知乎的账号和密码，供模拟登录使用，修改为自己的知乎账号和密码
|
|
|
```
|
|
|
ZHIHU_ACCOUNT = 'username'
|
|
|
ZHIHU_PASSWORD = 'password'
|
|
|
```
|
|
|
|
|
|
这是超级鹰的账号，用来识别英文验证码，修改为自己的超级鹰账号（也可以换成其他第三方平台，不过相应的zhihu.py中的代码要改变）
|
|
|
```
|
|
|
CHAOJIYING_ACCOUNT = 'username'
|
|
|
CHAOJIYING_PASSWORD = 'password'
|
|
|
CAPTCHA_TYPE = '898966'
|
|
|
```
|
|
|
|
|
|
### 运行前准备
|
|
|
切换到redis安装目录下，启动redis-server
|
|
|
```
|
|
|
cd redis
|
|
|
redis-server.exe redis.windows.conf
|
|
|
```
|
|
|
另起一个窗口，启动redis-cli
|
|
|
```
|
|
|
cd redis
|
|
|
redis-cli
|
|
|
```
|
|
|
|
|
|
### 运行
|
|
|
```
|
|
|
redis-cli lpush zhihu:start_urls http://www.zhihu.com/signin
|
|
|
cd Scrapy-Redis-Zhihu
|
|
|
python main.py
|
|
|
```
|
