# python

## Scrapy-Redis-Zhihu项目介绍

1. 基于scrapy-redis实现分布式爬虫，爬取知乎所有问题及对应的回答；
2. 集成selenium模拟登录知乎，并处理英文验证码及倒立文字验证码的识别；
3. 通过Twisted将MySQL 入库操作变成异步化执行；
4. 集成bloomfilter对URL进行去重；
5. 随机生成User-Agent、IP代理应该反爬；
6. 通过scrapy信号机制，统计爬取的URL总数；
7. 通过Scrapy数据收集机制，获取爬取失败的URL，并写入到json文件中，方便后期进行分析。

## Scrapy-Redis-Zhihu项目结构介绍

captcha: 存放知乎登录页面英文验证码或倒立文字验证码图片

cookies: 存放登录之后获取到的cookies

failed_urls: 存放爬取失败的url信息

libs：存放Scrapy编写过程中需要用到的函数

libs.bloomfilter: 布隆过滤器，对url进行去重

libs.chaojiying: 英文验证码识别

libs.common: 其他函数

libs.proxy: 获取西刺ip代理

spiders: 项目文件

zheye: 倒立文字验证码识别相关文件

## Scrapy-Redis-Zhihu重要方法介绍

spiders.zhihu.py:
get_cookies：模拟登录知乎，将登录后的cookies写入文件中，并返回登录之后的cookies

deal_with_chinese_captcha: 倒立验证码的识别

deal_with_english_captcha: 英文验证码的识别

middlewares.RedirectDealDownloaderMiddleware.process_response: 因为scrapy-redis中的start_requests已经被重写过了，无法将登录后的cookies传入到Response中，所以在这里进行捕获登录页面，模拟登录，并将获取登录后的cookies并传入到Response中，同时处理302重定向到登录页面问题

## 如何使用
### 安装依赖
```
git clone https://github.com/Yanxueshan/Scrapy-Redis-Zhihu.git
cd Scrapy-Redis-Zhihu
pip install -r requirements.txt
```

### 参数修改
settings.py中的某些参数需要修改

这是数据库MySQL相关配置，修改为自己的MySQL配置
```
MYSQL_HOST = 'localhost'
MYSQL_DBNAME = 'zhihu'
MYSQL_USER = 'root'
MYSQL_PASSWORD = 'root'
```

这是知乎的账号和密码，供模拟登录使用，修改为自己的知乎账号和密码
```
ZHIHU_ACCOUNT = 'username'
ZHIHU_PASSWORD = 'password'
```

这是超级鹰的账号，用来识别英文验证码，修改为自己的超级鹰账号（也可以换成其他第三方平台，不过相应的zhihu.py中的代码要改变）
```
CHAOJIYING_ACCOUNT = 'username'
CHAOJIYING_PASSWORD = 'password'
CAPTCHA_TYPE = '898966'
```

### 运行前准备
切换到redis安装目录下，启动redis-server
```
cd redis
redis-server.exe redis.windows.conf
```
另起一个窗口，启动redis-cli
```
cd redis
redis-cli
```

### 运行
```
redis-cli lpush zhihu:start_urls http://www.zhihu.com/signin
cd Scrapy-Redis-Zhihu
python main.py
```