项目介绍

selenium+mysql+scrapy-redis

本爬虫是基于selenium自动化web测试工具

希望可以达到web可视化的展现。

• ​ selenium无头爬取下载器
• ​ mysql存入
• ​ scrapy-redis的框架构建和selenium与其对接
• ​ 一般静态网站下载器
• ​ 前端可视化界面
• ​ 后端sql数据库+端口对接
• ​ 数据分析处理

结构介绍

Selenium爬虫

geckodriver.exe 火狐的浏览器驱动

test.py 爬取boss网的测试脚本

setting 火狐的配置信息（未完成）

ip_ok.txt 可用ip的记录txt

spidetMsql

test.py 数据存入数据库