You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
710 B
710 B
项目介绍
selenium+mysql+scrapy-redis
本爬虫是基于selenium自动化web测试工具
希望可以达到web可视化的展现。
- selenium无头爬取下载器
- mysql存入
- scrapy-redis的框架构建和selenium与其对接
- 一般静态网站下载器
- 前端可视化界面
- 后端sql数据库+端口对接
- 数据分析处理
结构介绍
Selenium爬虫
geckodriver.exe 火狐的浏览器驱动
test.py 爬取boss网的测试脚本
setting 火狐的配置信息（未完成）
ip_ok.txt 可用ip的记录txt
spidetMsql
test.py 数据存入数据库