|
|
|
|
@ -12,9 +12,8 @@ selenium + redis + 分布式 + xpath + etree + 可视化
|
|
|
|
|
|
|
|
|
|
- [x] 初始化 selenium 框架，编写好相应的爬取规则，初步实现小规模爬取内容
|
|
|
|
|
- [ ] 考虑user-agent，ip池，cookie，token，实现更大规模爬取内容
|
|
|
|
|
- [ ] 考虑用词频分析去重，写入文件规划
|
|
|
|
|
- [ ] 从历史价格网页爬取历史价格，比对，给出价格波动趋势
|
|
|
|
|
- [ ] 加入Redis分布式设计
|
|
|
|
|
- [x] 加入Redis分布式设计
|
|
|
|
|
- [ ] 数据可视化
|
|
|
|
|
- [ ] 定时，自动化爬取
|
|
|
|
|
|
|
|
|
|
|
