@ -1,5 +1,17 @@
# VulCrawler
本项目是使用scrapy-redis框架实现分布式爬虫,由于头歌平台上传不了目录,只能是一个一个文件上传,具体的项目结构见图“项目结构.png”
本项目是使用scrapy-redis框架实现分布式爬虫,由于头歌平台上传不了目录,只能是一个一个文件上传,具体的项目结构见图
VulCrawl
- __init__.py
- items.py
- middlewares.py
- pipelines.py
- settings.py
- Vul_db.py
--spiders
- vulcrawl.py
- vulcrawl2.py