You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

wufayuan ddcf395145 将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度		4 years ago
..
__init__.py	Initial commit	4 years ago
config.py	基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行	4 years ago
settings.ini	将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度	4 years ago