p3t2ja9zs
/
dcs
1
0
Fork 1
Code Issues Pull Requests Releases 2 Wiki Activity
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
Branches Tags
${ item.name }
Create tag ${ searchTerm }
Create branch ${ searchTerm }
from 'ddcf395145'
${ noResults }
dcs/dcs
History
wufayuan ddcf395145
将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度 		3 years ago
..
clients 将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度 3 years ago
tests 将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度 3 years ago
tools 将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度 3 years ago
__init__.py Initial commit 3 years ago
communicate.py 重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化,优化集群为多进程，增加轮询间隔 3 years ago
dcs.log 将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度 3 years ago
main.py 基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行 3 years ago
requester.py 重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化 3 years ago
server.py 重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化 3 years ago
spider.py 基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行 3 years ago
user_process.py 重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化,优化集群为多进程，增加轮询间隔 3 years ago