Commit Graph

16 Commits (master)

Author SHA1 Message Date
wufayuan bc85f26e39 将爬虫采集器替换并嵌入合并到系统中,大幅度提高爬取速度
2 years ago
wufayuan ddcf395145 将爬虫采集器替换并嵌入合并到系统中,大幅度提高爬取速度
2 years ago
wufayuan 27899262f5 基本功能初步完成,优化:取消一条一条写入数据库,任务结果爬取完毕后一次性写入数据库;优化分布式集群;优化系统参数配置,只需要在settings.ini里改就行;优化任务分发模块,若当前接收任务太多,多出的任务将处于等待状态,当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行
2 years ago
wufayuan 06e1f4c565 重写了connect通信程序与服务器通信系统,彻底重写了终端节点集群,对整个系统进行了较大幅度的优化,优化集群为多进程,增加轮询间隔,小优化
2 years ago
wufayuan 58c2162918 重写了connect通信程序与服务器通信系统,彻底重写了终端节点集群,对整个系统进行了较大幅度的优化,优化集群为多进程,增加轮询间隔
2 years ago
wufayuan f7c0dd043d 重写了connect通信程序与服务器通信系统,彻底重写了终端节点集群,对整个系统进行了较大幅度的优化
2 years ago
wufayuan ae894c1fc0 重写了connect通信程序与服务器通信系统,彻底重写了终端节点集群,对整个系统进行了较大幅度的优化
2 years ago
wufayuan 4fbc6cc294 重写了connect通信程序与服务器通信系统,目前可用性应当大幅提升,运行情况正常
2 years ago
wufayuan 2f4fa14b2b 重写了connect通信程序与服务器通信系统,目前可用性应当大幅提升,运行情况正常
2 years ago
wufayuan b681c1b92d 也许可以运行了
2 years ago
wufayuan 592d6f9941 较为完整的代码
2 years ago
wufayuan da9136e30d 较为完整的
2 years ago
wufayuan d551d46612 实现web服务器向爬虫服务器通信,请求登录和注册,以及丰富了两者之间的通信类型
3 years ago
wufayuan d85e78127c 实现web服务器向爬虫服务器通信,请求登录和注册,以及丰富了两者之间的通信类型
3 years ago
wufayuan 1a9e10313a 实现web服务器向爬虫服务器通信,请求登录和注册,以及丰富了两者之间的通信类型
3 years ago
wufayuan 888089ca40 将ui服务器初步写成,实现与爬虫服务器基本通信
3 years ago