pl5xfp7y8
/
dcs
forked from p3t2ja9zs/dcs
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Commit Graph

  • bc85f26e39 将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度 master wufayuan 2022-07-27 19:52:20 +0800
  • d0f631cd44 Add LICENCE V2.0 p3t2ja9zs 2022-07-09 07:36:12 +0800
  • ddcf395145 将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度 wufayuan 2022-07-08 09:34:38 +0800
  • 13bcb4a915 重写了爬虫采集器，弃用selnium，爬取手机端知网，多线程爬取 wufayuan 2022-07-08 03:05:26 +0800
  • 60f93c0f0e 重写了爬虫，弃用selnium，爬取手机端知网，多线程爬取 wufayuan 2022-07-08 03:04:33 +0800
  • ad427ef9bc 最后一次正确的测试 wufayuan 2022-07-07 23:34:06 +0800
  • 3c186535e9 基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行 wufayuan 2022-07-06 22:40:19 +0800
  • f4aedd9cfd 基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行 wufayuan 2022-07-06 22:38:19 +0800
  • 27899262f5 基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行 wufayuan 2022-07-06 22:36:27 +0800
  • ff11f3bfc1 基本功能初步完成 wufayuan 2022-07-06 10:01:00 +0800
  • 06e1f4c565 重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化,优化集群为多进程，增加轮询间隔,小优化 wufayuan 2022-07-06 09:12:59 +0800
  • 58c2162918 重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化,优化集群为多进程，增加轮询间隔 wufayuan 2022-07-06 00:45:03 +0800
  • f7c0dd043d 重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化 wufayuan 2022-07-06 00:11:09 +0800
  • ae894c1fc0 重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化 wufayuan 2022-07-05 23:45:03 +0800
  • 4fbc6cc294 重写了connect通信程序与服务器通信系统，目前可用性应当大幅提升，运行情况正常 wufayuan 2022-07-04 21:21:26 +0800
  • 2f4fa14b2b 重写了connect通信程序与服务器通信系统，目前可用性应当大幅提升，运行情况正常 wufayuan 2022-07-04 21:21:00 +0800
  • b681c1b92d 也许可以运行了 wufayuan 2022-07-04 17:27:02 +0800
  • 592d6f9941 较为完整的代码 wufayuan 2022-07-04 12:33:08 +0800
  • 846d44206e 较为完整的代码 wufayuan 2022-07-03 17:19:13 +0800
  • 39cbef6fe5 较为完整的代码 wufayuan 2022-07-03 17:18:04 +0800
  • 5ffd4fd363 较为完整的代码 wufayuan 2022-07-03 17:04:07 +0800
  • 1757411834 较为完整的代码 wufayuan 2022-06-30 20:29:17 +0800
  • da9136e30d 较为完整的 wufayuan 2022-06-30 20:18:42 +0800
  • 89f513ef95 重新上传了爬虫服务器程序结构图 wufayuan 2022-04-22 22:01:10 +0800
  • 9bd7cbcc9d 重新上传了爬虫服务器程序结构图 wufayuan 2022-04-22 21:58:53 +0800
  • 1df39c735e 重新上传了爬虫服务器程序结构图 wufayuan 2022-04-22 21:58:22 +0800
  • df874efba1 完善readme wufayuan 2022-04-21 20:59:54 +0800
  • db0776ae56 完善readme wufayuan 2022-04-21 20:58:04 +0800
  • a25f843862 完善readme wufayuan 2022-04-21 20:54:58 +0800
  • 5702c8e9f5 完善readme wufayuan 2022-04-21 20:53:34 +0800
  • f3588e82ac 完善readme wufayuan 2022-04-21 20:52:09 +0800
  • 656ead319e 完善readme wufayuan 2022-04-21 20:47:01 +0800
  • b1a90b646c 重构了整个项目，使之更符合“多个系统-相互协同”的模型，同时，实现了爬虫任务系统及其分发与远程和本地结果组合。多系统采用轮询的方式，一旦接受任务就开启对应的执行线程，整个系统得以真正实现多用户同时访问。此外，完善了cookie机制，包括用户认证与识别，完善了从数据库中提取数据并组合，完善了多系统协调机制，初步实现了客户端的初始代码等等 V1.0 wufayuan 2022-04-21 17:32:47 +0800
  • a1a73aa412 初步完成服务器向多个客户端递交爬虫请求，客户端返回爬虫结果到全局外部变量 wufayuan 2022-04-11 21:17:19 +0800
  • 64a607e50b 梳理了项目结构 wufayuan 2022-04-09 10:12:15 +0800
  • e69f4ea071 初步完善了服务器中存在的“当前用户信息表”，以及保存它的外部变量，同时修缮了数据库处理，以及提供了cookie认证机制，经过初步验证；此外初步实现了爬虫任务分发功能，还未验证，因为需要改写客户端文件。 wufayuan 2022-03-31 21:19:17 +0800
  • 3d8e40bb5e 进一步完善同时请求登陆注册等用户相关情况 wufayuan 2022-03-30 21:19:00 +0800
  • 0c45592b8f 进一步完善爬取结果写入数据库 wufayuan 2022-03-29 11:35:10 +0800
  • 2dbf99feda 进一步完善爬取结果写入数据库 wufayuan 2022-03-29 11:11:22 +0800
  • 9501253095 完善爬取结果写入数据库 wufayuan 2022-03-29 09:51:25 +0800
  • 36e16a99ba 完善爬取结果写入数据库 wufayuan 2022-03-28 16:00:14 +0800
  • d551d46612 实现web服务器向爬虫服务器通信，请求登录和注册，以及丰富了两者之间的通信类型 wufayuan 2022-03-26 10:38:06 +0800
  • d85e78127c 实现web服务器向爬虫服务器通信，请求登录和注册，以及丰富了两者之间的通信类型 wufayuan 2022-03-26 10:34:41 +0800
  • eb4dec2e7b 实现web服务器向爬虫服务器通信，请求登录和注册，以及丰富了两者之间的通信类型 wufayuan 2022-03-26 10:32:02 +0800
  • 1a9e10313a 实现web服务器向爬虫服务器通信，请求登录和注册，以及丰富了两者之间的通信类型 wufayuan 2022-03-26 10:17:56 +0800
  • 888089ca40 将ui服务器初步写成，实现与爬虫服务器基本通信 wufayuan 2022-03-24 16:11:08 +0800
  • 46401465ac 将爬虫写了一部分，但还未实现服务器向客户端分发任务 developer_wufayuan wufayuan 2022-03-22 16:59:10 +0800
  • b51f5cbf93 Merge pull request '爬虫' (#3) from developer_wufayuan into master p3t2ja9zs 2022-03-22 16:36:17 +0800
  • 673fa7aa41 将爬虫写了一部分，但还未实现服务器向客户端分发任务 wufayuan 2022-03-22 16:34:26 +0800
  • 28453d0077 Merge pull request '基本爬虫' (#2) from developer_wufayuan into master p3t2ja9zs 2022-03-17 17:13:43 +0800
  • 271dda7b12 实现基本爬虫功能， 爬取知网数据 wufayuan 2022-03-17 17:12:21 +0800
  • b1a979b148 数据库注册登录的基本框架 dellpc 2022-03-17 16:36:06 +0800
  • ddcd0f4da9 database dellpc 2022-03-17 15:08:12 +0800
  • 6191138e78 database dellpc 2022-03-17 15:07:58 +0800
  • bde920b966 Merge pull request 'test' (#1) from developer_wufayuan into master p3t2ja9zs 2022-03-17 14:42:52 +0800
  • e94c3026bc 初步实现服务器和终端能连接，并且终端向服务端发起请求并取得响应,基础 wufayuan 2022-03-17 14:40:07 +0800
  • a24d80c675 初步实现服务器和终端能连接，并且终端向服务端发起请求并取得响应.,,,, wufayuan 2022-03-16 15:58:59 +0800
  • 3aa4f82882 初步实现服务器和终端能连接，并且终端向服务端发起请求并取得响应 wufayuan 2022-03-16 14:49:09 +0800
  • 3af34c406e 初步实现服务器和终端能连接，并且终端向服务端发起请求并取得响应 wufayuan 2022-03-15 17:48:46 +0800
  • c05a4c964d 初步实现服务器和终端能连接，并且终端向服务端发起请求并取得响应 wufayuan 2022-03-15 16:17:01 +0800
  • 488ce0caad something new about preparing wufayuan 2022-03-14 08:49:52 +0800
  • 5a450a9293 吴法院 dellpc 2022-03-09 16:56:11 +0800
  • e1a5ce58ec Initial commit p3t2ja9zs 2022-03-09 15:00:27 +0800
  • 9e94304aef Initial commit p3t2ja9zs 2022-03-09 15:00:27 +0800