 wufayuan
|
bc85f26e39
|
将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度
|
2 years ago |
|
p3t2ja9zs
|
d0f631cd44
|
Add LICENCE
|
2 years ago |
|
wufayuan
|
ddcf395145
|
将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度
|
2 years ago |
|
wufayuan
|
13bcb4a915
|
重写了爬虫采集器，弃用selnium，爬取手机端知网，多线程爬取
|
2 years ago |
|
wufayuan
|
60f93c0f0e
|
重写了爬虫，弃用selnium，爬取手机端知网，多线程爬取
|
2 years ago |
|
wufayuan
|
ad427ef9bc
|
最后一次正确的测试
|
2 years ago |
|
wufayuan
|
3c186535e9
|
基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行
|
2 years ago |
|
wufayuan
|
f4aedd9cfd
|
基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行
|
2 years ago |
|
wufayuan
|
27899262f5
|
基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行
|
2 years ago |
|
wufayuan
|
ff11f3bfc1
|
基本功能初步完成
|
2 years ago |
|
wufayuan
|
06e1f4c565
|
重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化,优化集群为多进程，增加轮询间隔,小优化
|
2 years ago |
|
wufayuan
|
58c2162918
|
重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化,优化集群为多进程，增加轮询间隔
|
2 years ago |
|
wufayuan
|
f7c0dd043d
|
重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化
|
2 years ago |
|
wufayuan
|
ae894c1fc0
|
重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化
|
2 years ago |
|
wufayuan
|
4fbc6cc294
|
重写了connect通信程序与服务器通信系统，目前可用性应当大幅提升，运行情况正常
|
2 years ago |
|
wufayuan
|
2f4fa14b2b
|
重写了connect通信程序与服务器通信系统，目前可用性应当大幅提升，运行情况正常
|
2 years ago |
|
wufayuan
|
b681c1b92d
|
也许可以运行了
|
2 years ago |
|
wufayuan
|
592d6f9941
|
较为完整的代码
|
2 years ago |
|
wufayuan
|
846d44206e
|
较为完整的代码
|
2 years ago |
|
wufayuan
|
39cbef6fe5
|
较为完整的代码
|
2 years ago |
|
wufayuan
|
5ffd4fd363
|
较为完整的代码
|
2 years ago |
|
wufayuan
|
1757411834
|
较为完整的代码
|
2 years ago |
|
wufayuan
|
da9136e30d
|
较为完整的
|
2 years ago |
|
wufayuan
|
89f513ef95
|
重新上传了爬虫服务器程序结构图
|
3 years ago |
|
wufayuan
|
9bd7cbcc9d
|
重新上传了爬虫服务器程序结构图
|
3 years ago |
|
wufayuan
|
1df39c735e
|
重新上传了爬虫服务器程序结构图
|
3 years ago |
|
wufayuan
|
df874efba1
|
完善readme
|
3 years ago |
|
wufayuan
|
db0776ae56
|
完善readme
|
3 years ago |
|
wufayuan
|
a25f843862
|
完善readme
|
3 years ago |
|
wufayuan
|
5702c8e9f5
|
完善readme
|
3 years ago |
|
wufayuan
|
f3588e82ac
|
完善readme
|
3 years ago |
|
wufayuan
|
656ead319e
|
完善readme
|
3 years ago |
|
wufayuan
|
b1a90b646c
|
重构了整个项目，使之更符合“多个系统-相互协同”的模型，同时，实现了爬虫任务系统及其分发与远程和本地结果组合。多系统采用轮询的方式，一旦接受任务就开启对应的执行线程，整个系统得以真正实现多用户同时访问。此外，完善了cookie机制，包括用户认证与识别，完善了从数据库中提取数据并组合，完善了多系统协调机制，初步实现了客户端的初始代码等等
|
3 years ago |
|
wufayuan
|
a1a73aa412
|
初步完成服务器向多个客户端递交爬虫请求，客户端返回爬虫结果到全局外部变量
|
3 years ago |
|
wufayuan
|
64a607e50b
|
梳理了项目结构
|
3 years ago |
|
wufayuan
|
e69f4ea071
|
初步完善了服务器中存在的“当前用户信息表”，以及保存它的外部变量，同时修缮了数据库处理，以及提供了cookie认证机制，经过初步验证；此外初步实现了爬虫任务分发功能，还未验证，因为需要改写客户端文件。
|
3 years ago |
|
wufayuan
|
3d8e40bb5e
|
进一步完善同时请求登陆注册等用户相关情况
|
3 years ago |
|
wufayuan
|
0c45592b8f
|
进一步完善爬取结果写入数据库
|
3 years ago |
|
wufayuan
|
2dbf99feda
|
进一步完善爬取结果写入数据库
|
3 years ago |
|
wufayuan
|
9501253095
|
完善爬取结果写入数据库
|
3 years ago |
|
wufayuan
|
36e16a99ba
|
完善爬取结果写入数据库
|
3 years ago |
|
wufayuan
|
d551d46612
|
实现web服务器向爬虫服务器通信，请求登录和注册，以及丰富了两者之间的通信类型
|
3 years ago |
|
wufayuan
|
d85e78127c
|
实现web服务器向爬虫服务器通信，请求登录和注册，以及丰富了两者之间的通信类型
|
3 years ago |
|
wufayuan
|
eb4dec2e7b
|
实现web服务器向爬虫服务器通信，请求登录和注册，以及丰富了两者之间的通信类型
|
3 years ago |
|
wufayuan
|
1a9e10313a
|
实现web服务器向爬虫服务器通信，请求登录和注册，以及丰富了两者之间的通信类型
|
3 years ago |
|
wufayuan
|
888089ca40
|
将ui服务器初步写成，实现与爬虫服务器基本通信
|
3 years ago |
|
p3t2ja9zs
|
b51f5cbf93
|
Merge pull request '爬虫' (#3) from developer_wufayuan into master
|
3 years ago |
|
wufayuan
|
673fa7aa41
|
将爬虫写了一部分，但还未实现服务器向客户端分发任务
|
3 years ago |
|
p3t2ja9zs
|
28453d0077
|
Merge pull request '基本爬虫' (#2) from developer_wufayuan into master
基本爬虫
|
3 years ago |
|
wufayuan
|
271dda7b12
|
实现基本爬虫功能， 爬取知网数据
|
3 years ago |
