12 Commits (master)

Author	SHA1	Message	Date
wufayuan	ddcf395145	将爬虫采集器替换并嵌入合并到系统中，大幅度提高爬取速度	4 years ago
wufayuan	ad427ef9bc	最后一次正确的测试	4 years ago
wufayuan	f4aedd9cfd	基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行	4 years ago
wufayuan	27899262f5	基本功能初步完成,优化：取消一条一条写入数据库，任务结果爬取完毕后一次性写入数据库；优化分布式集群；优化系统参数配置，只需要在settings.ini里改就行；优化任务分发模块，若当前接收任务太多，多出的任务将处于等待状态，当分布式节点或服务器爬虫出现空闲的时候等待状态的任务才开始运行	4 years ago
wufayuan	ff11f3bfc1	基本功能初步完成	4 years ago
wufayuan	ae894c1fc0	重写了connect通信程序与服务器通信系统，彻底重写了终端节点集群，对整个系统进行了较大幅度的优化	4 years ago
wufayuan	592d6f9941	较为完整的代码	4 years ago
wufayuan	5ffd4fd363	较为完整的代码	4 years ago
wufayuan	b1a90b646c	重构了整个项目，使之更符合“多个系统-相互协同”的模型，同时，实现了爬虫任务系统及其分发与远程和本地结果组合。多系统采用轮询的方式，一旦接受任务就开启对应的执行线程，整个系统得以真正实现多用户同时访问。此外，完善了cookie机制，包括用户认证与识别，完善了从数据库中提取数据并组合，完善了多系统协调机制，初步实现了客户端的初始代码等等	4 years ago
wufayuan	a24d80c675	初步实现服务器和终端能连接，并且终端向服务端发起请求并取得响应.,,,,	4 years ago
wufayuan	c05a4c964d	初步实现服务器和终端能连接，并且终端向服务端发起请求并取得响应	4 years ago
p3t2ja9zs	e1a5ce58ec	Initial commit	4 years ago