diff --git a/conf/config.py b/conf/config.py index bedbfe8..b2d225a 100644 --- a/conf/config.py +++ b/conf/config.py @@ -30,6 +30,8 @@ class global_var: up = None communicator = None server_socket = None + configs = None + test = None def get_free_sockets() -> tuple[socket.socket]: diff --git a/conf/settings.ini b/conf/settings.ini index 4e47a15..35da242 100644 --- a/conf/settings.ini +++ b/conf/settings.ini @@ -3,3 +3,6 @@ port = 7777 daemon = True buffer_size = 8 * 1024 * 1024 +[crawler] +edge_driver_path = G:\course\yykf\dcs\bin\msedgedriver.exe + diff --git a/dcs/client/client.py b/dcs/client/client.py index e79f7ab..b59e593 100644 --- a/dcs/client/client.py +++ b/dcs/client/client.py @@ -2,6 +2,7 @@ import json import socket import struct import threading +from configparser import ConfigParser from json import JSONDecoder from time import sleep @@ -17,8 +18,16 @@ from dcs.tools.message_process import parse_request, generate_response def crawl_zhiwang(word, pages_start, pages_end): edge_options = EdgeOptions() edge_options.use_chromium = True + No_Image_loading = {"profile.managed_default_content_settings.images": 2, 'permissions.default.stylesheet': 2} + edge_options.add_experimental_option("prefs", No_Image_loading) edge_options.add_argument('--headless') - driver = Edge(options=edge_options, executable_path=r'G:\course\yykf\dcs\bin\msedgedriver.exe') + configFile = '../../conf/settings.ini' + con = ConfigParser() + con.read(configFile, encoding='utf-8') + items = con.items('crawler') + items = dict(items)['edge_driver_path'] + print(items) + driver = Edge(options=edge_options, executable_path=items) soup = driver_open(driver, word) papers = [] # 用于保存爬取到的论文 @@ -85,19 +94,21 @@ class Crawl(threading.Thread): crawl = Crawl() crawl.start() +# res = crawl.crawl({'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '123'}) +# logger.debug(res) with socket.socket(socket.AF_INET, socket.SOCK_STREAM, socket.IPPROTO_TCP) as socket_to_server: socket_to_server.bind(('127.0.0.1', 9999)) socket_to_server.connect(('127.0.0.1', 7777)) - # request = {'action': 'register', 'user': 'wufayuan', 'password': '113818'} - # socket_to_server.sendall(mp.generate_request(request)) - # responseJson = JSONDecoder().decode( - # mp.read_bytes(socket_to_server, struct.unpack('!Q', socket_to_server.recv(8))[0]).decode( - # "utf-8")) - # print(responseJson) + request = {'action': 'register', 'user': 'liuxiaoyu', 'password': '113818'} + socket_to_server.sendall(mp.generate_request(request)) + responseJson = JSONDecoder().decode( + mp.read_bytes(socket_to_server, struct.unpack('!Q', socket_to_server.recv(8))[0]).decode( + "utf-8")) + print(responseJson) - request = {'action': 'login', 'user': 'wufayuan', 'password': '113818'} + request = {'action': 'login', 'user': 'liuxiaoyu', 'password': '113818'} socket_to_server.sendall(mp.generate_request(request)) responseJson = JSONDecoder().decode( mp.read_bytes(socket_to_server, struct.unpack('!Q', socket_to_server.recv(8))[0]).decode( diff --git a/dcs/dcs.log b/dcs/dcs.log index 9dcd690..69ef5b9 100644 --- a/dcs/dcs.log +++ b/dcs/dcs.log @@ -8484,3 +8484,954 @@ 2022-07-02 11:22:58.569 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... 2022-07-02 11:22:59.171 | DEBUG | dcs.tests.spider_task:compose_result:178 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': '王芳', 'college': '南开大学', 'major': '图书情报与数字图书馆;新闻与传媒;计算机软件及计算机应用;', 'paper': '科学数据管理政策发展比较研究'}, 5: {'name': '卜昊昊', 'college': '中国人民大学', 'major': '新闻与传媒;', 'paper': '科学数据管理政策发展比较研究'}, 6: {'name': '贾宝余', 'college': '中国科学院创新发展研究中心', 'major': '高等教育;科学研究管理;中国共产党;', 'paper': '高水平科技自立自强视野中重大科技项目选题机制研究'}, 7: {'name': '杨明', 'college': '中国科学院科技促进发展局', 'major': '科学研究管理;有机化工;图书情报与数字图书馆;', 'paper': '高水平科技自立自强视野中重大科技项目选题机制研究'}, 8: {'name': '应验', 'college': '北京大学', 'major': '行政学及国家行政管理;经济体制改革;思想政治教育;', 'paper': '高水平科技自立自强视野中重大科技项目选题机制研究'}, 9: {'name': '左玉河', 'college': '中国社会科学院', 'major': '中国近现代史;史学理论;政治学;', 'paper': '中国科学社与民国学术体制之创建'}, 10: {'name': '张萍', 'college': '北京师范大学', 'major': '物理学;高等教育;中等教育;', 'paper': '2011—2020年间美国国家科学基金对物理教育研究领域资助情况分析'}, 11: {'name': 'Ding Lin', 'college': '美国俄亥俄州州立大学', 'major': '物理学;高等教育;中等教育;', 'paper': '2011—2020年间美国国家科学基金对物理教育研究领域资助情况分析'}, 12: {'name': '徐祯', 'college': '北京师范大学', 'major': '物理学;高等教育;中等教育;', 'paper': '2011—2020年间美国国家科学基金对物理教育研究领域资助情况分析'}, 13: {'name': '朱小玉', 'college': '中国科学技术大学附属第一医院', 'major': '肿瘤学;心血管系统疾病;临床医学;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 14: {'name': '邬惟为', 'college': '山西医科大学', 'major': '妇产科学;医学教育与医学边缘学科;感染性疾病及传染病;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 15: {'name': '官方霖', 'college': '西安交通大学', 'major': '医学教育与医学边缘学科;生物学;公安;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 16: {'name': '朱蔚彤', 'college': '国家自然科学基金委员会', 'major': '科学研究管理;医学教育与医学边缘学科;医药卫生方针政策与法律法规研究;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 17: {'name': '孙瑞娟', 'college': '国家自然科学基金委员会', 'major': '医学教育与医学边缘学科;科学研究管理;基础医学;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 18: {'name': '徐岩英', 'college': '国家自然科学基金委员会生命科学部', 'major': '口腔科学;医学教育与医学边缘学科;医药卫生方针政策与法律法规研究;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 19: {'name': '张凤珠', 'college': '国家自然科学基金委员会', 'major': '科学研究管理;医学教育与医学边缘学科;医药卫生方针政策与法律法规研究;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 20: {'name': '冯勇', 'college': '国家自然科学基金委员会综合计划局', 'major': '科学研究管理;自然科学理论与方法;图书情报与数字图书馆;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 21: {'name': '谢焕英', 'college': '国家自然科学基金委员会', 'major': '自然科学理论与方法;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 22: {'name': '蔡乾和', 'college': '华北理工大学', 'major': '科学研究管理;自然科学理论与方法;哲学;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 23: {'name': '苑怡', 'college': '中国国家科技评估中心', 'major': '自然科学理论与方法;科学研究管理;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 24: {'name': '邢怀滨', 'college': '中国科学技术部科技评估中心', 'major': '科学研究管理;自然科学理论与方法;宏观经济管理与可持续发展;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 25: {'name': '田德录', 'college': '中国科学技术部科技评估中心', 'major': '企业经济;科学研究管理;经济体制改革;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 26: {'name': '郎赟超', 'college': '天津大学', 'major': '地质学;环境科学与资源利用;地球物理学;', 'paper': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, 27: {'name': '丁虎', 'college': '上海市应用数学和力学研究所', 'major': '力学;工业通用技术及设备;电力工业;', 'paper': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, 28: {'name': '韩晓昆', 'college': '天津大学', 'major': '环境科学与资源利用;地质学;地球物理学;', 'paper': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, 29: {'name': '剌伟', 'college': '天津大学', 'major': '环境科学与资源利用;', 'paper': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, 30: {'name': '刘丛强', 'college': '天津大学', 'major': '地质学;环境科学与资源利用;矿业工程;', 'paper': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, 31: {'name': '韩晓彤', 'college': '北京理工大学', 'major': '宏观经济管理与可持续发展;科学研究管理;自然科学理论与方法;', 'paper': '科学推动下技术机会发现方法研究'}, 32: {'name': '朱东华', 'college': '北京理工大学', 'major': '科学研究管理;计算机软件及计算机应用;企业经济;', 'paper': '科学推动下技术机会发现方法研究'}, 33: {'name': '汪雪锋', 'college': '北京理工大学', 'major': '科学研究管理;图书情报与数字图书馆;计算机软件及计算机应用;', 'paper': '科学推动下技术机会发现方法研究'}, 34: {'name': '陆丽娜', 'college': '山东理工大学', 'major': '图书情报与数字图书馆;计算机软件及计算机应用;新闻与传媒;', 'paper': '基于区块链的农业科学数据管理场景模型构建研究'}, 35: {'name': '尹丽红', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;', 'paper': '基于区块链的农业科学数据管理场景模型构建研究'}, 36: {'name': '于啸', 'college': '东北农业大学', 'major': '计算机软件及计算机应用;生物学;农业基础科学;', 'paper': '基于区块链的农业科学数据管理场景模型构建研究'}, 37: {'name': '尹居峰', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;', 'paper': '基于区块链的农业科学数据管理场景模型构建研究'}, 38: {'name': '尚士杰', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;', 'paper': '基于区块链的农业科学数据管理场景模型构建研究'}, 39: {'name': '吕凤先', 'college': '中国科学院文献情报中心', 'major': '科学研究管理;图书情报与数字图书馆;物理学;', 'paper': '美国能源基础科学竞争力分析及对我国的启示'}, 40: {'name': '朱相丽', 'college': '中国科学院文献情报中心', 'major': '图书情报与数字图书馆;科学研究管理;材料科学;', 'paper': '美国能源基础科学竞争力分析及对我国的启示'}, 41: {'name': '刘小平', 'college': '中国科学院大学', 'major': '图书情报与数字图书馆;科学研究管理;物理学;', 'paper': '美国能源基础科学竞争力分析及对我国的启示'}, 42: {'name': '白云朴', 'college': '南京航空航天大学', 'major': '信息经济与邮政经济;企业经济;经济体制改革;', 'paper': '科学数据共享研究的演化路径分析'}, 43: {'name': '李果', 'college': '南京邮电大学', 'major': '信息经济与邮政经济;经济体制改革;人才学与劳动科学;', 'paper': '科学数据共享研究的演化路径分析'}, 44: {'name': 'Andrew Chi-Chih YAO', 'college': '清华大学', 'major': '计算机硬件技术;高等教育;', 'paper': 'Perspectives from the second Global Forum on Development of Computer Science'}, 45: {'name': 'Xia YIN', 'college': '清华大学', 'major': '计算机硬件技术;', 'paper': 'Perspectives from the second Global Forum on Development of Computer Science'}, 46: {'name': 'Yinqun LIU', 'college': '清华大学', 'major': '计算机硬件技术;', 'paper': 'Perspectives from the second Global Forum on Development of Computer Science'}, 47: {'name': 'Guoliang LI', 'college': '清华大学', 'major': '计算机软件及计算机应用;计算机硬件技术;冶金工业;', 'paper': 'Perspectives from the second Global Forum on Development of Computer Science'}, 48: {'name': '包秋华', 'college': '内蒙古农业大学', 'major': '生物学;轻工业手工业;中医学;', 'paper': '基于Web of Science细菌活但非可培养态研究文献的可视化分析'}, 49: {'name': '刘倩宇', 'college': '中国农业科学院植物保护研究所', 'major': '植物保护;化学;图书情报与数字图书馆;', 'paper': '基于Web of Science细菌活但非可培养态研究文献的可视化分析'}, 50: {'name': '阎晓阳', 'college': '北京大学', 'major': '马克思主义;中国共产党;政治学;', 'paper': '如何理解“科学社会主义的入门”？——基于《社会主义从空想到科学的发展》'}, 51: {'name': '张建琴', 'college': '嘉兴学院', 'major': '自然科学理论与方法;科学研究管理;非线性科学与系统科学;', 'paper': '评析贾祖璋的科普思想及实践'}, 52: {'name': '高铸烨', 'college': '中国中医科学院西苑医院', 'major': '中医学;心血管系统疾病;中药学;', 'paper': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, 53: {'name': '张冬梅', 'college': '北京中医药大学东直门医院', 'major': '中药学;中医学;心血管系统疾病;', 'paper': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, 54: {'name': '赵京霞', 'college': '首都医科大学附属北京中医医院', 'major': '中药学;临床医学;中医学;', 'paper': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, 55: {'name': '徐鹏', 'college': '长春中医药大学附属医院', 'major': '中医学;神经病学;中药学;', 'paper': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, 56: {'name': '毕明刚', 'college': '国家自然科学基金委员会', 'major': '中药学;中医学;肿瘤学;', 'paper': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, 57: {'name': '刘睿', 'college': '山东理工大学', 'major': '地质学;矿业工程;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 58: {'name': '左蕾', 'college': '山东理工大学', 'major': '地质学;矿业工程;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 59: {'name': '张鹏', 'college': '山东理工大学', 'major': '地质学;矿业工程;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 60: {'name': '赵宗超', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;自动化技术;地质学;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 61: {'name': '陶刚', 'college': '成都理工大学', 'major': '地质学;石油天然气工业;地球物理学;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 62: {'name': '王坤', 'college': '中国矿业大学', 'major': '地质学;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 63: {'name': '陶东平', 'college': '山东理工大学', 'major': '矿业工程;有机化工;无机化工;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 64: {'name': '张紫璇', 'college': '中国中医科学院针灸研究所', 'major': '中医学;内分泌腺及全身性疾病;图书情报与数字图书馆;', 'paper': '脑科学技术在针刺研究中的应用'}, 65: {'name': '李少源', 'college': '中国中医科学院针灸研究所', 'major': '中医学;基础医学;内分泌腺及全身性疾病;', 'paper': '脑科学技术在针刺研究中的应用'}, 66: {'name': '王瑜', 'college': '中国中医科学院针灸研究所', 'major': '中医学;基础医学;临床医学;', 'paper': '脑科学技术在针刺研究中的应用'}, 67: {'name': '王艺霏', 'college': '中国中医科学院针灸研究所', 'major': '中医学;内分泌腺及全身性疾病;图书情报与数字图书馆;', 'paper': '脑科学技术在针刺研究中的应用'}, 68: {'name': '赵亚楠', 'college': '中国中医科学院针灸研究所', 'major': '中医学;计算机软件及计算机应用;', 'paper': '脑科学技术在针刺研究中的应用'}, 69: {'name': '荣培晶', 'college': '中国中医科学院针灸研究所', 'major': '中医学;基础医学;中药学;', 'paper': '脑科学技术在针刺研究中的应用'}, 70: {'name': '熊璋', 'college': '中国教育部', 'major': '计算机软件及计算机应用;电信技术;互联网技术;', 'paper': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, 71: {'name': '赵健', 'college': '华东师范大学', 'major': '教育理论与教育管理;中等教育;计算机软件及计算机应用;', 'paper': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, 72: {'name': '陆海丰', 'college': '浙江省海宁市教育局', 'major': '中等教育;', 'paper': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, 73: {'name': '欧阳元新', 'college': '北京航空航天大学', 'major': '计算机软件及计算机应用;计算机硬件技术;电信技术;', 'paper': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, 74: {'name': '李梦柯', 'college': '中国科学院大学', 'major': '机械工业;科学研究管理;宏观经济管理与可持续发展;', 'paper': '科学知识特征对基于科学的创新绩效的影响——基于仪器产业的分析'}, 75: {'name': '王芳', 'college': '中国科学院地理科学与资源研究所', 'major': '临床医学;环境科学与资源利用;儿科学;', 'paper': '科学知识特征对基于科学的创新绩效的影响——基于仪器产业的分析'}, 76: {'name': '赵兰香', 'college': '中国科学院科技战略咨询研究院', 'major': '科学研究管理;企业经济;宏观经济管理与可持续发展;', 'paper': '科学知识特征对基于科学的创新绩效的影响——基于仪器产业的分析'}} 2022-07-02 11:22:59.315 | INFO | dcs.communicate:run:33 - sending info to ('127.0.0.1', 9999): {'0': {'name': '王芳', 'college': '南开大学', 'major': '图书情报与数字图书馆;新闻与传媒;计算机软件及计算机应用;', 'title': '科学数据管理政策发展比较研究'}, '1': {'name': '卜昊昊', 'college': '中国人民大学', 'major': '新闻与传媒;', 'title': '科学数据管理政策发展比较研究'}, '2': {'name': '贾宝余', 'college': '中国科学院创新发展研究中心', 'major': '高等教育;科学研究管理;中国共产党;', 'title': '高水平科技自立自强视野中重大科技项目选题机制研究'}, '3': {'name': '杨明', 'college': '中国科学院科技促进发展局', 'major': '科学研究管理;有机化工;图书情报与数字图书馆;', 'title': '高水平科技自立自强视野中重大科技项目选题机制研究'}, '4': {'name': '应验', 'college': '北京大学', 'major': '行政学及国家行政管理;经济体制改革;思想政治教育;', 'title': '高水平科技自立自强视野中重大科技项目选题机制研究'}, '5': {'name': '左玉河', 'college': '中国社会科学院', 'major': '中国近现代史;史学理论;政治学;', 'title': '中国科学社与民国学术体制之创建'}, '6': {'name': '张萍', 'college': '北京师范大学', 'major': '物理学;高等教育;中等教育;', 'title': '2011—2020年间美国国家科学基金对物理教育研究领域资助情况分析'}, '7': {'name': 'Ding Lin', 'college': '美国俄亥俄州州立大学', 'major': '物理学;高等教育;中等教育;', 'title': '2011—2020年间美国国家科学基金对物理教育研究领域资助情况分析'}, '8': {'name': '徐祯', 'college': '北京师范大学', 'major': '物理学;高等教育;中等教育;', 'title': '2011—2020年间美国国家科学基金对物理教育研究领域资助情况分析'}, '9': {'name': '朱小玉', 'college': '中国科学技术大学附属第一医院', 'major': '肿瘤学;心血管系统疾病;临床医学;', 'title': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, '10': {'name': '邬惟为', 'college': '山西医科大学', 'major': '妇产科学;医学教育与医学边缘学科;感染性疾病及传染病;', 'title': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, '11': {'name': '官方霖', 'college': '西安交通大学', 'major': '医学教育与医学边缘学科;生物学;公安;', 'title': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, '12': {'name': '朱蔚彤', 'college': '国家自然科学基金委员会', 'major': '科学研究管理;医学教育与医学边缘学科;医药卫生方针政策与法律法规研究;', 'title': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, '13': {'name': '孙瑞娟', 'college': '国家自然科学基金委员会', 'major': '医学教育与医学边缘学科;科学研究管理;基础医学;', 'title': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, '14': {'name': '徐岩英', 'college': '国家自然科学基金委员会生命科学部', 'major': '口腔科学;医学教育与医学边缘学科;医药卫生方针政策与法律法规研究;', 'title': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, '15': {'name': '张凤珠', 'college': '国家自然科学基金委员会', 'major': '科学研究管理;医学教育与医学边缘学科;医药卫生方针政策与法律法规研究;', 'title': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, '16': {'name': '冯勇', 'college': '国家自然科学基金委员会综合计划局', 'major': '科学研究管理;自然科学理论与方法;图书情报与数字图书馆;', 'title': '国家自然科学基金重大项目绩效评价探析及政策思考'}, '17': {'name': '谢焕英', 'college': '国家自然科学基金委员会', 'major': '自然科学理论与方法;', 'title': '国家自然科学基金重大项目绩效评价探析及政策思考'}, '18': {'name': '蔡乾和', 'college': '华北理工大学', 'major': '科学研究管理;自然科学理论与方法;哲学;', 'title': '国家自然科学基金重大项目绩效评价探析及政策思考'}, '19': {'name': '苑怡', 'college': '中国国家科技评估中心', 'major': '自然科学理论与方法;科学研究管理;', 'title': '国家自然科学基金重大项目绩效评价探析及政策思考'}, '20': {'name': '邢怀滨', 'college': '中国科学技术部科技评估中心', 'major': '科学研究管理;自然科学理论与方法;宏观经济管理与可持续发展;', 'title': '国家自然科学基金重大项目绩效评价探析及政策思考'}, '21': {'name': '田德录', 'college': '中国科学技术部科技评估中心', 'major': '企业经济;科学研究管理;经济体制改革;', 'title': '国家自然科学基金重大项目绩效评价探析及政策思考'}, '22': {'name': '郎赟超', 'college': '天津大学', 'major': '地质学;环境科学与资源利用;地球物理学;', 'title': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, '23': {'name': '丁虎', 'college': '上海市应用数学和力学研究所', 'major': '力学;工业通用技术及设备;电力工业;', 'title': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, '24': {'name': '韩晓昆', 'college': '天津大学', 'major': '环境科学与资源利用;地质学;地球物理学;', 'title': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, '25': {'name': '剌伟', 'college': '天津大学', 'major': '环境科学与资源利用;', 'title': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, '26': {'name': '刘丛强', 'college': '天津大学', 'major': '地质学;环境科学与资源利用;矿业工程;', 'title': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, '27': {'name': '韩晓彤', 'college': '北京理工大学', 'major': '宏观经济管理与可持续发展;科学研究管理;自然科学理论与方法;', 'title': '科学推动下技术机会发现方法研究'}, '28': {'name': '朱东华', 'college': '北京理工大学', 'major': '科学研究管理;计算机软件及计算机应用;企业经济;', 'title': '科学推动下技术机会发现方法研究'}, '29': {'name': '汪雪锋', 'college': '北京理工大学', 'major': '科学研究管理;图书情报与数字图书馆;计算机软件及计算机应用;', 'title': '科学推动下技术机会发现方法研究'}, '30': {'name': '陆丽娜', 'college': '山东理工大学', 'major': '图书情报与数字图书馆;计算机软件及计算机应用;新闻与传媒;', 'title': '基于区块链的农业科学数据管理场景模型构建研究'}, '31': {'name': '尹丽红', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;', 'title': '基于区块链的农业科学数据管理场景模型构建研究'}, '32': {'name': '于啸', 'college': '东北农业大学', 'major': '计算机软件及计算机应用;生物学;农业基础科学;', 'title': '基于区块链的农业科学数据管理场景模型构建研究'}, '33': {'name': '尹居峰', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;', 'title': '基于区块链的农业科学数据管理场景模型构建研究'}, '34': {'name': '尚士杰', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;', 'title': '基于区块链的农业科学数据管理场景模型构建研究'}, '35': {'name': '吕凤先', 'college': '中国科学院文献情报中心', 'major': '科学研究管理;图书情报与数字图书馆;物理学;', 'title': '美国能源基础科学竞争力分析及对我国的启示'}, '36': {'name': '朱相丽', 'college': '中国科学院文献情报中心', 'major': '图书情报与数字图书馆;科学研究管理;材料科学;', 'title': '美国能源基础科学竞争力分析及对我国的启示'}, '37': {'name': '刘小平', 'college': '中国科学院大学', 'major': '图书情报与数字图书馆;科学研究管理;物理学;', 'title': '美国能源基础科学竞争力分析及对我国的启示'}, '38': {'name': '白云朴', 'college': '南京航空航天大学', 'major': '信息经济与邮政经济;企业经济;经济体制改革;', 'title': '科学数据共享研究的演化路径分析'}, '39': {'name': '李果', 'college': '南京邮电大学', 'major': '信息经济与邮政经济;经济体制改革;人才学与劳动科学;', 'title': '科学数据共享研究的演化路径分析'}, '40': {'name': 'Andrew Chi-Chih YAO', 'college': '清华大学', 'major': '计算机硬件技术;高等教育;', 'title': 'Perspectives from the second Global Forum on Development of Computer Science'}, '41': {'name': 'Xia YIN', 'college': '清华大学', 'major': '计算机硬件技术;', 'title': 'Perspectives from the second Global Forum on Development of Computer Science'}, '42': {'name': 'Yinqun LIU', 'college': '清华大学', 'major': '计算机硬件技术;', 'title': 'Perspectives from the second Global Forum on Development of Computer Science'}, '43': {'name': 'Guoliang LI', 'college': '清华大学', 'major': '计算机软件及计算机应用;计算机硬件技术;冶金工业;', 'title': 'Perspectives from the second Global Forum on Development of Computer Science'}, '44': {'name': '包秋华', 'college': '内蒙古农业大学', 'major': '生物学;轻工业手工业;中医学;', 'title': '基于Web of Science细菌活但非可培养态研究文献的可视化分析'}, '45': {'name': '刘倩宇', 'college': '中国农业科学院植物保护研究所', 'major': '植物保护;化学;图书情报与数字图书馆;', 'title': '基于Web of Science细菌活但非可培养态研究文献的可视化分析'}, '46': {'name': '阎晓阳', 'college': '北京大学', 'major': '马克思主义;中国共产党;政治学;', 'title': '如何理解“科学社会主义的入门”？——基于《社会主义从空想到科学的发展》'}, '47': {'name': '张建琴', 'college': '嘉兴学院', 'major': '自然科学理论与方法;科学研究管理;非线性科学与系统科学;', 'title': '评析贾祖璋的科普思想及实践'}, '48': {'name': '高铸烨', 'college': '中国中医科学院西苑医院', 'major': '中医学;心血管系统疾病;中药学;', 'title': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, '49': {'name': '张冬梅', 'college': '北京中医药大学东直门医院', 'major': '中药学;中医学;心血管系统疾病;', 'title': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, '50': {'name': '赵京霞', 'college': '首都医科大学附属北京中医医院', 'major': '中药学;临床医学;中医学;', 'title': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, '51': {'name': '徐鹏', 'college': '长春中医药大学附属医院', 'major': '中医学;神经病学;中药学;', 'title': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, '52': {'name': '毕明刚', 'college': '国家自然科学基金委员会', 'major': '中药学;中医学;肿瘤学;', 'title': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, '53': {'name': '刘睿', 'college': '山东理工大学', 'major': '地质学;矿业工程;', 'title': '纳米地质学——量子科学走进地质学的桥梁'}, '54': {'name': '左蕾', 'college': '山东理工大学', 'major': '地质学;矿业工程;', 'title': '纳米地质学——量子科学走进地质学的桥梁'}, '55': {'name': '张鹏', 'college': '山东理工大学', 'major': '地质学;矿业工程;', 'title': '纳米地质学——量子科学走进地质学的桥梁'}, '56': {'name': '赵宗超', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;自动化技术;地质学;', 'title': '纳米地质学——量子科学走进地质学的桥梁'}, '57': {'name': '陶刚', 'college': '成都理工大学', 'major': '地质学;石油天然气工业;地球物理学;', 'title': '纳米地质学——量子科学走进地质学的桥梁'}, '58': {'name': '王坤', 'college': '中国矿业大学', 'major': '地质学;', 'title': '纳米地质学——量子科学走进地质学的桥梁'}, '59': {'name': '陶东平', 'college': '山东理工大学', 'major': '矿业工程;有机化工;无机化工;', 'title': '纳米地质学——量子科学走进地质学的桥梁'}, '60': {'name': '张紫璇', 'college': '中国中医科学院针灸研究所', 'major': '中医学;内分泌腺及全身性疾病;图书情报与数字图书馆;', 'title': '脑科学技术在针刺研究中的应用'}, '61': {'name': '李少源', 'college': '中国中医科学院针灸研究所', 'major': '中医学;基础医学;内分泌腺及全身性疾病;', 'title': '脑科学技术在针刺研究中的应用'}, '62': {'name': '王瑜', 'college': '中国中医科学院针灸研究所', 'major': '中医学;基础医学;临床医学;', 'title': '脑科学技术在针刺研究中的应用'}, '63': {'name': '王艺霏', 'college': '中国中医科学院针灸研究所', 'major': '中医学;内分泌腺及全身性疾病;图书情报与数字图书馆;', 'title': '脑科学技术在针刺研究中的应用'}, '64': {'name': '赵亚楠', 'college': '中国中医科学院针灸研究所', 'major': '中医学;计算机软件及计算机应用;', 'title': '脑科学技术在针刺研究中的应用'}, '65': {'name': '荣培晶', 'college': '中国中医科学院针灸研究所', 'major': '中医学;基础医学;中药学;', 'title': '脑科学技术在针刺研究中的应用'}, '66': {'name': '熊璋', 'college': '中国教育部', 'major': '计算机软件及计算机应用;电信技术;互联网技术;', 'title': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, '67': {'name': '赵健', 'college': '华东师范大学', 'major': '教育理论与教育管理;中等教育;计算机软件及计算机应用;', 'title': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, '68': {'name': '陆海丰', 'college': '浙江省海宁市教育局', 'major': '中等教育;', 'title': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, '69': {'name': '欧阳元新', 'college': '北京航空航天大学', 'major': '计算机软件及计算机应用;计算机硬件技术;电信技术;', 'title': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, '70': {'name': '李梦柯', 'college': '中国科学院大学', 'major': '机械工业;科学研究管理;宏观经济管理与可持续发展;', 'title': '科学知识特征对基于科学的创新绩效的影响——基于仪器产业的分析'}, '71': {'name': '王芳', 'college': '中国科学院地理科学与资源研究所', 'major': '临床医学;环境科学与资源利用;儿科学;', 'title': '科学知识特征对基于科学的创新绩效的影响——基于仪器产业的分析'}, '72': {'name': '赵兰香', 'college': '中国科学院科技战略咨询研究院', 'major': '科学研究管理;企业经济;宏观经济管理与可持续发展;', 'title': '科学知识特征对基于科学的创新绩效的影响——基于仪器产业的分析'}, 1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': '王芳', 'college': '南开大学', 'major': '图书情报与数字图书馆;新闻与传媒;计算机软件及计算机应用;', 'paper': '科学数据管理政策发展比较研究'}, 5: {'name': '卜昊昊', 'college': '中国人民大学', 'major': '新闻与传媒;', 'paper': '科学数据管理政策发展比较研究'}, 6: {'name': '贾宝余', 'college': '中国科学院创新发展研究中心', 'major': '高等教育;科学研究管理;中国共产党;', 'paper': '高水平科技自立自强视野中重大科技项目选题机制研究'}, 7: {'name': '杨明', 'college': '中国科学院科技促进发展局', 'major': '科学研究管理;有机化工;图书情报与数字图书馆;', 'paper': '高水平科技自立自强视野中重大科技项目选题机制研究'}, 8: {'name': '应验', 'college': '北京大学', 'major': '行政学及国家行政管理;经济体制改革;思想政治教育;', 'paper': '高水平科技自立自强视野中重大科技项目选题机制研究'}, 9: {'name': '左玉河', 'college': '中国社会科学院', 'major': '中国近现代史;史学理论;政治学;', 'paper': '中国科学社与民国学术体制之创建'}, 10: {'name': '张萍', 'college': '北京师范大学', 'major': '物理学;高等教育;中等教育;', 'paper': '2011—2020年间美国国家科学基金对物理教育研究领域资助情况分析'}, 11: {'name': 'Ding Lin', 'college': '美国俄亥俄州州立大学', 'major': '物理学;高等教育;中等教育;', 'paper': '2011—2020年间美国国家科学基金对物理教育研究领域资助情况分析'}, 12: {'name': '徐祯', 'college': '北京师范大学', 'major': '物理学;高等教育;中等教育;', 'paper': '2011—2020年间美国国家科学基金对物理教育研究领域资助情况分析'}, 13: {'name': '朱小玉', 'college': '中国科学技术大学附属第一医院', 'major': '肿瘤学;心血管系统疾病;临床医学;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 14: {'name': '邬惟为', 'college': '山西医科大学', 'major': '妇产科学;医学教育与医学边缘学科;感染性疾病及传染病;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 15: {'name': '官方霖', 'college': '西安交通大学', 'major': '医学教育与医学边缘学科;生物学;公安;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 16: {'name': '朱蔚彤', 'college': '国家自然科学基金委员会', 'major': '科学研究管理;医学教育与医学边缘学科;医药卫生方针政策与法律法规研究;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 17: {'name': '孙瑞娟', 'college': '国家自然科学基金委员会', 'major': '医学教育与医学边缘学科;科学研究管理;基础医学;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 18: {'name': '徐岩英', 'college': '国家自然科学基金委员会生命科学部', 'major': '口腔科学;医学教育与医学边缘学科;医药卫生方针政策与法律法规研究;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 19: {'name': '张凤珠', 'college': '国家自然科学基金委员会', 'major': '科学研究管理;医学教育与医学边缘学科;医药卫生方针政策与法律法规研究;', 'paper': '2019—2020年度人口与健康领域国家自然科学基金联合基金项目申请与资助回顾及思考'}, 20: {'name': '冯勇', 'college': '国家自然科学基金委员会综合计划局', 'major': '科学研究管理;自然科学理论与方法;图书情报与数字图书馆;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 21: {'name': '谢焕英', 'college': '国家自然科学基金委员会', 'major': '自然科学理论与方法;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 22: {'name': '蔡乾和', 'college': '华北理工大学', 'major': '科学研究管理;自然科学理论与方法;哲学;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 23: {'name': '苑怡', 'college': '中国国家科技评估中心', 'major': '自然科学理论与方法;科学研究管理;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 24: {'name': '邢怀滨', 'college': '中国科学技术部科技评估中心', 'major': '科学研究管理;自然科学理论与方法;宏观经济管理与可持续发展;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 25: {'name': '田德录', 'college': '中国科学技术部科技评估中心', 'major': '企业经济;科学研究管理;经济体制改革;', 'paper': '国家自然科学基金重大项目绩效评价探析及政策思考'}, 26: {'name': '郎赟超', 'college': '天津大学', 'major': '地质学;环境科学与资源利用;地球物理学;', 'paper': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, 27: {'name': '丁虎', 'college': '上海市应用数学和力学研究所', 'major': '力学;工业通用技术及设备;电力工业;', 'paper': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, 28: {'name': '韩晓昆', 'college': '天津大学', 'major': '环境科学与资源利用;地质学;地球物理学;', 'paper': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, 29: {'name': '剌伟', 'college': '天津大学', 'major': '环境科学与资源利用;', 'paper': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, 30: {'name': '刘丛强', 'college': '天津大学', 'major': '地质学;环境科学与资源利用;矿业工程;', 'paper': '地球系统科学观下的滨海湿地生态系统保护和恢复科学'}, 31: {'name': '韩晓彤', 'college': '北京理工大学', 'major': '宏观经济管理与可持续发展;科学研究管理;自然科学理论与方法;', 'paper': '科学推动下技术机会发现方法研究'}, 32: {'name': '朱东华', 'college': '北京理工大学', 'major': '科学研究管理;计算机软件及计算机应用;企业经济;', 'paper': '科学推动下技术机会发现方法研究'}, 33: {'name': '汪雪锋', 'college': '北京理工大学', 'major': '科学研究管理;图书情报与数字图书馆;计算机软件及计算机应用;', 'paper': '科学推动下技术机会发现方法研究'}, 34: {'name': '陆丽娜', 'college': '山东理工大学', 'major': '图书情报与数字图书馆;计算机软件及计算机应用;新闻与传媒;', 'paper': '基于区块链的农业科学数据管理场景模型构建研究'}, 35: {'name': '尹丽红', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;', 'paper': '基于区块链的农业科学数据管理场景模型构建研究'}, 36: {'name': '于啸', 'college': '东北农业大学', 'major': '计算机软件及计算机应用;生物学;农业基础科学;', 'paper': '基于区块链的农业科学数据管理场景模型构建研究'}, 37: {'name': '尹居峰', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;', 'paper': '基于区块链的农业科学数据管理场景模型构建研究'}, 38: {'name': '尚士杰', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;', 'paper': '基于区块链的农业科学数据管理场景模型构建研究'}, 39: {'name': '吕凤先', 'college': '中国科学院文献情报中心', 'major': '科学研究管理;图书情报与数字图书馆;物理学;', 'paper': '美国能源基础科学竞争力分析及对我国的启示'}, 40: {'name': '朱相丽', 'college': '中国科学院文献情报中心', 'major': '图书情报与数字图书馆;科学研究管理;材料科学;', 'paper': '美国能源基础科学竞争力分析及对我国的启示'}, 41: {'name': '刘小平', 'college': '中国科学院大学', 'major': '图书情报与数字图书馆;科学研究管理;物理学;', 'paper': '美国能源基础科学竞争力分析及对我国的启示'}, 42: {'name': '白云朴', 'college': '南京航空航天大学', 'major': '信息经济与邮政经济;企业经济;经济体制改革;', 'paper': '科学数据共享研究的演化路径分析'}, 43: {'name': '李果', 'college': '南京邮电大学', 'major': '信息经济与邮政经济;经济体制改革;人才学与劳动科学;', 'paper': '科学数据共享研究的演化路径分析'}, 44: {'name': 'Andrew Chi-Chih YAO', 'college': '清华大学', 'major': '计算机硬件技术;高等教育;', 'paper': 'Perspectives from the second Global Forum on Development of Computer Science'}, 45: {'name': 'Xia YIN', 'college': '清华大学', 'major': '计算机硬件技术;', 'paper': 'Perspectives from the second Global Forum on Development of Computer Science'}, 46: {'name': 'Yinqun LIU', 'college': '清华大学', 'major': '计算机硬件技术;', 'paper': 'Perspectives from the second Global Forum on Development of Computer Science'}, 47: {'name': 'Guoliang LI', 'college': '清华大学', 'major': '计算机软件及计算机应用;计算机硬件技术;冶金工业;', 'paper': 'Perspectives from the second Global Forum on Development of Computer Science'}, 48: {'name': '包秋华', 'college': '内蒙古农业大学', 'major': '生物学;轻工业手工业;中医学;', 'paper': '基于Web of Science细菌活但非可培养态研究文献的可视化分析'}, 49: {'name': '刘倩宇', 'college': '中国农业科学院植物保护研究所', 'major': '植物保护;化学;图书情报与数字图书馆;', 'paper': '基于Web of Science细菌活但非可培养态研究文献的可视化分析'}, 50: {'name': '阎晓阳', 'college': '北京大学', 'major': '马克思主义;中国共产党;政治学;', 'paper': '如何理解“科学社会主义的入门”？——基于《社会主义从空想到科学的发展》'}, 51: {'name': '张建琴', 'college': '嘉兴学院', 'major': '自然科学理论与方法;科学研究管理;非线性科学与系统科学;', 'paper': '评析贾祖璋的科普思想及实践'}, 52: {'name': '高铸烨', 'college': '中国中医科学院西苑医院', 'major': '中医学;心血管系统疾病;中药学;', 'paper': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, 53: {'name': '张冬梅', 'college': '北京中医药大学东直门医院', 'major': '中药学;中医学;心血管系统疾病;', 'paper': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, 54: {'name': '赵京霞', 'college': '首都医科大学附属北京中医医院', 'major': '中药学;临床医学;中医学;', 'paper': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, 55: {'name': '徐鹏', 'college': '长春中医药大学附属医院', 'major': '中医学;神经病学;中药学;', 'paper': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, 56: {'name': '毕明刚', 'college': '国家自然科学基金委员会', 'major': '中药学;中医学;肿瘤学;', 'paper': '国家自然科学基金血瘀证与活血化瘀领域资助情况与研究趋势分析'}, 57: {'name': '刘睿', 'college': '山东理工大学', 'major': '地质学;矿业工程;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 58: {'name': '左蕾', 'college': '山东理工大学', 'major': '地质学;矿业工程;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 59: {'name': '张鹏', 'college': '山东理工大学', 'major': '地质学;矿业工程;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 60: {'name': '赵宗超', 'college': '山东理工大学', 'major': '计算机软件及计算机应用;自动化技术;地质学;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 61: {'name': '陶刚', 'college': '成都理工大学', 'major': '地质学;石油天然气工业;地球物理学;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 62: {'name': '王坤', 'college': '中国矿业大学', 'major': '地质学;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 63: {'name': '陶东平', 'college': '山东理工大学', 'major': '矿业工程;有机化工;无机化工;', 'paper': '纳米地质学——量子科学走进地质学的桥梁'}, 64: {'name': '张紫璇', 'college': '中国中医科学院针灸研究所', 'major': '中医学;内分泌腺及全身性疾病;图书情报与数字图书馆;', 'paper': '脑科学技术在针刺研究中的应用'}, 65: {'name': '李少源', 'college': '中国中医科学院针灸研究所', 'major': '中医学;基础医学;内分泌腺及全身性疾病;', 'paper': '脑科学技术在针刺研究中的应用'}, 66: {'name': '王瑜', 'college': '中国中医科学院针灸研究所', 'major': '中医学;基础医学;临床医学;', 'paper': '脑科学技术在针刺研究中的应用'}, 67: {'name': '王艺霏', 'college': '中国中医科学院针灸研究所', 'major': '中医学;内分泌腺及全身性疾病;图书情报与数字图书馆;', 'paper': '脑科学技术在针刺研究中的应用'}, 68: {'name': '赵亚楠', 'college': '中国中医科学院针灸研究所', 'major': '中医学;计算机软件及计算机应用;', 'paper': '脑科学技术在针刺研究中的应用'}, 69: {'name': '荣培晶', 'college': '中国中医科学院针灸研究所', 'major': '中医学;基础医学;中药学;', 'paper': '脑科学技术在针刺研究中的应用'}, 70: {'name': '熊璋', 'college': '中国教育部', 'major': '计算机软件及计算机应用;电信技术;互联网技术;', 'paper': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, 71: {'name': '赵健', 'college': '华东师范大学', 'major': '教育理论与教育管理;中等教育;计算机软件及计算机应用;', 'paper': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, 72: {'name': '陆海丰', 'college': '浙江省海宁市教育局', 'major': '中等教育;', 'paper': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, 73: {'name': '欧阳元新', 'college': '北京航空航天大学', 'major': '计算机软件及计算机应用;计算机硬件技术;电信技术;', 'paper': '义务教育阶段信息科技课程的时代性与科学性——《义务教育信息科技课程标准(2022年版)》解读'}, 74: {'name': '李梦柯', 'college': '中国科学院大学', 'major': '机械工业;科学研究管理;宏观经济管理与可持续发展;', 'paper': '科学知识特征对基于科学的创新绩效的影响——基于仪器产业的分析'}, 75: {'name': '王芳', 'college': '中国科学院地理科学与资源研究所', 'major': '临床医学;环境科学与资源利用;儿科学;', 'paper': '科学知识特征对基于科学的创新绩效的影响——基于仪器产业的分析'}, 76: {'name': '赵兰香', 'college': '中国科学院科技战略咨询研究院', 'major': '科学研究管理;企业经济;宏观经济管理与可持续发展;', 'paper': '科学知识特征对基于科学的创新绩效的影响——基于仪器产业的分析'}, 'type': 'response'} +2022-07-04 07:45:38.492 | DEBUG | __main__::15 - reading config args... +2022-07-04 07:45:56.933 | DEBUG | __main__::15 - reading config args... +2022-07-04 07:48:17.164 | DEBUG | __main__::15 - reading config args... +2022-07-04 07:51:26.169 | DEBUG | __main__::15 - reading config args... +2022-07-04 07:51:38.410 | DEBUG | __main__::15 - reading config args... +2022-07-04 07:57:18.800 | DEBUG | __main__::15 - reading config args... +2022-07-04 07:58:17.702 | DEBUG | __main__::15 - reading config args... +2022-07-04 07:58:36.289 | DEBUG | __main__::15 - reading config args... +2022-07-04 07:59:25.030 | DEBUG | __main__::15 - reading config args... +2022-07-04 07:59:49.451 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9002) +2022-07-04 07:59:49.466 | ERROR | dcs.tests.requestHandler:run:16 - +2022-07-04 07:59:49.466 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 07:59:49.513 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 07:59:49.513 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 07:59:49.686 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 07:59:50.063 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 密码错误，登录失败 +2022-07-04 07:59:50.142 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'cookie': '密码错误，登录失败'} +2022-07-04 07:59:50.157 | ERROR | dcs.tests.requestHandler:run:38 - unpack requires a buffer of 8 bytes +2022-07-04 07:59:50.204 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'login': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:33:07.498 | DEBUG | __main__::15 - reading config args... +2022-07-04 08:33:45.627 | DEBUG | __main__::15 - reading config args... +2022-07-04 08:34:48.318 | DEBUG | __main__::15 - reading config args... +2022-07-04 08:34:57.878 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9002) +2022-07-04 08:34:57.926 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:34:57.988 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:34:57.988 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:34:58.286 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:34:58.538 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 密码错误，登录失败 +2022-07-04 08:34:58.554 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'cookie': '密码错误，登录失败'} +2022-07-04 08:34:58.569 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:34:58.648 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'login': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:35:23.811 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 08:35:23.984 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:35:24.015 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:35:24.015 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:35:24.235 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:35:24.611 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 密码错误，登录失败 +2022-07-04 08:35:24.643 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '密码错误，登录失败'} +2022-07-04 08:35:24.706 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:35:24.721 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 08:35:24.721 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked 密码错误，登录失败 +2022-07-04 08:35:24.894 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked 密码错误，登录失败'} +2022-07-04 08:35:24.989 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 08:35:24.989 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 08:39:55.964 | DEBUG | __main__::15 - reading config args... +2022-07-04 08:40:11.643 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 08:40:11.705 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:40:11.721 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 08:40:11.721 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:40:12.035 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:40:12.349 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 注册成功 +2022-07-04 08:40:12.349 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '注册成功'} +2022-07-04 08:40:12.412 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:40:12.428 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:40:12.428 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:40:12.647 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:40:12.867 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 密码错误，登录失败 +2022-07-04 08:40:12.914 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '密码错误，登录失败'} +2022-07-04 08:40:13.008 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:40:13.024 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 08:40:13.024 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked 密码错误，登录失败 +2022-07-04 08:40:13.102 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked 密码错误，登录失败'} +2022-07-04 08:40:13.150 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 08:40:13.150 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 08:40:52.433 | DEBUG | __main__::15 - reading config args... +2022-07-04 08:40:54.975 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 08:40:55.085 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:40:55.100 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 08:40:55.100 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:40:55.352 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:40:55.618 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 08:40:55.634 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 08:40:55.744 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:40:55.760 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:40:55.760 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:40:56.089 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:40:56.419 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:40:56.717 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 47bbb76f363ff9184bc971a16295806e25327f62 +2022-07-04 08:40:56.749 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '47bbb76f363ff9184bc971a16295806e25327f62'} +2022-07-04 08:40:56.921 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:40:56.953 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 08:40:56.953 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked 47bbb76f363ff9184bc971a16295806e25327f62 +2022-07-04 08:40:57.031 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked 47bbb76f363ff9184bc971a16295806e25327f62'} +2022-07-04 08:40:57.078 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 08:40:57.078 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 08:44:18.025 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 08:44:18.057 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:44:18.072 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 08:44:18.072 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:44:18.213 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:44:18.480 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 注册成功 +2022-07-04 08:44:18.512 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'register': '注册成功'} +2022-07-04 08:44:18.575 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:44:18.606 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'register': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:44:30.896 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 08:44:31.021 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:44:31.037 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:44:31.037 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:44:31.680 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:44:32.402 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:44:33.234 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 97c3f5c5353214314f22b2ff6b3002e0f2a8c702 +2022-07-04 08:44:33.281 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': '97c3f5c5353214314f22b2ff6b3002e0f2a8c702'} +2022-07-04 08:44:33.312 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:44:33.359 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'login': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:44:41.144 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 08:44:41.207 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:44:41.631 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 08:44:41.662 | INFO | dcs.tests.spider_task:distribute_task:138 - distributing task: (('10.129.16.173', 9001), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': '97c3f5c5353214314f22b2ff6b3002e0f2a8c702'}) +2022-07-04 08:44:41.662 | DEBUG | dcs.tests.spider_task:distribute_task:151 - [, ] +2022-07-04 08:44:41.662 | DEBUG | dcs.tests.spider_task:run:190 - [] +2022-07-04 08:44:41.662 | DEBUG | dcs.tests.spider_task:run:202 - generating remote task +2022-07-04 08:44:41.662 | INFO | dcs.requester:get:40 - sending crawl request to ('127.0.0.1', 9999) +2022-07-04 08:44:41.678 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'crawling state': 'starting, please wait...'} +2022-07-04 08:44:41.741 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:44:41.773 | DEBUG | dcs.tests.spider_task:run:210 - generating local task +2022-07-04 08:44:41.788 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'crawl zhiwang': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:45:08.166 | DEBUG | dcs.requester:run:64 - receiving remote task result, saving... +2022-07-04 08:45:08.197 | DEBUG | dcs.requester:run:68 - result: {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '吴迪', 'college': '承德医学院附属医院', 'major': '外科学;临床医学;生物学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '5': {'name': '司丽娜', 'college': '承德医学院', 'major': '基础医学;生物学;外科学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '6': {'name': '武丽珠', 'college': '承德市中心医院', 'major': '外科学;心血管系统疾病;急救医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '7': {'name': '王建华', 'college': '承德医学院附属医院', 'major': '外科学;计算机软件及计算机应用;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '8': {'name': '罗金伟', 'college': '承德医学院附属医院', 'major': '外科学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '9': {'name': '常乾坤', 'college': '承德医学院附属医院', 'major': '外科学;临床医学;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '10': {'name': '吕永明', 'college': '承德医学院附属医院', 'major': '外科学;内分泌腺及全身性疾病;临床医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '11': {'name': '杜元良', 'college': '承德医学院附属医院', 'major': '外科学;内分泌腺及全身性疾病;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '12': {'name': '康熙', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;农业工程;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '13': {'name': '刘刚', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;自动化技术;农业工程;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '14': {'name': '初梦苑', 'college': '河北农业大学', 'major': '计算机软件及计算机应用;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '15': {'name': '李前', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '16': {'name': '王彦超', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '17': {'name': '杨骏', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;自动化技术;电信技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '18': {'name': '项炜', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '19': {'name': '敬思远', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;自动化技术;计算机硬件技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '20': {'name': '苏炳均', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;计算机硬件技术;电信技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '21': {'name': '张娜娜', 'college': '上海思博职业技术学院', 'major': '计算机软件及计算机应用;轻工业手工业;', 'title': '基于计算机视觉传达的皮革缺陷检测算法研究'}, '22': {'name': '李晓辉', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '23': {'name': '杨洪伟', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '24': {'name': '蒋兰玲', 'college': '辽宁省农业科学院', 'major': '计算机软件及计算机应用;计算机硬件技术;园艺;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '25': {'name': '张芳', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '26': {'name': '贾小军', 'college': '嘉兴学院', 'major': '计算机软件及计算机应用;自动化技术;教育理论与教育管理;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '27': {'name': '张春花', 'college': '嘉兴学院', 'major': '计算机硬件技术;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '28': {'name': '刘子豪', 'college': '嘉兴学院', 'major': '计算机软件及计算机应用;自动化技术;仪器仪表工业;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '29': {'name': '周学勇', 'college': '信阳师范学院', 'major': '数学;高等教育;生物学;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '30': {'name': '路振国', 'college': '信阳师范学院', 'major': '数学;高等教育;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '31': {'name': '程晓明', 'college': '信阳师范学院', 'major': '数学;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '32': {'name': '李娜', 'college': '中国科学院大学', 'major': '生物学;计算机软件及计算机应用;生物医学工程;', 'title': '计算机辅助血管介入技术进展综述'}, '33': {'name': '贺建安', 'college': '东南大学', 'major': '生物学;计算机软件及计算机应用;生物医学工程;', 'title': '计算机辅助血管介入技术进展综述'}, '34': {'name': '陈阳', 'college': '东南大学', 'major': '计算机软件及计算机应用;临床医学;计算机硬件技术;', 'title': '计算机辅助血管介入技术进展综述'}, '35': {'name': '周寿军', 'college': '中国科学院深圳先进技术研究院', 'major': '计算机软件及计算机应用;生物医学工程;外科学;', 'title': '计算机辅助血管介入技术进展综述'}, '36': {'name': '李正凡', 'college': '云南华能澜沧江水电有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '37': {'name': '谭良良', 'college': '南京市南瑞继保工程技术有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '38': {'name': '杨渊', 'college': '西安热工研究院有限公司', 'major': '电力工业;电信技术;水利水电工程;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '39': {'name': '陈映喜', 'college': '云南华能澜沧江水电有限公司', 'major': '电力工业;水利水电工程;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '40': {'name': '周喜', 'college': '云南华能澜沧江水电有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '41': {'name': '杨伟', 'college': '南京市南瑞继保工程技术有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '42': {'name': '刘文', 'college': '上海大学', 'major': '航空航天科学与工程;计算机软件及计算机应用;', 'title': '基于机载计算机的无人机智能巡检方案'}, '43': {'name': '陆小锋', 'college': '上海大学', 'major': '计算机软件及计算机应用;临床医学;神经病学;', 'title': '基于机载计算机的无人机智能巡检方案'}, '44': {'name': '毛建华', 'college': '上海大学', 'major': '计算机软件及计算机应用;自然地理学和测绘学;自动化技术;', 'title': '基于机载计算机的无人机智能巡检方案'}, '45': {'name': '方思凯', 'college': 'Shanghai University', 'major': '航空航天科学与工程;计算机软件及计算机应用;', 'title': '基于机载计算机的无人机智能巡检方案'}, '46': {'name': '钱国', 'college': '上海宝冶冶金工程有限公司', 'major': '计算机软件及计算机应用;建筑科学与工程;航空航天科学与工程;', 'title': '基于机载计算机的无人机智能巡检方案'}, '47': {'name': '黄立鹤', 'college': '同济大学', 'major': '中国语言文字;外国语言文字;高等教育;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '48': {'name': '曲惠宇', 'college': '同济大学', 'major': '中国语言文字;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '49': {'name': '杨晶晶', 'college': '同济大学', 'major': '中国语言文字;精神病学;中国政治与国际政治;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '50': {'name': '杨乐', 'college': '山西工程科技职业大学', 'major': '互联网技术;高等教育;', 'title': '关于高校计算机实验室网络安全管理的研究'}, '51': {'name': '孟云飞', 'college': '哈尔滨职业技术学院', 'major': '计算机软件及计算机应用;轻工业手工业;教育理论与教育管理;', 'title': '计算机系统与信息管理融合发展研究'}, '52': {'name': '郝玉成', 'college': '合肥学院', 'major': '化学;无机化工;材料科学;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '53': {'name': '张全争', 'college': '合肥学院', 'major': '化学;无机化工;有机化工;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '54': {'name': '林文海', 'college': '合肥学院', 'major': '无线电电子学;高等教育;电力工业;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '55': {'name': '秦广超', 'college': '合肥学院', 'major': '无机化工;轻工业手工业;化学;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '56': {'name': '谭毅飞', 'college': '上海市东亚联合控股(集团)有限公司', 'major': '建筑科学与工程;计算机软件及计算机应用;自动化技术;', 'title': '计算机视觉与传感技术下全新劳务计酬模式探究'}, '57': {'name': '吴涤清', 'college': '徐州医科大学', 'major': '口腔科学;肿瘤学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '58': {'name': '李志萍', 'college': '徐州市中心医院', 'major': '口腔科学;肿瘤学;外科学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '59': {'name': '孟箭', 'college': '徐州市中心医院', 'major': '口腔科学;肿瘤学;临床医学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '60': {'name': '陈彬', 'college': '徐州市中心医院', 'major': '口腔科学;仪器仪表工业;肿瘤学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '61': {'name': '张新星', 'college': '衢州职业技术学院', 'major': '电力工业;机械工业;外科学;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '62': {'name': '赵英杰', 'college': '衢州职业技术学院', 'major': '外科学;自动化技术;生物医学工程;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '63': {'name': '陈超', 'college': '衢州职业技术学院', 'major': '外科学;自动化技术;生物医学工程;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '64': {'name': '张鹏', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '65': {'name': '郭菁', 'college': '南昌大学附属口腔医院', 'major': '口腔科学;生物医学工程;内分泌腺及全身性疾病;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '66': {'name': '曾永发', 'college': '南昌大学附属口腔医院', 'major': '口腔科学;生物医学工程;医学教育与医学边缘学科;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '67': {'name': '胡建宇', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '68': {'name': '郭冬花', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}} +2022-07-04 08:45:51.793 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:45:52.060 | INFO | dcs.tests.spider_task:run:101 - partial crawl task finished: (('10.129.16.173', 9001), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 2, 'pages_end': 3, 'cookie': '97c3f5c5353214314f22b2ff6b3002e0f2a8c702'}) +2022-07-04 08:45:52.060 | DEBUG | dcs.tests.spider_task:run:210 - generating local task +2022-07-04 08:47:41.798 | DEBUG | __main__::15 - reading config args... +2022-07-04 08:47:49.475 | DEBUG | __main__::15 - reading config args... +2022-07-04 08:48:04.400 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 08:48:04.557 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:48:04.573 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 08:48:04.573 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:48:04.729 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:48:04.902 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 08:48:04.918 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 08:48:05.091 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:48:05.106 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:48:05.106 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:48:05.311 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:48:06.723 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:48:07.147 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 53d1ca2c7eb7a15513a5f405ab4f06930ab59cbd +2022-07-04 08:48:07.241 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '53d1ca2c7eb7a15513a5f405ab4f06930ab59cbd'} +2022-07-04 08:48:07.304 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:48:07.351 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 08:48:07.351 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked 53d1ca2c7eb7a15513a5f405ab4f06930ab59cbd +2022-07-04 08:48:07.445 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked 53d1ca2c7eb7a15513a5f405ab4f06930ab59cbd'} +2022-07-04 08:48:07.461 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 08:48:07.461 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 08:48:22.904 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 08:48:23.171 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:48:23.187 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:48:23.187 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:48:23.971 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:48:24.206 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:48:24.348 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 96995ac24b4e74fb446e2f01d3618957cef5d28a +2022-07-04 08:48:24.458 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': '96995ac24b4e74fb446e2f01d3618957cef5d28a'} +2022-07-04 08:48:24.646 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:48:24.741 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'login': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:48:31.223 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 08:48:31.333 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:48:31.710 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 08:48:31.741 | INFO | dcs.tests.spider_task:distribute_task:138 - distributing task: (('10.129.16.173', 9001), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': '96995ac24b4e74fb446e2f01d3618957cef5d28a'}) +2022-07-04 08:48:31.741 | DEBUG | dcs.tests.spider_task:distribute_task:151 - [, ] +2022-07-04 08:48:31.820 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'crawling state': 'starting, please wait...'} +2022-07-04 08:48:31.741 | DEBUG | dcs.tests.spider_task:run:190 - [] +2022-07-04 08:48:31.820 | DEBUG | dcs.tests.spider_task:run:202 - generating remote task +2022-07-04 08:48:31.820 | INFO | dcs.requester:get:40 - sending crawl request to ('127.0.0.1', 9999) +2022-07-04 08:48:31.851 | DEBUG | dcs.tests.spider_task:run:210 - generating local task +2022-07-04 08:48:31.914 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:48:32.039 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'crawl zhiwang': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:48:55.022 | DEBUG | dcs.requester:run:64 - receiving remote task result, saving... +2022-07-04 08:48:55.023 | DEBUG | dcs.requester:run:68 - result: {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '吴迪', 'college': '承德医学院附属医院', 'major': '外科学;临床医学;生物学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '5': {'name': '司丽娜', 'college': '承德医学院', 'major': '基础医学;生物学;外科学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '6': {'name': '武丽珠', 'college': '承德市中心医院', 'major': '外科学;心血管系统疾病;急救医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '7': {'name': '王建华', 'college': '承德医学院附属医院', 'major': '外科学;计算机软件及计算机应用;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '8': {'name': '罗金伟', 'college': '承德医学院附属医院', 'major': '外科学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '9': {'name': '常乾坤', 'college': '承德医学院附属医院', 'major': '外科学;临床医学;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '10': {'name': '吕永明', 'college': '承德医学院附属医院', 'major': '外科学;内分泌腺及全身性疾病;临床医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '11': {'name': '杜元良', 'college': '承德医学院附属医院', 'major': '外科学;内分泌腺及全身性疾病;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '12': {'name': '康熙', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;农业工程;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '13': {'name': '刘刚', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;自动化技术;农业工程;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '14': {'name': '初梦苑', 'college': '河北农业大学', 'major': '计算机软件及计算机应用;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '15': {'name': '李前', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '16': {'name': '王彦超', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '17': {'name': '杨骏', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;自动化技术;电信技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '18': {'name': '项炜', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '19': {'name': '敬思远', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;自动化技术;计算机硬件技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '20': {'name': '苏炳均', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;计算机硬件技术;电信技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '21': {'name': '张娜娜', 'college': '上海思博职业技术学院', 'major': '计算机软件及计算机应用;轻工业手工业;', 'title': '基于计算机视觉传达的皮革缺陷检测算法研究'}, '22': {'name': '李晓辉', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '23': {'name': '杨洪伟', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '24': {'name': '蒋兰玲', 'college': '辽宁省农业科学院', 'major': '计算机软件及计算机应用;计算机硬件技术;园艺;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '25': {'name': '张芳', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '26': {'name': '贾小军', 'college': '嘉兴学院', 'major': '计算机软件及计算机应用;自动化技术;教育理论与教育管理;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '27': {'name': '张春花', 'college': '嘉兴学院', 'major': '计算机硬件技术;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '28': {'name': '刘子豪', 'college': '嘉兴学院', 'major': '计算机软件及计算机应用;自动化技术;仪器仪表工业;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '29': {'name': '周学勇', 'college': '信阳师范学院', 'major': '数学;高等教育;生物学;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '30': {'name': '路振国', 'college': '信阳师范学院', 'major': '数学;高等教育;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '31': {'name': '程晓明', 'college': '信阳师范学院', 'major': '数学;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '32': {'name': '李娜', 'college': '中国科学院大学', 'major': '生物学;计算机软件及计算机应用;生物医学工程;', 'title': '计算机辅助血管介入技术进展综述'}, '33': {'name': '贺建安', 'college': '东南大学', 'major': '生物学;计算机软件及计算机应用;生物医学工程;', 'title': '计算机辅助血管介入技术进展综述'}, '34': {'name': '陈阳', 'college': '东南大学', 'major': '计算机软件及计算机应用;临床医学;计算机硬件技术;', 'title': '计算机辅助血管介入技术进展综述'}, '35': {'name': '周寿军', 'college': '中国科学院深圳先进技术研究院', 'major': '计算机软件及计算机应用;生物医学工程;外科学;', 'title': '计算机辅助血管介入技术进展综述'}, '36': {'name': '李正凡', 'college': '云南华能澜沧江水电有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '37': {'name': '谭良良', 'college': '南京市南瑞继保工程技术有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '38': {'name': '杨渊', 'college': '西安热工研究院有限公司', 'major': '电力工业;电信技术;水利水电工程;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '39': {'name': '陈映喜', 'college': '云南华能澜沧江水电有限公司', 'major': '电力工业;水利水电工程;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '40': {'name': '周喜', 'college': '云南华能澜沧江水电有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '41': {'name': '杨伟', 'college': '南京市南瑞继保工程技术有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '42': {'name': '刘文', 'college': '上海大学', 'major': '航空航天科学与工程;计算机软件及计算机应用;', 'title': '基于机载计算机的无人机智能巡检方案'}, '43': {'name': '陆小锋', 'college': '上海大学', 'major': '计算机软件及计算机应用;临床医学;神经病学;', 'title': '基于机载计算机的无人机智能巡检方案'}, '44': {'name': '毛建华', 'college': '上海大学', 'major': '计算机软件及计算机应用;自然地理学和测绘学;自动化技术;', 'title': '基于机载计算机的无人机智能巡检方案'}, '45': {'name': '方思凯', 'college': 'Shanghai University', 'major': '航空航天科学与工程;计算机软件及计算机应用;', 'title': '基于机载计算机的无人机智能巡检方案'}, '46': {'name': '钱国', 'college': '上海宝冶冶金工程有限公司', 'major': '计算机软件及计算机应用;建筑科学与工程;航空航天科学与工程;', 'title': '基于机载计算机的无人机智能巡检方案'}, '47': {'name': '黄立鹤', 'college': '同济大学', 'major': '中国语言文字;外国语言文字;高等教育;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '48': {'name': '曲惠宇', 'college': '同济大学', 'major': '中国语言文字;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '49': {'name': '杨晶晶', 'college': '同济大学', 'major': '中国语言文字;精神病学;中国政治与国际政治;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '50': {'name': '杨乐', 'college': '山西工程科技职业大学', 'major': '互联网技术;高等教育;', 'title': '关于高校计算机实验室网络安全管理的研究'}, '51': {'name': '孟云飞', 'college': '哈尔滨职业技术学院', 'major': '计算机软件及计算机应用;轻工业手工业;教育理论与教育管理;', 'title': '计算机系统与信息管理融合发展研究'}, '52': {'name': '郝玉成', 'college': '合肥学院', 'major': '化学;无机化工;材料科学;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '53': {'name': '张全争', 'college': '合肥学院', 'major': '化学;无机化工;有机化工;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '54': {'name': '林文海', 'college': '合肥学院', 'major': '无线电电子学;高等教育;电力工业;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '55': {'name': '秦广超', 'college': '合肥学院', 'major': '无机化工;轻工业手工业;化学;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '56': {'name': '谭毅飞', 'college': '上海市东亚联合控股(集团)有限公司', 'major': '建筑科学与工程;计算机软件及计算机应用;自动化技术;', 'title': '计算机视觉与传感技术下全新劳务计酬模式探究'}, '57': {'name': '吴涤清', 'college': '徐州医科大学', 'major': '口腔科学;肿瘤学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '58': {'name': '李志萍', 'college': '徐州市中心医院', 'major': '口腔科学;肿瘤学;外科学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '59': {'name': '孟箭', 'college': '徐州市中心医院', 'major': '口腔科学;肿瘤学;临床医学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '60': {'name': '陈彬', 'college': '徐州市中心医院', 'major': '口腔科学;仪器仪表工业;肿瘤学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '61': {'name': '张新星', 'college': '衢州职业技术学院', 'major': '电力工业;机械工业;外科学;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '62': {'name': '赵英杰', 'college': '衢州职业技术学院', 'major': '外科学;自动化技术;生物医学工程;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '63': {'name': '陈超', 'college': '衢州职业技术学院', 'major': '外科学;自动化技术;生物医学工程;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '64': {'name': '张鹏', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '65': {'name': '郭菁', 'college': '南昌大学附属口腔医院', 'major': '口腔科学;生物医学工程;内分泌腺及全身性疾病;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '66': {'name': '曾永发', 'college': '南昌大学附属口腔医院', 'major': '口腔科学;生物医学工程;医学教育与医学边缘学科;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '67': {'name': '胡建宇', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '68': {'name': '郭冬花', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}} +2022-07-04 08:49:34.532 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:53:27.442 | DEBUG | __main__::15 - reading config args... +2022-07-04 08:53:30.346 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 08:53:30.424 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:53:30.440 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 08:53:30.440 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:53:30.613 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:53:30.880 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 08:53:31.052 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 08:53:31.068 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:53:31.115 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:53:31.115 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:53:31.319 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:53:31.602 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:53:31.759 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: e3ae8137da9e0de6b27ff07f51abc13594745520 +2022-07-04 08:53:31.790 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': 'e3ae8137da9e0de6b27ff07f51abc13594745520'} +2022-07-04 08:53:31.806 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:53:31.822 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 08:53:31.822 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked e3ae8137da9e0de6b27ff07f51abc13594745520 +2022-07-04 08:53:31.837 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked e3ae8137da9e0de6b27ff07f51abc13594745520'} +2022-07-04 08:53:31.884 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 08:53:31.884 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 08:53:40.830 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 08:53:41.034 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:53:41.049 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:53:41.049 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:53:41.411 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:53:41.615 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:53:41.929 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 72e2e7c4b00e972ec08eacbc444fcfdcd20049fd +2022-07-04 08:53:42.070 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': '72e2e7c4b00e972ec08eacbc444fcfdcd20049fd'} +2022-07-04 08:53:42.211 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:53:42.227 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'login': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:53:49.257 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 08:53:49.304 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:53:49.837 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 08:53:49.853 | INFO | dcs.tests.spider_task:distribute_task:140 - distributing task: (('10.129.16.173', 9001), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': '72e2e7c4b00e972ec08eacbc444fcfdcd20049fd'}) +2022-07-04 08:53:49.853 | DEBUG | dcs.tests.spider_task:distribute_task:153 - [, ] +2022-07-04 08:53:49.853 | DEBUG | dcs.tests.spider_task:run:192 - [] +2022-07-04 08:53:49.853 | DEBUG | dcs.tests.spider_task:run:204 - generating remote task +2022-07-04 08:53:49.853 | INFO | dcs.requester:get:40 - sending crawl request to ('127.0.0.1', 9999) +2022-07-04 08:53:49.869 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'crawling state': 'starting, please wait...'} +2022-07-04 08:53:49.900 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:53:49.947 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'crawl zhiwang': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:53:49.994 | DEBUG | dcs.tests.spider_task:run:212 - generating local task +2022-07-04 08:54:15.592 | DEBUG | dcs.requester:run:64 - receiving remote task result, saving... +2022-07-04 08:54:15.592 | DEBUG | dcs.requester:run:68 - result: {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '吴迪', 'college': '承德医学院附属医院', 'major': '外科学;临床医学;生物学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '5': {'name': '司丽娜', 'college': '承德医学院', 'major': '基础医学;生物学;外科学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '6': {'name': '武丽珠', 'college': '承德市中心医院', 'major': '外科学;心血管系统疾病;急救医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '7': {'name': '王建华', 'college': '承德医学院附属医院', 'major': '外科学;计算机软件及计算机应用;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '8': {'name': '罗金伟', 'college': '承德医学院附属医院', 'major': '外科学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '9': {'name': '常乾坤', 'college': '承德医学院附属医院', 'major': '外科学;临床医学;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '10': {'name': '吕永明', 'college': '承德医学院附属医院', 'major': '外科学;内分泌腺及全身性疾病;临床医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '11': {'name': '杜元良', 'college': '承德医学院附属医院', 'major': '外科学;内分泌腺及全身性疾病;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '12': {'name': '康熙', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;农业工程;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '13': {'name': '刘刚', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;自动化技术;农业工程;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '14': {'name': '初梦苑', 'college': '河北农业大学', 'major': '计算机软件及计算机应用;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '15': {'name': '李前', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '16': {'name': '王彦超', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '17': {'name': '杨骏', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;自动化技术;电信技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '18': {'name': '项炜', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '19': {'name': '敬思远', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;自动化技术;计算机硬件技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '20': {'name': '苏炳均', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;计算机硬件技术;电信技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '21': {'name': '张娜娜', 'college': '上海思博职业技术学院', 'major': '计算机软件及计算机应用;轻工业手工业;', 'title': '基于计算机视觉传达的皮革缺陷检测算法研究'}, '22': {'name': '李晓辉', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '23': {'name': '杨洪伟', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '24': {'name': '蒋兰玲', 'college': '辽宁省农业科学院', 'major': '计算机软件及计算机应用;计算机硬件技术;园艺;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '25': {'name': '张芳', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '26': {'name': '贾小军', 'college': '嘉兴学院', 'major': '计算机软件及计算机应用;自动化技术;教育理论与教育管理;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '27': {'name': '张春花', 'college': '嘉兴学院', 'major': '计算机硬件技术;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '28': {'name': '刘子豪', 'college': '嘉兴学院', 'major': '计算机软件及计算机应用;自动化技术;仪器仪表工业;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '29': {'name': '周学勇', 'college': '信阳师范学院', 'major': '数学;高等教育;生物学;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '30': {'name': '路振国', 'college': '信阳师范学院', 'major': '数学;高等教育;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '31': {'name': '程晓明', 'college': '信阳师范学院', 'major': '数学;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '32': {'name': '李娜', 'college': '中国科学院大学', 'major': '生物学;计算机软件及计算机应用;生物医学工程;', 'title': '计算机辅助血管介入技术进展综述'}, '33': {'name': '贺建安', 'college': '东南大学', 'major': '生物学;计算机软件及计算机应用;生物医学工程;', 'title': '计算机辅助血管介入技术进展综述'}, '34': {'name': '陈阳', 'college': '东南大学', 'major': '计算机软件及计算机应用;临床医学;计算机硬件技术;', 'title': '计算机辅助血管介入技术进展综述'}, '35': {'name': '周寿军', 'college': '中国科学院深圳先进技术研究院', 'major': '计算机软件及计算机应用;生物医学工程;外科学;', 'title': '计算机辅助血管介入技术进展综述'}, '36': {'name': '李正凡', 'college': '云南华能澜沧江水电有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '37': {'name': '谭良良', 'college': '南京市南瑞继保工程技术有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '38': {'name': '杨渊', 'college': '西安热工研究院有限公司', 'major': '电力工业;电信技术;水利水电工程;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '39': {'name': '陈映喜', 'college': '云南华能澜沧江水电有限公司', 'major': '电力工业;水利水电工程;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '40': {'name': '周喜', 'college': '云南华能澜沧江水电有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '41': {'name': '杨伟', 'college': '南京市南瑞继保工程技术有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '42': {'name': '刘文', 'college': '上海大学', 'major': '航空航天科学与工程;计算机软件及计算机应用;', 'title': '基于机载计算机的无人机智能巡检方案'}, '43': {'name': '陆小锋', 'college': '上海大学', 'major': '计算机软件及计算机应用;临床医学;神经病学;', 'title': '基于机载计算机的无人机智能巡检方案'}, '44': {'name': '毛建华', 'college': '上海大学', 'major': '计算机软件及计算机应用;自然地理学和测绘学;自动化技术;', 'title': '基于机载计算机的无人机智能巡检方案'}, '45': {'name': '方思凯', 'college': 'Shanghai University', 'major': '航空航天科学与工程;计算机软件及计算机应用;', 'title': '基于机载计算机的无人机智能巡检方案'}, '46': {'name': '钱国', 'college': '上海宝冶冶金工程有限公司', 'major': '计算机软件及计算机应用;建筑科学与工程;航空航天科学与工程;', 'title': '基于机载计算机的无人机智能巡检方案'}, '47': {'name': '黄立鹤', 'college': '同济大学', 'major': '中国语言文字;外国语言文字;高等教育;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '48': {'name': '曲惠宇', 'college': '同济大学', 'major': '中国语言文字;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '49': {'name': '杨晶晶', 'college': '同济大学', 'major': '中国语言文字;精神病学;中国政治与国际政治;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '50': {'name': '杨乐', 'college': '山西工程科技职业大学', 'major': '互联网技术;高等教育;', 'title': '关于高校计算机实验室网络安全管理的研究'}, '51': {'name': '孟云飞', 'college': '哈尔滨职业技术学院', 'major': '计算机软件及计算机应用;轻工业手工业;教育理论与教育管理;', 'title': '计算机系统与信息管理融合发展研究'}, '52': {'name': '郝玉成', 'college': '合肥学院', 'major': '化学;无机化工;材料科学;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '53': {'name': '张全争', 'college': '合肥学院', 'major': '化学;无机化工;有机化工;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '54': {'name': '林文海', 'college': '合肥学院', 'major': '无线电电子学;高等教育;电力工业;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '55': {'name': '秦广超', 'college': '合肥学院', 'major': '无机化工;轻工业手工业;化学;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '56': {'name': '谭毅飞', 'college': '上海市东亚联合控股(集团)有限公司', 'major': '建筑科学与工程;计算机软件及计算机应用;自动化技术;', 'title': '计算机视觉与传感技术下全新劳务计酬模式探究'}, '57': {'name': '吴涤清', 'college': '徐州医科大学', 'major': '口腔科学;肿瘤学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '58': {'name': '李志萍', 'college': '徐州市中心医院', 'major': '口腔科学;肿瘤学;外科学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '59': {'name': '孟箭', 'college': '徐州市中心医院', 'major': '口腔科学;肿瘤学;临床医学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '60': {'name': '陈彬', 'college': '徐州市中心医院', 'major': '口腔科学;仪器仪表工业;肿瘤学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '61': {'name': '张新星', 'college': '衢州职业技术学院', 'major': '电力工业;机械工业;外科学;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '62': {'name': '赵英杰', 'college': '衢州职业技术学院', 'major': '外科学;自动化技术;生物医学工程;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '63': {'name': '陈超', 'college': '衢州职业技术学院', 'major': '外科学;自动化技术;生物医学工程;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '64': {'name': '张鹏', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '65': {'name': '郭菁', 'college': '南昌大学附属口腔医院', 'major': '口腔科学;生物医学工程;内分泌腺及全身性疾病;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '66': {'name': '曾永发', 'college': '南昌大学附属口腔医院', 'major': '口腔科学;生物医学工程;医学教育与医学边缘学科;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '67': {'name': '胡建宇', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '68': {'name': '郭冬花', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}} +2022-07-04 08:55:06.277 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:56:19.025 | DEBUG | __main__::15 - reading config args... +2022-07-04 08:56:21.533 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 08:56:21.611 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:56:21.643 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 08:56:21.643 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:56:21.910 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:56:22.209 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 08:56:22.256 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 08:56:22.303 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:56:22.319 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:56:22.319 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:56:22.680 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:56:22.853 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:56:23.277 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: ef58573968d3dc43bbd0e36c0f97aa4979c653f6 +2022-07-04 08:56:23.293 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': 'ef58573968d3dc43bbd0e36c0f97aa4979c653f6'} +2022-07-04 08:56:23.356 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:56:23.371 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 08:56:23.402 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked ef58573968d3dc43bbd0e36c0f97aa4979c653f6 +2022-07-04 08:56:23.434 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked ef58573968d3dc43bbd0e36c0f97aa4979c653f6'} +2022-07-04 08:56:23.527 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 08:56:23.527 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 08:56:55.237 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9002) +2022-07-04 08:56:55.268 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:56:55.284 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:56:55.284 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:56:55.441 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:56:55.520 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:56:55.802 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 758c43a46b2dc3601a10b7dc1180ae515b538ecf +2022-07-04 08:56:55.818 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'cookie': '758c43a46b2dc3601a10b7dc1180ae515b538ecf'} +2022-07-04 08:56:55.881 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:56:56.006 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'login': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:57:07.449 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9002) +2022-07-04 08:57:07.497 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:57:07.811 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 08:57:07.826 | INFO | dcs.tests.spider_task:distribute_task:140 - distributing task: (('127.0.0.1', 9002), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 5, 'cookie': '758c43a46b2dc3601a10b7dc1180ae515b538ecf'}) +2022-07-04 08:57:07.826 | DEBUG | dcs.tests.spider_task:distribute_task:153 - [, , , ] +2022-07-04 08:57:07.826 | DEBUG | dcs.tests.spider_task:run:192 - [] +2022-07-04 08:57:07.826 | DEBUG | dcs.tests.spider_task:run:204 - generating remote task +2022-07-04 08:57:07.826 | INFO | dcs.requester:get:40 - sending crawl request to ('127.0.0.1', 9999) +2022-07-04 08:57:07.826 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'crawling state': 'starting, please wait...'} +2022-07-04 08:57:07.842 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:57:07.968 | DEBUG | dcs.tests.spider_task:run:212 - generating local task +2022-07-04 08:57:08.031 | DEBUG | dcs.tests.spider_task:run:212 - generating local task +2022-07-04 08:57:08.094 | DEBUG | dcs.tests.spider_task:run:212 - generating local task +2022-07-04 08:57:08.094 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'crawl zhiwang': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:57:34.805 | DEBUG | dcs.requester:run:64 - receiving remote task result, saving... +2022-07-04 08:57:34.853 | DEBUG | dcs.requester:run:68 - result: {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '吴迪', 'college': '承德医学院附属医院', 'major': '外科学;临床医学;生物学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '5': {'name': '司丽娜', 'college': '承德医学院', 'major': '基础医学;生物学;外科学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '6': {'name': '武丽珠', 'college': '承德市中心医院', 'major': '外科学;心血管系统疾病;急救医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '7': {'name': '王建华', 'college': '承德医学院附属医院', 'major': '外科学;计算机软件及计算机应用;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '8': {'name': '罗金伟', 'college': '承德医学院附属医院', 'major': '外科学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '9': {'name': '常乾坤', 'college': '承德医学院附属医院', 'major': '外科学;临床医学;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '10': {'name': '吕永明', 'college': '承德医学院附属医院', 'major': '外科学;内分泌腺及全身性疾病;临床医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '11': {'name': '杜元良', 'college': '承德医学院附属医院', 'major': '外科学;内分泌腺及全身性疾病;基础医学;', 'title': '3D打印技术与计算机辅助设计应用在全膝关节置换治疗重度膝关节骨关节炎中的可行性'}, '12': {'name': '康熙', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;农业工程;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '13': {'name': '刘刚', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;自动化技术;农业工程;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '14': {'name': '初梦苑', 'college': '河北农业大学', 'major': '计算机软件及计算机应用;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '15': {'name': '李前', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '16': {'name': '王彦超', 'college': '中国农业大学', 'major': '计算机软件及计算机应用;畜牧与动物医学;', 'title': '基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战'}, '17': {'name': '杨骏', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;自动化技术;电信技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '18': {'name': '项炜', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '19': {'name': '敬思远', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;自动化技术;计算机硬件技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '20': {'name': '苏炳均', 'college': '乐山师范学院', 'major': '计算机软件及计算机应用;计算机硬件技术;电信技术;', 'title': '地方高校计算机专业人才工程能力培养策略'}, '21': {'name': '张娜娜', 'college': '上海思博职业技术学院', 'major': '计算机软件及计算机应用;轻工业手工业;', 'title': '基于计算机视觉传达的皮革缺陷检测算法研究'}, '22': {'name': '李晓辉', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '23': {'name': '杨洪伟', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '24': {'name': '蒋兰玲', 'college': '辽宁省农业科学院', 'major': '计算机软件及计算机应用;计算机硬件技术;园艺;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '25': {'name': '张芳', 'college': '沈阳农业大学', 'major': '计算机软件及计算机应用;计算机硬件技术;高等教育;', 'title': '新农科背景下大学生计算机应用能力提升教学研究与实践'}, '26': {'name': '贾小军', 'college': '嘉兴学院', 'major': '计算机软件及计算机应用;自动化技术;教育理论与教育管理;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '27': {'name': '张春花', 'college': '嘉兴学院', 'major': '计算机硬件技术;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '28': {'name': '刘子豪', 'college': '嘉兴学院', 'major': '计算机软件及计算机应用;自动化技术;仪器仪表工业;', 'title': '基于“复盘”模式的计算机通识课程管理研究'}, '29': {'name': '周学勇', 'college': '信阳师范学院', 'major': '数学;高等教育;生物学;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '30': {'name': '路振国', 'college': '信阳师范学院', 'major': '数学;高等教育;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '31': {'name': '程晓明', 'college': '信阳师范学院', 'major': '数学;', 'title': '一类分数阶计算机病毒模型的稳定性分析'}, '32': {'name': '李娜', 'college': '中国科学院大学', 'major': '生物学;计算机软件及计算机应用;生物医学工程;', 'title': '计算机辅助血管介入技术进展综述'}, '33': {'name': '贺建安', 'college': '东南大学', 'major': '生物学;计算机软件及计算机应用;生物医学工程;', 'title': '计算机辅助血管介入技术进展综述'}, '34': {'name': '陈阳', 'college': '东南大学', 'major': '计算机软件及计算机应用;临床医学;计算机硬件技术;', 'title': '计算机辅助血管介入技术进展综述'}, '35': {'name': '周寿军', 'college': '中国科学院深圳先进技术研究院', 'major': '计算机软件及计算机应用;生物医学工程;外科学;', 'title': '计算机辅助血管介入技术进展综述'}, '36': {'name': '李正凡', 'college': '云南华能澜沧江水电有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '37': {'name': '谭良良', 'college': '南京市南瑞继保工程技术有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '38': {'name': '杨渊', 'college': '西安热工研究院有限公司', 'major': '电力工业;电信技术;水利水电工程;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '39': {'name': '陈映喜', 'college': '云南华能澜沧江水电有限公司', 'major': '电力工业;水利水电工程;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '40': {'name': '周喜', 'college': '云南华能澜沧江水电有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '41': {'name': '杨伟', 'college': '南京市南瑞继保工程技术有限公司', 'major': '水利水电工程;电力工业;自动化技术;', 'title': '基于时间序列的国产化水电站计算机监控系统异常行为报警方法应用'}, '42': {'name': '刘文', 'college': '上海大学', 'major': '航空航天科学与工程;计算机软件及计算机应用;', 'title': '基于机载计算机的无人机智能巡检方案'}, '43': {'name': '陆小锋', 'college': '上海大学', 'major': '计算机软件及计算机应用;临床医学;神经病学;', 'title': '基于机载计算机的无人机智能巡检方案'}, '44': {'name': '毛建华', 'college': '上海大学', 'major': '计算机软件及计算机应用;自然地理学和测绘学;自动化技术;', 'title': '基于机载计算机的无人机智能巡检方案'}, '45': {'name': '方思凯', 'college': 'Shanghai University', 'major': '航空航天科学与工程;计算机软件及计算机应用;', 'title': '基于机载计算机的无人机智能巡检方案'}, '46': {'name': '钱国', 'college': '上海宝冶冶金工程有限公司', 'major': '计算机软件及计算机应用;建筑科学与工程;航空航天科学与工程;', 'title': '基于机载计算机的无人机智能巡检方案'}, '47': {'name': '黄立鹤', 'college': '同济大学', 'major': '中国语言文字;外国语言文字;高等教育;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '48': {'name': '曲惠宇', 'college': '同济大学', 'major': '中国语言文字;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '49': {'name': '杨晶晶', 'college': '同济大学', 'major': '中国语言文字;精神病学;中国政治与国际政治;', 'title': '老年话语的计算机自动文本分析：进展与前景'}, '50': {'name': '杨乐', 'college': '山西工程科技职业大学', 'major': '互联网技术;高等教育;', 'title': '关于高校计算机实验室网络安全管理的研究'}, '51': {'name': '孟云飞', 'college': '哈尔滨职业技术学院', 'major': '计算机软件及计算机应用;轻工业手工业;教育理论与教育管理;', 'title': '计算机系统与信息管理融合发展研究'}, '52': {'name': '郝玉成', 'college': '合肥学院', 'major': '化学;无机化工;材料科学;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '53': {'name': '张全争', 'college': '合肥学院', 'major': '化学;无机化工;有机化工;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '54': {'name': '林文海', 'college': '合肥学院', 'major': '无线电电子学;高等教育;电力工业;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '55': {'name': '秦广超', 'college': '合肥学院', 'major': '无机化工;轻工业手工业;化学;', 'title': '计算机在材料科学中的应用课程改革与应用型人才教学实践研究'}, '56': {'name': '谭毅飞', 'college': '上海市东亚联合控股(集团)有限公司', 'major': '建筑科学与工程;计算机软件及计算机应用;自动化技术;', 'title': '计算机视觉与传感技术下全新劳务计酬模式探究'}, '57': {'name': '吴涤清', 'college': '徐州医科大学', 'major': '口腔科学;肿瘤学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '58': {'name': '李志萍', 'college': '徐州市中心医院', 'major': '口腔科学;肿瘤学;外科学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '59': {'name': '孟箭', 'college': '徐州市中心医院', 'major': '口腔科学;肿瘤学;临床医学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '60': {'name': '陈彬', 'college': '徐州市中心医院', 'major': '口腔科学;仪器仪表工业;肿瘤学;', 'title': '计算机辅助测量唇腭裂继发颌骨畸形患者手术前后口腔及气道容积的变化'}, '61': {'name': '张新星', 'college': '衢州职业技术学院', 'major': '电力工业;机械工业;外科学;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '62': {'name': '赵英杰', 'college': '衢州职业技术学院', 'major': '外科学;自动化技术;生物医学工程;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '63': {'name': '陈超', 'college': '衢州职业技术学院', 'major': '外科学;自动化技术;生物医学工程;', 'title': '计算机辅助骨科手术机器人技术发展及应用综述'}, '64': {'name': '张鹏', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '65': {'name': '郭菁', 'college': '南昌大学附属口腔医院', 'major': '口腔科学;生物医学工程;内分泌腺及全身性疾病;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '66': {'name': '曾永发', 'college': '南昌大学附属口腔医院', 'major': '口腔科学;生物医学工程;医学教育与医学边缘学科;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '67': {'name': '胡建宇', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}, '68': {'name': '郭冬花', 'college': '南昌大学附属口腔医院', 'major': '医学教育与医学边缘学科;计算机软件及计算机应用;教育理论与教育管理;', 'title': '计算机绘图在口腔解剖生理学教学中的应用'}} +2022-07-04 08:58:01.889 | DEBUG | __main__::15 - reading config args... +2022-07-04 08:58:16.193 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9002) +2022-07-04 08:58:16.209 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 08:58:16.225 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 08:58:16.225 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:58:16.523 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:58:16.821 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:58:17.496 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: b5b6b34887d1cb33e79d00430bec5705f793f9be +2022-07-04 08:58:17.496 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'cookie': 'b5b6b34887d1cb33e79d00430bec5705f793f9be'} +2022-07-04 08:58:17.638 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:58:17.638 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'login': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:58:33.647 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9002) +2022-07-04 08:58:33.710 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 08:58:34.212 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 08:58:34.243 | INFO | dcs.tests.spider_task:distribute_task:140 - distributing task: (('127.0.0.1', 9002), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'b5b6b34887d1cb33e79d00430bec5705f793f9be'}) +2022-07-04 08:58:34.243 | DEBUG | dcs.tests.spider_task:distribute_task:153 - [] +2022-07-04 08:58:34.243 | DEBUG | dcs.tests.spider_task:run:192 - [] +2022-07-04 08:58:34.243 | DEBUG | dcs.tests.spider_task:run:212 - generating local task +2022-07-04 08:58:34.306 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'crawling state': 'starting, please wait...'} +2022-07-04 08:58:34.337 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 08:58:34.636 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'crawl zhiwang': 'unpack requires a buffer of 8 bytes'} +2022-07-04 08:59:42.672 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:04:25.474 | DEBUG | __main__::15 - reading config args... +2022-07-04 09:04:37.310 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9002) +2022-07-04 09:04:37.436 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:04:37.467 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 09:04:37.467 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:04:37.844 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:04:38.174 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:04:38.723 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: aaeea5603651aab5b33c606f6ec9c7c76f80dd0e +2022-07-04 09:04:38.723 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9002): {'cookie': 'aaeea5603651aab5b33c606f6ec9c7c76f80dd0e'} +2022-07-04 09:04:38.817 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:05:32.705 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9003) +2022-07-04 09:05:32.737 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:05:33.067 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 09:05:33.098 | INFO | dcs.tests.spider_task:distribute_task:140 - distributing task: (('127.0.0.1', 9003), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'aaeea5603651aab5b33c606f6ec9c7c76f80dd0e'}) +2022-07-04 09:05:33.098 | DEBUG | dcs.tests.spider_task:distribute_task:153 - [] +2022-07-04 09:05:33.098 | DEBUG | dcs.tests.spider_task:run:192 - [] +2022-07-04 09:05:33.098 | DEBUG | dcs.tests.spider_task:run:212 - generating local task +2022-07-04 09:05:33.129 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9003): {'crawling state': 'starting, please wait...'} +2022-07-04 09:05:33.161 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:05:33.271 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:05:33.459 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:05:33.757 | DEBUG | dcs.tests.spider_task:test_simulation:87 - simulation crawling... +2022-07-04 09:05:33.757 | INFO | dcs.tests.spider_task:write2database:16 - writing to database: test +2022-07-04 09:05:33.757 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:05:34.229 | INFO | dcs.tests.spider_task:write2database:16 - writing to database: test +2022-07-04 09:05:34.229 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:05:35.155 | INFO | dcs.tests.spider_task:write2database:16 - writing to database: test +2022-07-04 09:05:35.155 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:05:35.751 | INFO | dcs.tests.spider_task:run:103 - partial crawl task finished: (('127.0.0.1', 9003), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'aaeea5603651aab5b33c606f6ec9c7c76f80dd0e'}) +2022-07-04 09:05:35.751 | DEBUG | dcs.tests.spider_task:compose_result:163 - composing task... +2022-07-04 09:05:35.751 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:05:35.987 | DEBUG | dcs.tests.spider_task:compose_result:181 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}} +2022-07-04 09:05:36.034 | INFO | dcs.communicate:run:33 - sending info to ('127.0.0.1', 9003): {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 'type': 'response'} +2022-07-04 09:08:49.385 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 09:08:49.510 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:08:49.542 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 09:08:49.542 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:08:49.730 | DEBUG | dcs.tools.database:mysql_conn:12 - connecting to database... +2022-07-04 09:08:50.499 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 注册成功 +2022-07-04 09:08:50.562 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'register': '注册成功'} +2022-07-04 09:08:50.688 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:11:55.393 | DEBUG | __main__::15 - reading config args... +2022-07-04 09:12:07.182 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9003) +2022-07-04 09:12:07.261 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:12:07.276 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 09:12:08.327 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: e70f512caf198df2fbeb8bbdc6046384a2cbf4e2 +2022-07-04 09:12:08.406 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9003): {'cookie': 'e70f512caf198df2fbeb8bbdc6046384a2cbf4e2'} +2022-07-04 09:12:08.422 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:12:58.825 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9004) +2022-07-04 09:12:59.186 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 09:12:59.264 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9004): {'crawling state': 'starting, please wait...'} +2022-07-04 09:12:59.264 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:12:59.264 | INFO | dcs.tests.spider_task:distribute_task:141 - distributing task: (('127.0.0.1', 9004), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'e70f512caf198df2fbeb8bbdc6046384a2cbf4e2'}) +2022-07-04 09:12:59.264 | DEBUG | dcs.tests.spider_task:distribute_task:154 - [] +2022-07-04 09:12:59.264 | DEBUG | dcs.tests.spider_task:run:193 - [] +2022-07-04 09:12:59.264 | DEBUG | dcs.tests.spider_task:run:213 - generating local task +2022-07-04 09:13:30.409 | ERROR | dcs.tests.spider_task:run:102 - 'int' object has no attribute 'format' +2022-07-04 09:13:30.409 | INFO | dcs.tests.spider_task:run:104 - partial crawl task finished: (('127.0.0.1', 9004), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'e70f512caf198df2fbeb8bbdc6046384a2cbf4e2'}) +2022-07-04 09:13:30.519 | DEBUG | dcs.tests.spider_task:run:213 - generating local task +2022-07-04 09:13:38.544 | ERROR | dcs.tests.spider_task:run:102 - Message: no such window: target window already closed +from unknown error: web view not found + (Session info: MicrosoftEdge=103.0.1264.44) + +2022-07-04 09:13:38.560 | INFO | dcs.tests.spider_task:run:104 - partial crawl task finished: (('127.0.0.1', 9004), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'e70f512caf198df2fbeb8bbdc6046384a2cbf4e2'}) +2022-07-04 09:13:38.576 | DEBUG | dcs.tests.spider_task:run:213 - generating local task +2022-07-04 09:16:32.995 | DEBUG | __main__::15 - reading config args... +2022-07-04 09:16:49.269 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9004) +2022-07-04 09:16:49.442 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:16:49.489 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 09:16:50.416 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: f39c3c3bf1d8412083b062e7eeb70a7e1e9e44b2 +2022-07-04 09:16:50.463 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9004): {'cookie': 'f39c3c3bf1d8412083b062e7eeb70a7e1e9e44b2'} +2022-07-04 09:16:50.478 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:17:17.880 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9005) +2022-07-04 09:17:18.398 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 09:17:18.413 | INFO | dcs.tests.spider_task:distribute_task:143 - distributing task: (('127.0.0.1', 9005), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'f39c3c3bf1d8412083b062e7eeb70a7e1e9e44b2'}) +2022-07-04 09:17:18.413 | DEBUG | dcs.tests.spider_task:distribute_task:156 - [] +2022-07-04 09:17:18.413 | DEBUG | dcs.tests.spider_task:run:195 - [] +2022-07-04 09:17:18.413 | DEBUG | dcs.tests.spider_task:run:215 - generating local task +2022-07-04 09:17:18.602 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9005): {'crawling state': 'starting, please wait...'} +2022-07-04 09:17:18.617 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:17:55.705 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 09:17:55.815 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:17:55.878 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 09:17:57.432 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 09eab6aa982a7ab9dddff8ae90e0621924d05fe0 +2022-07-04 09:17:57.730 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': '09eab6aa982a7ab9dddff8ae90e0621924d05fe0'} +2022-07-04 09:17:57.809 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:18:11.441 | ERROR | dcs.tests.spider_task:run:102 - 'int' object has no attribute 'format' +2022-07-04 09:18:11.535 | ERROR | dcs.tests.spider_task:run:103 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 09:18:11.566 | ERROR | dcs.tests.spider_task:run:104 - 99 +2022-07-04 09:18:11.692 | INFO | dcs.tests.spider_task:run:106 - partial crawl task finished: (('127.0.0.1', 9005), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'f39c3c3bf1d8412083b062e7eeb70a7e1e9e44b2'}) +2022-07-04 09:18:11.708 | DEBUG | dcs.tests.spider_task:run:215 - generating local task +2022-07-04 09:19:29.869 | ERROR | dcs.tests.spider_task:run:102 - 'int' object has no attribute 'format' +2022-07-04 09:19:29.869 | ERROR | dcs.tests.spider_task:run:103 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 09:19:29.869 | ERROR | dcs.tests.spider_task:run:104 - 99 +2022-07-04 09:19:29.869 | INFO | dcs.tests.spider_task:run:106 - partial crawl task finished: (('127.0.0.1', 9005), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'f39c3c3bf1d8412083b062e7eeb70a7e1e9e44b2'}) +2022-07-04 09:19:29.884 | DEBUG | dcs.tests.spider_task:run:215 - generating local task +2022-07-04 09:20:07.945 | ERROR | dcs.tests.spider_task:run:102 - 'int' object has no attribute 'format' +2022-07-04 09:20:07.945 | ERROR | dcs.tests.spider_task:run:103 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 09:20:07.946 | ERROR | dcs.tests.spider_task:run:104 - 99 +2022-07-04 09:20:07.946 | INFO | dcs.tests.spider_task:run:106 - partial crawl task finished: (('127.0.0.1', 9005), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'f39c3c3bf1d8412083b062e7eeb70a7e1e9e44b2'}) +2022-07-04 09:20:07.960 | DEBUG | dcs.tests.spider_task:run:215 - generating local task +2022-07-04 09:20:15.198 | ERROR | dcs.tests.spider_task:run:102 - ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None)) +2022-07-04 09:20:15.246 | ERROR | dcs.tests.spider_task:run:103 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 09:20:15.369 | ERROR | dcs.tests.spider_task:run:104 - 99 +2022-07-04 09:20:15.448 | INFO | dcs.tests.spider_task:run:106 - partial crawl task finished: (('127.0.0.1', 9005), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'f39c3c3bf1d8412083b062e7eeb70a7e1e9e44b2'}) +2022-07-04 09:20:17.980 | DEBUG | __main__::15 - reading config args... +2022-07-04 09:20:34.040 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9005) +2022-07-04 09:20:34.150 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:20:34.181 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 09:20:35.123 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 661f230f8ec264eb04f581fdf4bcd81d86ac70f6 +2022-07-04 09:20:35.123 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9005): {'cookie': '661f230f8ec264eb04f581fdf4bcd81d86ac70f6'} +2022-07-04 09:20:35.139 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:20:58.980 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9006) +2022-07-04 09:20:59.749 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 09:20:59.781 | INFO | dcs.tests.spider_task:distribute_task:143 - distributing task: (('127.0.0.1', 9006), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': '661f230f8ec264eb04f581fdf4bcd81d86ac70f6'}) +2022-07-04 09:20:59.781 | DEBUG | dcs.tests.spider_task:distribute_task:156 - [] +2022-07-04 09:20:59.781 | DEBUG | dcs.tests.spider_task:run:195 - [] +2022-07-04 09:20:59.781 | DEBUG | dcs.tests.spider_task:run:215 - generating local task +2022-07-04 09:20:59.797 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9006): {'crawling state': 'starting, please wait...'} +2022-07-04 09:20:59.812 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:23:01.316 | DEBUG | __main__::15 - reading config args... +2022-07-04 09:23:14.911 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9006) +2022-07-04 09:23:15.036 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:23:15.068 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 09:23:16.198 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: f09035104c5afcc4e0540b1073fb7f9829d9302e +2022-07-04 09:23:16.198 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9006): {'cookie': 'f09035104c5afcc4e0540b1073fb7f9829d9302e'} +2022-07-04 09:23:16.214 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:23:38.631 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 09:23:38.851 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:23:38.866 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 09:23:39.809 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 注册成功 +2022-07-04 09:23:39.840 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'register': '注册成功'} +2022-07-04 09:23:39.949 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:23:44.737 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9007) +2022-07-04 09:23:45.145 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 09:23:45.192 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9007): {'crawling state': 'starting, please wait...'} +2022-07-04 09:23:45.271 | INFO | dcs.tests.spider_task:distribute_task:144 - distributing task: (('127.0.0.1', 9007), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'f09035104c5afcc4e0540b1073fb7f9829d9302e'}) +2022-07-04 09:23:45.271 | DEBUG | dcs.tests.spider_task:distribute_task:157 - [] +2022-07-04 09:23:45.271 | DEBUG | dcs.tests.spider_task:run:196 - [] +2022-07-04 09:23:45.271 | DEBUG | dcs.tests.spider_task:run:216 - generating local task +2022-07-04 09:23:45.303 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:24:45.735 | DEBUG | dcs.tests.spider_task:crawl_zhiwang:55 - 1 +2022-07-04 09:24:45.735 | DEBUG | dcs.tests.spider_task:crawl_zhiwang:56 - computer +2022-07-04 09:29:50.860 | DEBUG | __main__::15 - reading config args... +2022-07-04 09:30:02.427 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9007) +2022-07-04 09:30:02.584 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:30:02.616 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 09:30:03.636 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 823b01f26ed32f539ae32939bc3673b2e64cfa4c +2022-07-04 09:30:03.730 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9007): {'cookie': '823b01f26ed32f539ae32939bc3673b2e64cfa4c'} +2022-07-04 09:30:03.777 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:31:13.685 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9008) +2022-07-04 09:31:14.328 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 09:31:14.422 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9008), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': '823b01f26ed32f539ae32939bc3673b2e64cfa4c'}) +2022-07-04 09:31:14.422 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [] +2022-07-04 09:31:14.422 | DEBUG | dcs.tests.spider_task:run:197 - [] +2022-07-04 09:31:14.422 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 09:31:14.438 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9008): {'crawling state': 'starting, please wait...'} +2022-07-04 09:31:14.470 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:31:16.918 | DEBUG | __mp_main__::15 - reading config args... +2022-07-04 09:35:21.485 | DEBUG | __main__::15 - reading config args... +2022-07-04 09:35:32.946 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9008) +2022-07-04 09:35:33.040 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:35:33.056 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 09:35:33.699 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 4903bae8f93713daa81f5478f1b95c70fd3c0e5e +2022-07-04 09:35:33.778 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9008): {'cookie': '4903bae8f93713daa81f5478f1b95c70fd3c0e5e'} +2022-07-04 09:35:33.809 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:35:57.361 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9009) +2022-07-04 09:35:58.366 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 09:35:58.397 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9009), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': '4903bae8f93713daa81f5478f1b95c70fd3c0e5e'}) +2022-07-04 09:35:58.397 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [] +2022-07-04 09:35:58.397 | DEBUG | dcs.tests.spider_task:run:197 - [] +2022-07-04 09:35:58.397 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 09:35:58.444 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9009): {'crawling state': 'starting, please wait...'} +2022-07-04 09:35:58.460 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:36:00.139 | DEBUG | __mp_main__::15 - reading config args... +2022-07-04 09:39:56.383 | DEBUG | __main__::15 - reading config args... +2022-07-04 09:40:00.166 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9010) +2022-07-04 09:40:00.213 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:40:00.245 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 09:40:01.155 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 05eab51dc398b3f7d0b57a14f108fab97598a3a5 +2022-07-04 09:40:01.280 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9010): {'cookie': '05eab51dc398b3f7d0b57a14f108fab97598a3a5'} +2022-07-04 09:40:01.343 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:40:29.590 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9011) +2022-07-04 09:40:29.982 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 09:40:29.998 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9011): {'crawling state': 'starting, please wait...'} +2022-07-04 09:40:29.998 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9011), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': '05eab51dc398b3f7d0b57a14f108fab97598a3a5'}) +2022-07-04 09:40:30.045 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 09:40:30.045 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [] +2022-07-04 09:40:30.170 | DEBUG | dcs.tests.spider_task:run:197 - [] +2022-07-04 09:40:30.171 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 09:41:47.844 | DEBUG | dcs.tests.spider_task:crawl_zhiwang:56 - 1 +2022-07-04 09:41:47.845 | DEBUG | dcs.tests.spider_task:crawl_zhiwang:57 - computer +2022-07-04 09:53:29.260 | DEBUG | __main__::15 - reading config args... +2022-07-04 09:53:32.851 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 09:53:32.960 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:53:32.977 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 09:53:33.604 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 09:53:33.620 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 09:53:33.651 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 09:53:33.651 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 09:53:34.327 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 28873e94c09330444b9abfec453258fb7065eb1b +2022-07-04 09:53:34.342 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '28873e94c09330444b9abfec453258fb7065eb1b'} +2022-07-04 09:53:34.845 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 09:53:34.876 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 3, 'cookie': '28873e94c09330444b9abfec453258fb7065eb1b'}) +2022-07-04 09:53:34.876 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [, ] +2022-07-04 09:53:34.876 | DEBUG | dcs.tests.spider_task:run:197 - [] +2022-07-04 09:53:34.876 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 09:53:34.876 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'crawling state': 'starting, please wait...'} +2022-07-04 09:53:34.892 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 09:53:34.892 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 09:53:34.939 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 09:54:42.351 | DEBUG | dcs.tests.spider_task:crawl_zhiwang:56 - 0 +2022-07-04 09:54:42.351 | DEBUG | dcs.tests.spider_task:crawl_zhiwang:57 - science +2022-07-04 09:54:43.104 | DEBUG | dcs.tests.zhiwang:spider:56 - crawling a soup... +2022-07-04 09:54:45.147 | DEBUG | dcs.tests.spider_task:crawl_zhiwang:56 - 0 +2022-07-04 09:54:45.147 | DEBUG | dcs.tests.spider_task:crawl_zhiwang:57 - science +2022-07-04 09:55:01.957 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:55:19.294 | DEBUG | dcs.tests.zhiwang:spider:56 - crawling a soup... +2022-07-04 09:55:21.644 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:55:37.166 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:55:53.316 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:55:59.720 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:56:03.644 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:56:17.804 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:56:27.662 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:56:43.972 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:57:01.243 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:57:20.181 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:57:38.093 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:58:24.597 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:58:29.633 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 09:59:09.995 | DEBUG | dcs.tests.zhiwang:spider:65 - crawling an item... +2022-07-04 10:04:40.601 | DEBUG | __main__::15 - reading config args... +2022-07-04 10:04:42.988 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 10:04:43.066 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:04:43.098 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 10:04:43.679 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 10:04:43.710 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 10:04:43.741 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:04:43.757 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:04:44.667 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 5b34e09c54d387d258fe6f32ebbc201b85d9d1da +2022-07-04 10:04:44.683 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '5b34e09c54d387d258fe6f32ebbc201b85d9d1da'} +2022-07-04 10:04:45.154 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 10:04:45.170 | INFO | dcs.tests.spider_task:distribute_task:148 - distributing task: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 3, 'cookie': '5b34e09c54d387d258fe6f32ebbc201b85d9d1da'}) +2022-07-04 10:04:45.170 | DEBUG | dcs.tests.spider_task:distribute_task:161 - [, ] +2022-07-04 10:04:45.170 | DEBUG | dcs.tests.spider_task:run:200 - [] +2022-07-04 10:04:45.170 | DEBUG | dcs.tests.spider_task:run:220 - generating local task +2022-07-04 10:04:45.217 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'crawling state': 'starting, please wait...'} +2022-07-04 10:04:45.217 | DEBUG | dcs.tests.spider_task:run:220 - generating local task +2022-07-04 10:04:45.280 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 10:04:45.280 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 10:05:41.486 | ERROR | dcs.tests.spider_task:run:107 - Can't pickle local object '_createenviron..encodekey' +2022-07-04 10:05:41.486 | ERROR | dcs.tests.spider_task:run:108 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 10:05:41.486 | ERROR | dcs.tests.spider_task:run:109 - 104 +2022-07-04 10:05:41.519 | INFO | dcs.tests.spider_task:run:111 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '5b34e09c54d387d258fe6f32ebbc201b85d9d1da'}) +2022-07-04 10:05:41.615 | DEBUG | dcs.tests.spider_task:run:220 - generating local task +2022-07-04 10:11:43.319 | DEBUG | __main__::15 - reading config args... +2022-07-04 10:11:47.242 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 10:11:47.446 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:11:47.462 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 10:11:48.216 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 10:11:48.247 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 10:11:48.357 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:11:48.373 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:11:49.111 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 5777379c0bb88941b3e2f744860cf52023ad754f +2022-07-04 10:11:49.142 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '5777379c0bb88941b3e2f744860cf52023ad754f'} +2022-07-04 10:11:49.488 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 10:11:49.503 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'crawling state': 'starting, please wait...'} +2022-07-04 10:11:49.503 | INFO | dcs.tests.spider_task:distribute_task:152 - distributing task: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 3, 'cookie': '5777379c0bb88941b3e2f744860cf52023ad754f'}) +2022-07-04 10:11:49.503 | DEBUG | dcs.tests.spider_task:distribute_task:165 - [, ] +2022-07-04 10:11:49.503 | DEBUG | dcs.tests.spider_task:run:204 - [] +2022-07-04 10:11:49.503 | DEBUG | dcs.tests.spider_task:run:224 - generating local task +2022-07-04 10:11:49.566 | DEBUG | dcs.tests.spider_task:run:224 - generating local task +2022-07-04 10:11:49.582 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 10:11:49.598 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 10:12:59.582 | ERROR | dcs.tests.spider_task:run:111 - Can't pickle local object '_createenviron..encodekey' +2022-07-04 10:12:59.582 | ERROR | dcs.tests.spider_task:run:112 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 10:12:59.582 | ERROR | dcs.tests.spider_task:run:113 - 108 +2022-07-04 10:12:59.598 | INFO | dcs.tests.spider_task:run:115 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '5777379c0bb88941b3e2f744860cf52023ad754f'}) +2022-07-04 10:12:59.629 | DEBUG | dcs.tests.spider_task:run:224 - generating local task +2022-07-04 10:13:07.465 | ERROR | dcs.tests.spider_task:run:111 - Message: no such window: target window already closed +from unknown error: web view not found + (Session info: MicrosoftEdge=103.0.1264.44) + +2022-07-04 10:13:07.465 | ERROR | dcs.tests.spider_task:run:112 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 10:13:07.465 | ERROR | dcs.tests.spider_task:run:113 - 108 +2022-07-04 10:13:07.465 | INFO | dcs.tests.spider_task:run:115 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '5777379c0bb88941b3e2f744860cf52023ad754f'}) +2022-07-04 10:13:07.481 | DEBUG | dcs.tests.spider_task:run:224 - generating local task +2022-07-04 10:13:55.134 | DEBUG | __main__::15 - reading config args... +2022-07-04 10:13:58.979 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 10:13:59.010 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:13:59.026 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 10:13:59.669 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 10:13:59.701 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 10:13:59.732 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:13:59.732 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:14:00.768 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 9a895e670494357e5c6f3e4aa36e379d044f6d5a +2022-07-04 10:14:00.784 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '9a895e670494357e5c6f3e4aa36e379d044f6d5a'} +2022-07-04 10:14:01.129 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 10:14:01.176 | INFO | dcs.tests.spider_task:distribute_task:152 - distributing task: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 3, 'cookie': '9a895e670494357e5c6f3e4aa36e379d044f6d5a'}) +2022-07-04 10:14:01.176 | DEBUG | dcs.tests.spider_task:distribute_task:165 - [, ] +2022-07-04 10:14:01.176 | DEBUG | dcs.tests.spider_task:run:204 - [] +2022-07-04 10:14:01.176 | DEBUG | dcs.tests.spider_task:run:224 - generating local task +2022-07-04 10:14:01.192 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'crawling state': 'starting, please wait...'} +2022-07-04 10:14:01.207 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 10:14:01.207 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 10:14:01.255 | DEBUG | dcs.tests.spider_task:run:224 - generating local task +2022-07-04 10:15:13.609 | ERROR | dcs.tests.spider_task:run:111 - Can't pickle local object '_createenviron..encodekey' +2022-07-04 10:15:13.609 | ERROR | dcs.tests.spider_task:run:112 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 10:15:13.609 | ERROR | dcs.tests.spider_task:run:113 - 108 +2022-07-04 10:15:13.672 | INFO | dcs.tests.spider_task:run:115 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '9a895e670494357e5c6f3e4aa36e379d044f6d5a'}) +2022-07-04 10:15:13.719 | DEBUG | dcs.tests.spider_task:run:224 - generating local task +2022-07-04 10:15:46.854 | DEBUG | dcs.tests.zhiwang:spider:50 - crawling a soup... +2022-07-04 10:16:03.457 | DEBUG | dcs.tests.zhiwang:spider:59 - crawling an item... +2022-07-04 10:16:19.446 | ERROR | dcs.tests.spider_task:run:111 - Can't pickle local object '_createenviron..encodekey' +2022-07-04 10:16:19.446 | ERROR | dcs.tests.spider_task:run:112 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 10:16:19.446 | ERROR | dcs.tests.spider_task:run:113 - 108 +2022-07-04 10:16:19.461 | INFO | dcs.tests.spider_task:run:115 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '9a895e670494357e5c6f3e4aa36e379d044f6d5a'}) +2022-07-04 10:16:19.493 | DEBUG | dcs.tests.spider_task:run:224 - generating local task +2022-07-04 10:16:21.549 | DEBUG | dcs.tests.zhiwang:spider:59 - crawling an item... +2022-07-04 10:16:27.193 | ERROR | dcs.tests.spider_task:run:111 - Message: no such window: target window already closed +from unknown error: web view not found + (Session info: MicrosoftEdge=103.0.1264.44) + +2022-07-04 10:16:27.221 | ERROR | dcs.tests.spider_task:run:112 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 10:16:27.299 | ERROR | dcs.tests.spider_task:run:113 - 108 +2022-07-04 10:16:27.299 | INFO | dcs.tests.spider_task:run:115 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '9a895e670494357e5c6f3e4aa36e379d044f6d5a'}) +2022-07-04 10:16:27.299 | DEBUG | dcs.tests.spider_task:run:224 - generating local task +2022-07-04 10:16:32.627 | ERROR | dcs.tests.spider_task:run:111 - Message: no such window: target window already closed +from unknown error: web view not found + (Session info: MicrosoftEdge=103.0.1264.44) + +2022-07-04 10:16:32.659 | ERROR | dcs.tests.spider_task:run:112 - F:\Users\28587\dcs\dcs\tests\spider_task.py +2022-07-04 10:16:32.706 | ERROR | dcs.tests.spider_task:run:113 - 108 +2022-07-04 10:16:32.753 | INFO | dcs.tests.spider_task:run:115 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '9a895e670494357e5c6f3e4aa36e379d044f6d5a'}) +2022-07-04 10:16:32.800 | DEBUG | dcs.tests.spider_task:run:224 - generating local task +2022-07-04 10:17:06.855 | DEBUG | __main__::15 - reading config args... +2022-07-04 10:17:10.466 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 10:17:10.481 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:17:10.497 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 10:17:11.140 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 10:17:11.187 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 10:17:11.203 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:17:11.219 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:17:12.082 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 0c0f41d1502590fb4e38a1ea051b366cdba59007 +2022-07-04 10:17:12.098 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '0c0f41d1502590fb4e38a1ea051b366cdba59007'} +2022-07-04 10:17:12.474 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 10:17:12.490 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 3, 'cookie': '0c0f41d1502590fb4e38a1ea051b366cdba59007'}) +2022-07-04 10:17:12.490 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [, ] +2022-07-04 10:17:12.490 | DEBUG | dcs.tests.spider_task:run:197 - [] +2022-07-04 10:17:12.490 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 10:17:12.537 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 10:17:12.537 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'crawling state': 'starting, please wait...'} +2022-07-04 10:17:12.537 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 10:17:12.537 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 10:17:56.549 | DEBUG | dcs.tests.zhiwang:spider:50 - crawling a soup... +2022-07-04 10:18:11.995 | DEBUG | dcs.tests.zhiwang:spider:59 - crawling an item... +2022-07-04 10:18:29.706 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: 科学数据管理政策发展比较研究 +2022-07-04 10:18:34.572 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '0c0f41d1502590fb4e38a1ea051b366cdba59007'}) +2022-07-04 10:19:05.920 | DEBUG | dcs.tests.zhiwang:spider:50 - crawling a soup... +2022-07-04 10:19:09.060 | DEBUG | dcs.tests.zhiwang:spider:59 - crawling an item... +2022-07-04 10:19:25.558 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: 新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野 +2022-07-04 10:19:26.939 | DEBUG | dcs.tests.spider_task:compose_result:168 - composing task... +2022-07-04 10:19:26.971 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 2, 'pages_end': 3, 'cookie': '0c0f41d1502590fb4e38a1ea051b366cdba59007'}) +2022-07-04 10:21:34.869 | DEBUG | __main__::15 - reading config args... +2022-07-04 10:21:38.228 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 10:21:38.274 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:21:38.306 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 10:21:38.950 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 10:21:39.013 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 10:21:39.044 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:21:39.091 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:21:39.844 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 368b8bef5edd1e6fa9fd9f8f975bb75224d823cb +2022-07-04 10:21:39.860 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '368b8bef5edd1e6fa9fd9f8f975bb75224d823cb'} +2022-07-04 10:21:40.236 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 10:21:40.268 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 3, 'cookie': '368b8bef5edd1e6fa9fd9f8f975bb75224d823cb'}) +2022-07-04 10:21:40.268 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [, ] +2022-07-04 10:21:40.268 | DEBUG | dcs.tests.spider_task:run:197 - [] +2022-07-04 10:21:40.268 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 10:21:40.299 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'crawling state': 'starting, please wait...'} +2022-07-04 10:21:40.377 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 10:21:40.377 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 10:21:40.550 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 10:22:53.773 | DEBUG | dcs.tests.zhiwang:spider:50 - crawling a soup... +2022-07-04 10:23:12.971 | DEBUG | dcs.tests.zhiwang:spider:59 - crawling an item... +2022-07-04 10:23:31.150 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: 科学数据管理政策发展比较研究 +2022-07-04 10:23:32.155 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: 科学数据管理政策发展比较研究 +2022-07-04 10:23:37.632 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '368b8bef5edd1e6fa9fd9f8f975bb75224d823cb'}) +2022-07-04 10:23:38.919 | DEBUG | dcs.tests.zhiwang:spider:50 - crawling a soup... +2022-07-04 10:23:54.097 | DEBUG | dcs.tests.zhiwang:spider:59 - crawling an item... +2022-07-04 10:24:18.376 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: 新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野 +2022-07-04 10:24:19.889 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: 新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野 +2022-07-04 10:24:21.453 | DEBUG | dcs.tests.spider_task:compose_result:168 - composing task... +2022-07-04 10:24:21.547 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 2, 'pages_end': 3, 'cookie': '368b8bef5edd1e6fa9fd9f8f975bb75224d823cb'}) +2022-07-04 10:33:03.056 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 10:33:03.190 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:33:03.190 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:33:04.872 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 7a2b67f82334761ebaa233137f116c3b4f5371e3 +2022-07-04 10:33:04.888 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': '7a2b67f82334761ebaa233137f116c3b4f5371e3'} +2022-07-04 10:33:05.017 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 10:35:16.043 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 10:35:16.074 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:35:16.089 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:35:17.417 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 6776daad487e3e3bc4f7458ea1a0a28e549a90ee +2022-07-04 10:35:17.449 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': '6776daad487e3e3bc4f7458ea1a0a28e549a90ee'} +2022-07-04 10:35:17.672 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 10:37:33.874 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 10:37:33.937 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:37:33.984 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:37:35.334 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 264866bb6aa5d97e1090b21abd1ad9a8af651548 +2022-07-04 10:37:35.349 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': '264866bb6aa5d97e1090b21abd1ad9a8af651548'} +2022-07-04 10:37:35.365 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 10:39:24.189 | DEBUG | __main__::15 - reading config args... +2022-07-04 10:39:27.657 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 10:39:27.689 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:39:27.704 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 10:39:28.128 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 10:39:28.128 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 10:39:28.144 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:39:28.175 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:39:29.102 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 85f8734dc2fc8455554043210d1137beada160d3 +2022-07-04 10:39:29.149 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '85f8734dc2fc8455554043210d1137beada160d3'} +2022-07-04 10:39:29.588 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 10:39:29.604 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 3, 'cookie': '85f8734dc2fc8455554043210d1137beada160d3'}) +2022-07-04 10:39:29.604 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [, ] +2022-07-04 10:39:29.604 | DEBUG | dcs.tests.spider_task:run:197 - [] +2022-07-04 10:39:29.604 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 10:39:29.635 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'crawling state': 'starting, please wait...'} +2022-07-04 10:39:29.683 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 10:39:29.729 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 10:39:29.729 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 10:41:04.295 | DEBUG | dcs.tests.zhiwang:spider:50 - crawling a soup... +2022-07-04 10:41:23.428 | DEBUG | dcs.tests.zhiwang:spider:59 - crawling an item... +2022-07-04 10:41:45.103 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: 科学数据管理政策发展比较研究 +2022-07-04 10:41:45.213 | DEBUG | dcs.tests.zhiwang:spider:50 - crawling a soup... +2022-07-04 10:41:46.312 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: 科学数据管理政策发展比较研究 +2022-07-04 10:41:47.960 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 1, 'pages_end': 2, 'cookie': '85f8734dc2fc8455554043210d1137beada160d3'}) +2022-07-04 10:42:01.941 | DEBUG | dcs.tests.zhiwang:spider:59 - crawling an item... +2022-07-04 10:42:17.260 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: 新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野 +2022-07-04 10:42:18.219 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: 新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野 +2022-07-04 10:42:19.161 | DEBUG | dcs.tests.spider_task:compose_result:168 - composing task... +2022-07-04 10:42:19.318 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9999), {'action': 'crawl zhiwang', 'word': 'science', 'pages_start': 2, 'pages_end': 3, 'cookie': '85f8734dc2fc8455554043210d1137beada160d3'}) +2022-07-04 10:42:19.569 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': '王芳', 'college': '南开大学', 'major': '图书情报与数字图书馆;新闻与传媒;计算机软件及计算机应用;', 'paper': '科学数据管理政策发展比较研究'}, 2: {'name': '卜昊昊', 'college': '中国人民大学', 'major': '新闻与传媒;', 'paper': '科学数据管理政策发展比较研究'}, 3: {'name': '王芳', 'college': '南开大学', 'major': '图书情报与数字图书馆;新闻与传媒;计算机软件及计算机应用;', 'paper': '科学数据管理政策发展比较研究'}, 4: {'name': '卜昊昊', 'college': '中国人民大学', 'major': '新闻与传媒;', 'paper': '科学数据管理政策发展比较研究'}, 5: {'name': '和经纬', 'college': '香港教育大学', 'major': '医药卫生方针政策与法律法规研究;行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}, 6: {'name': '郭欣航', 'college': '香港教育大学', 'major': '行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}, 7: {'name': '和经纬', 'college': '香港教育大学', 'major': '医药卫生方针政策与法律法规研究;行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}, 8: {'name': '郭欣航', 'college': '香港教育大学', 'major': '行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}} +2022-07-04 10:42:19.914 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': '王芳', 'college': '南开大学', 'major': '图书情报与数字图书馆;新闻与传媒;计算机软件及计算机应用;', 'paper': '科学数据管理政策发展比较研究'}, 2: {'name': '卜昊昊', 'college': '中国人民大学', 'major': '新闻与传媒;', 'paper': '科学数据管理政策发展比较研究'}, 3: {'name': '王芳', 'college': '南开大学', 'major': '图书情报与数字图书馆;新闻与传媒;计算机软件及计算机应用;', 'paper': '科学数据管理政策发展比较研究'}, 4: {'name': '卜昊昊', 'college': '中国人民大学', 'major': '新闻与传媒;', 'paper': '科学数据管理政策发展比较研究'}, 5: {'name': '和经纬', 'college': '香港教育大学', 'major': '医药卫生方针政策与法律法规研究;行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}, 6: {'name': '郭欣航', 'college': '香港教育大学', 'major': '行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}, 7: {'name': '和经纬', 'college': '香港教育大学', 'major': '医药卫生方针政策与法律法规研究;行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}, 8: {'name': '郭欣航', 'college': '香港教育大学', 'major': '行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}} +2022-07-04 10:42:19.977 | INFO | dcs.communicate:run:33 - sending info to ('127.0.0.1', 9999): {1: {'name': '王芳', 'college': '南开大学', 'major': '图书情报与数字图书馆;新闻与传媒;计算机软件及计算机应用;', 'paper': '科学数据管理政策发展比较研究'}, 2: {'name': '卜昊昊', 'college': '中国人民大学', 'major': '新闻与传媒;', 'paper': '科学数据管理政策发展比较研究'}, 3: {'name': '王芳', 'college': '南开大学', 'major': '图书情报与数字图书馆;新闻与传媒;计算机软件及计算机应用;', 'paper': '科学数据管理政策发展比较研究'}, 4: {'name': '卜昊昊', 'college': '中国人民大学', 'major': '新闻与传媒;', 'paper': '科学数据管理政策发展比较研究'}, 5: {'name': '和经纬', 'college': '香港教育大学', 'major': '医药卫生方针政策与法律法规研究;行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}, 6: {'name': '郭欣航', 'college': '香港教育大学', 'major': '行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}, 7: {'name': '和经纬', 'college': '香港教育大学', 'major': '医药卫生方针政策与法律法规研究;行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}, 8: {'name': '郭欣航', 'college': '香港教育大学', 'major': '行政学及国家行政管理;', 'paper': '新冠肺炎危机促进了政策变革吗?世纪大疫中政策科学研究的国际视野'}, 'type': 'response'} +2022-07-04 10:43:28.719 | DEBUG | __main__::15 - reading config args... +2022-07-04 10:43:32.344 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 10:43:32.376 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:43:32.407 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 10:43:33.113 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 10:43:33.145 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 10:43:33.192 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:43:33.238 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:43:33.929 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 31b42e62b814bc558146404a8d28def9197025e1 +2022-07-04 10:43:33.992 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '31b42e62b814bc558146404a8d28def9197025e1'} +2022-07-04 10:43:34.149 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:43:34.165 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 10:43:34.165 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked 31b42e62b814bc558146404a8d28def9197025e1 +2022-07-04 10:43:34.181 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked 31b42e62b814bc558146404a8d28def9197025e1'} +2022-07-04 10:43:34.322 | INFO | dcs.tests.requestHandler:run:21 - [REQUEST] end +2022-07-04 10:43:34.322 | DEBUG | dcs.tests.requestHandler:run:22 - communication over from ('127.0.0.1', 9999)! +2022-07-04 10:43:59.434 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 10:43:59.482 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:43:59.497 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:44:00.219 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: af9bed74d72ce2d2da3eeeff6d06e77db08a81a1 +2022-07-04 10:44:00.219 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': 'af9bed74d72ce2d2da3eeeff6d06e77db08a81a1'} +2022-07-04 10:44:00.267 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 10:46:55.367 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 10:46:55.383 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:46:55.461 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:46:56.450 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: f56b741f168705017bd89baed495ec0df0b671ac +2022-07-04 10:46:56.497 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': 'f56b741f168705017bd89baed495ec0df0b671ac'} +2022-07-04 10:46:56.513 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 10:50:43.614 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 10:50:43.678 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:50:43.694 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:50:45.268 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 9ac648aa80540db1b68afc6bec201291421231ac +2022-07-04 10:50:45.379 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': '9ac648aa80540db1b68afc6bec201291421231ac'} +2022-07-04 10:50:45.442 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 10:53:07.951 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9002) +2022-07-04 10:53:08.155 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 10:53:08.171 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('10.129.16.173', 9002), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': '9ac648aa80540db1b68afc6bec201291421231ac'}) +2022-07-04 10:53:08.171 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [, ] +2022-07-04 10:53:08.171 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9002): {'crawling state': 'starting, please wait...'} +2022-07-04 10:53:08.171 | DEBUG | dcs.tests.spider_task:run:197 - [] +2022-07-04 10:53:08.171 | DEBUG | dcs.tests.spider_task:run:209 - generating remote task +2022-07-04 10:53:08.171 | INFO | dcs.requester:get:40 - sending crawl request to ('127.0.0.1', 9999) +2022-07-04 10:53:08.202 | DEBUG | dcs.tests.spider_task:run:217 - generating local task +2022-07-04 10:53:08.250 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 10:53:20.652 | DEBUG | __main__::15 - reading config args... +2022-07-04 10:53:23.589 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 10:53:23.714 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:53:23.730 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 10:53:24.342 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 10:53:24.436 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 10:53:24.467 | ERROR | dcs.tests.requestHandler:run:36 - [WinError 10054] 远程主机强迫关闭了一个现有的连接。 +2022-07-04 10:53:47.038 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9003) +2022-07-04 10:53:47.148 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:53:47.163 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:53:48.795 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 2faaf0cfbc9a18ba8e2ab31040eb4463d78abdc7 +2022-07-04 10:53:48.874 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9003): {'cookie': '2faaf0cfbc9a18ba8e2ab31040eb4463d78abdc7'} +2022-07-04 10:53:48.968 | ERROR | dcs.tests.requestHandler:run:36 - unpack requires a buffer of 8 bytes +2022-07-04 10:53:54.484 | DEBUG | __main__::15 - reading config args... +2022-07-04 10:53:56.870 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 10:53:56.885 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:53:56.885 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 10:53:57.419 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 10:53:57.450 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 10:53:57.529 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:53:57.545 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:53:58.628 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: a7b41efdff72ccc81b5ce275d0b1febe7124e113 +2022-07-04 10:53:58.628 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': 'a7b41efdff72ccc81b5ce275d0b1febe7124e113'} +2022-07-04 10:53:58.644 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:53:58.675 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 10:53:58.675 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked a7b41efdff72ccc81b5ce275d0b1febe7124e113 +2022-07-04 10:53:58.707 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked a7b41efdff72ccc81b5ce275d0b1febe7124e113'} +2022-07-04 10:53:58.722 | INFO | dcs.tests.requestHandler:run:20 - [REQUEST] end +2022-07-04 10:53:58.722 | DEBUG | dcs.tests.requestHandler:run:21 - communication over from ('127.0.0.1', 9999)! +2022-07-04 10:54:14.328 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9003) +2022-07-04 10:54:14.344 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:54:14.359 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:54:15.238 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 39a6a8950f939496fb634ba5ccc65babdbf2c164 +2022-07-04 10:54:15.238 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9003): {'cookie': '39a6a8950f939496fb634ba5ccc65babdbf2c164'} +2022-07-04 10:54:15.316 | ERROR | dcs.tests.requestHandler:run:36 - unpack requires a buffer of 8 bytes +2022-07-04 10:55:22.082 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9004) +2022-07-04 10:55:22.161 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:55:22.177 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:55:23.636 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: c083ad7b2f6dad1c9d3d3185796a94a1e7be404a +2022-07-04 10:55:23.667 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9004): {'cookie': 'c083ad7b2f6dad1c9d3d3185796a94a1e7be404a'} +2022-07-04 10:55:23.715 | ERROR | dcs.tests.requestHandler:run:36 - unpack requires a buffer of 8 bytes +2022-07-04 10:59:07.793 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9004) +2022-07-04 10:59:07.902 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 10:59:07.918 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 10:59:08.561 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 023beaaa45cd9feddbe09ef2f629a09dba24900e +2022-07-04 10:59:08.734 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9004): {'cookie': '023beaaa45cd9feddbe09ef2f629a09dba24900e'} +2022-07-04 10:59:08.750 | ERROR | dcs.tests.requestHandler:run:36 - unpack requires a buffer of 8 bytes +2022-07-04 11:00:53.098 | DEBUG | __main__::15 - reading config args... +2022-07-04 11:01:03.520 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 11:01:03.771 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:01:03.802 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 11:01:04.351 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 11:01:04.398 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 11:01:04.492 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:01:04.508 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:01:05.638 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 809e8751f86b13eec25289e6f1f5f35fad926d90 +2022-07-04 11:01:05.670 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '809e8751f86b13eec25289e6f1f5f35fad926d90'} +2022-07-04 11:01:05.717 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:01:05.748 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 11:01:05.842 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked 809e8751f86b13eec25289e6f1f5f35fad926d90 +2022-07-04 11:01:05.858 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked 809e8751f86b13eec25289e6f1f5f35fad926d90'} +2022-07-04 11:01:05.921 | INFO | dcs.tests.requestHandler:run:20 - [REQUEST] end +2022-07-04 11:01:05.921 | DEBUG | dcs.tests.requestHandler:run:21 - communication over from ('127.0.0.1', 9999)! +2022-07-04 11:01:17.284 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9004) +2022-07-04 11:01:17.425 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:01:17.425 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:01:18.272 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 97c9c7c74cae47fdd180ba27ed23b7537aac5fbb +2022-07-04 11:01:18.414 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9004): {'cookie': '97c9c7c74cae47fdd180ba27ed23b7537aac5fbb'} +2022-07-04 11:01:18.429 | ERROR | dcs.tests.requestHandler:run:36 - unpack requires a buffer of 8 bytes +2022-07-04 11:03:47.815 | DEBUG | __main__::15 - reading config args... +2022-07-04 11:03:51.691 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 11:03:51.833 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:03:51.848 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 11:03:52.429 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 11:03:52.476 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 11:03:52.539 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:03:52.601 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:03:53.433 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: ed68ba68c25cfec7aee4791d8102372e6687abc2 +2022-07-04 11:03:53.653 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': 'ed68ba68c25cfec7aee4791d8102372e6687abc2'} +2022-07-04 11:03:53.684 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:03:53.684 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 11:03:53.684 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked ed68ba68c25cfec7aee4791d8102372e6687abc2 +2022-07-04 11:03:53.732 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked ed68ba68c25cfec7aee4791d8102372e6687abc2'} +2022-07-04 11:03:53.794 | INFO | dcs.tests.requestHandler:run:20 - [REQUEST] end +2022-07-04 11:03:53.794 | DEBUG | dcs.tests.requestHandler:run:21 - communication over from ('127.0.0.1', 9999)! +2022-07-04 11:04:06.912 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9012) +2022-07-04 11:04:06.944 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:04:06.960 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:04:07.917 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 7b6ca5e2c5fc7b847bd56036c4061a81dc51ef58 +2022-07-04 11:04:08.011 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9012): {'cookie': '7b6ca5e2c5fc7b847bd56036c4061a81dc51ef58'} +2022-07-04 11:04:08.090 | ERROR | dcs.tests.requestHandler:run:36 - unpack requires a buffer of 8 bytes +2022-07-04 11:04:49.396 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9004) +2022-07-04 11:04:49.521 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:04:49.537 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:04:50.621 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 19e66ee738aff6cd6d8ad2e3313ff41c27230f56 +2022-07-04 11:04:50.636 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9004): {'cookie': '19e66ee738aff6cd6d8ad2e3313ff41c27230f56'} +2022-07-04 11:04:50.652 | ERROR | dcs.tests.requestHandler:run:36 - unpack requires a buffer of 8 bytes +2022-07-04 11:06:06.310 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 11:06:06.373 | WARNING | dcs.tests.requestHandler:run:26 - user info error! +2022-07-04 11:06:31.508 | DEBUG | __main__::15 - reading config args... +2022-07-04 11:06:35.463 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 11:06:35.510 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:06:35.510 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 11:06:36.139 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 11:06:36.264 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 11:06:41.618 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9012) +2022-07-04 11:06:41.743 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:06:41.759 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:06:42.890 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 4f438ad59d813b1a59b58d11d398883ee6919151 +2022-07-04 11:06:42.905 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9012): {'cookie': '4f438ad59d813b1a59b58d11d398883ee6919151'} +2022-07-04 11:07:43.777 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 11:07:43.840 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:07:43.871 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:07:44.828 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 29966af2677fc8b4412746a561b37284e1bc13d9 +2022-07-04 11:07:44.938 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': '29966af2677fc8b4412746a561b37284e1bc13d9'} +2022-07-04 11:11:51.367 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9001) +2022-07-04 11:11:51.414 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:11:51.493 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:11:53.187 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 23cb1fa6704e6e6597307d383a51a54dd2d63add +2022-07-04 11:11:53.219 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9001): {'cookie': '23cb1fa6704e6e6597307d383a51a54dd2d63add'} +2022-07-04 11:14:24.378 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9002) +2022-07-04 11:14:24.472 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:14:24.472 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:14:25.523 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: c9b6c481cdbe48cf276def025526abc972d94ac3 +2022-07-04 11:14:25.649 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9002): {'cookie': 'c9b6c481cdbe48cf276def025526abc972d94ac3'} +2022-07-04 11:17:04.788 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9002) +2022-07-04 11:17:04.914 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:17:04.960 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:17:06.498 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 5191908986a5025d7c80142dfabe18bf31b61951 +2022-07-04 11:17:06.593 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9002): {'cookie': '5191908986a5025d7c80142dfabe18bf31b61951'} +2022-07-04 11:18:37.585 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9003) +2022-07-04 11:18:37.617 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:18:37.648 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:18:40.252 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 76b3f5a1bcceaf3ee52487bfcdaafba6ec38f98d +2022-07-04 11:18:40.393 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9003): {'cookie': '76b3f5a1bcceaf3ee52487bfcdaafba6ec38f98d'} +2022-07-04 11:20:22.208 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9004) +2022-07-04 11:20:22.443 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:20:22.475 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:20:23.982 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 06911f151e044f896e69a130489ba2abf3d45b68 +2022-07-04 11:20:24.092 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9004): {'cookie': '06911f151e044f896e69a130489ba2abf3d45b68'} +2022-07-04 11:23:29.422 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9002) +2022-07-04 11:23:29.548 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:23:29.564 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:23:30.536 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 82fba0105605a4821a61eebeb5696b07117e9421 +2022-07-04 11:23:30.552 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9002): {'cookie': '82fba0105605a4821a61eebeb5696b07117e9421'} +2022-07-04 11:26:49.179 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 11:26:49.242 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:26:49.257 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 11:26:49.948 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 11:26:50.026 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 11:27:32.923 | DEBUG | __main__::15 - reading config args... +2022-07-04 11:27:36.627 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 11:27:36.784 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:27:36.799 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 11:27:37.459 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 11:27:37.459 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 11:27:37.506 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:27:37.538 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:27:38.730 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: d2ee74d97778e60505e72ecc79a95e9aa8855514 +2022-07-04 11:27:38.840 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': 'd2ee74d97778e60505e72ecc79a95e9aa8855514'} +2022-07-04 11:27:38.934 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:27:38.965 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 11:27:38.965 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked d2ee74d97778e60505e72ecc79a95e9aa8855514 +2022-07-04 11:27:39.013 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked d2ee74d97778e60505e72ecc79a95e9aa8855514'} +2022-07-04 11:27:39.201 | INFO | dcs.tests.requestHandler:run:20 - [REQUEST] end +2022-07-04 11:27:39.201 | DEBUG | dcs.tests.requestHandler:run:21 - communication over from ('127.0.0.1', 9999)! +2022-07-04 11:27:44.051 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9002) +2022-07-04 11:27:44.099 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:27:44.114 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:27:44.569 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: b76dbe3dc6be5a019f38c9106db6b711c58e233c +2022-07-04 11:27:44.694 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9002): {'cookie': 'b76dbe3dc6be5a019f38c9106db6b711c58e233c'} +2022-07-04 11:27:44.710 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 11:29:30.560 | DEBUG | dcs.server:run:25 - connected to client ('10.129.16.173', 9003) +2022-07-04 11:29:30.703 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 11:29:30.749 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 11:29:32.728 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 4f67ca409e2216348668159486deb277b4f694e3 +2022-07-04 11:29:32.728 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9003): {'cookie': '4f67ca409e2216348668159486deb277b4f694e3'} +2022-07-04 11:29:32.760 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 12:32:08.595 | DEBUG | __main__::15 - reading config args... diff --git a/dcs/main.py b/dcs/main.py index 3fb1998..8725a9f 100644 --- a/dcs/main.py +++ b/dcs/main.py @@ -16,6 +16,7 @@ logger.debug('reading config args...') configFile = '../conf/settings.ini' con = ConfigParser() con.read(configFile, encoding='utf-8') +global_var.configs = con items = con.items('server') items = dict(items) diff --git a/dcs/tests/requestHandler.py b/dcs/tests/requestHandler.py index f6c6561..fbd89d8 100644 --- a/dcs/tests/requestHandler.py +++ b/dcs/tests/requestHandler.py @@ -12,7 +12,6 @@ class RequestHandler(threading.Thread): self.client_socket = client_socket def run(self) -> None: - request_map = None try: while True: request_map = parse_request(self.client_socket) @@ -33,6 +32,7 @@ class RequestHandler(threading.Thread): logger.error(f"no action {request_map['action']}!") global_var.communicator.add_response('error', self.client_socket, {request_map['action']: f"no action {request_map['action']}!"}) + # break except Exception as e: logger.error(str(e)) - global_var.communicator.add_response('error', self.client_socket, {request_map['action']: str(e)}) + # global_var.communicator.add_response('error', self.client_socket, {request_map['action']: str(e)}) diff --git a/dcs/tests/spider_task.py b/dcs/tests/spider_task.py index 1962e4e..df4b2ec 100644 --- a/dcs/tests/spider_task.py +++ b/dcs/tests/spider_task.py @@ -1,6 +1,7 @@ import socket import threading from typing import Optional +import multiprocessing from loguru import logger from msedge.selenium_tools import Edge @@ -42,13 +43,18 @@ class Crawler(threading.Thread): super(Crawler, self).__init__() self.partial_task = partial_task self.last_crawl_id = last_crawl_id + self.edge_driver_path = dict(global_var.configs.items('crawler'))['edge_driver_path'] def crawl_zhiwang(self, user_name=None): edge_options = EdgeOptions() edge_options.use_chromium = True edge_options.add_argument('--headless') - driver = Edge(options=edge_options, executable_path=r'G:\course\yykf\dcs\bin\msedgedriver.exe') + No_Image_loading = {"profile.managed_default_content_settings.images": 2, 'permissions.default.stylesheet': 2} + edge_options.add_experimental_option("prefs", No_Image_loading) + driver = Edge(options=edge_options, executable_path=self.edge_driver_path) soup = driver_open(driver, self.partial_task.word) # 搜索word + # logger.debug(self.last_crawl_id) + # logger.debug(self.partial_task.word) papers = [] # 用于保存爬取到的论文 table_name = f'{user_name}_crawl_result' @@ -92,10 +98,12 @@ class Crawler(threading.Thread): def run(self) -> None: try: - # self.crawl_zhiwang(user_name=self.partial_task.cui.user_name) - self.test_simulation(user_name=self.partial_task.cui.user_name) + self.crawl_zhiwang(user_name=self.partial_task.cui.user_name) + # self.test_simulation(user_name=self.partial_task.cui.user_name) except Exception as e: - print(e) + logger.error(str(e)) + logger.error(e.__traceback__.tb_frame.f_globals["__file__"]) # 发生异常所在的文件 + logger.error(e.__traceback__.tb_lineno) # 发生异常所在的行数 finally: logger.info(f'partial crawl task finished: {str(self.partial_task)}') self.partial_task.thread = None @@ -178,6 +186,8 @@ class Spider_task(threading.Thread): logger.debug(local_result) result.update(local_result) + result.update({'crawl_id': self.last_crawl_id+1, 'table_name': self.table_name}) + global_var.communicator.add_info('response', self.client_socket.getpeername(), result) def run(self) -> None: diff --git a/dcs/tests/zhiwang.py b/dcs/tests/zhiwang.py index fba9211..c446597 100644 --- a/dcs/tests/zhiwang.py +++ b/dcs/tests/zhiwang.py @@ -33,13 +33,13 @@ class Author: def driver_open(driver, key_word): url = "https://www.cnki.net/" driver.get(url) - time.sleep(1) + # time.sleep(1) driver.find_element(by=By.CSS_SELECTOR, value='#txt_SearchText').send_keys(key_word) # time.sleep(2) # 点击搜索按钮 driver.find_element(by=By.CSS_SELECTOR, value='body > div.wrapper.section1 > div.searchmain > div > div.input-box > input.search-btn').click() - time.sleep(5) # 必须要等待 + time.sleep(1) # 必须要等待 content = driver.page_source.encode('utf-8') # driver.close() soup = BeautifulSoup(content, 'lxml') @@ -47,6 +47,7 @@ def driver_open(driver, key_word): def spider(driver, soup, papers): + logger.debug("crawling a soup...") tbody = soup.find_all('tbody') try: tbody = BeautifulSoup(str(tbody[0]), 'lxml') @@ -55,6 +56,7 @@ def spider(driver, soup, papers): return tr = tbody.find_all('tr') for item in tr: + logger.debug("crawling an item...") tr_bf = BeautifulSoup(str(item), 'lxml') td_name = tr_bf.find_all('td', class_='name') @@ -82,13 +84,15 @@ def spider(driver, soup, papers): print('\n') paper = Paper(title, authors) papers.append(paper) + papers.append(paper) + break # time.sleep(1) # 每调一次spider休息1s # pn表示当前要爬的页数 def change_page(driver, pn): driver.find_element(by=By.CSS_SELECTOR, value='#page' + str(pn)).click() - time.sleep(5) + time.sleep(1) content = driver.page_source.encode('utf-8') soup = BeautifulSoup(content, 'lxml') return soup diff --git a/dcs/tools/database.py b/dcs/tools/database.py index e3c3d8a..654b14e 100644 --- a/dcs/tools/database.py +++ b/dcs/tools/database.py @@ -7,9 +7,9 @@ import dcs.tools.cookie as cookie # 获取数据库连接对象 -def mysql_conn(host='127.0.0.1', user='root', passwd='xwdjzwy5252', db='test'): +def mysql_conn(host='10.129.16.155', user='root', passwd='427318Aa', db='test'): try: - logger.debug('connecting to database...') + # logger.debug('connecting to database...') conn = pymysql.connect(host=host, user=user, passwd=passwd, db=db) return conn except Exception as e: @@ -17,9 +17,10 @@ def mysql_conn(host='127.0.0.1', user='root', passwd='xwdjzwy5252', db='test'): def register(u_name, u_pwd): - s1 = sha1() - s1.update(u_pwd.encode()) - sha_pwd = s1.hexdigest() + # s1 = sha1() + # s1.update(u_pwd.encode()) + # sha_pwd = s1.hexdigest() + sha_pwd = u_pwd try: # 获取数据库连接对象 conn = mysql_conn() @@ -127,6 +128,7 @@ def get_last_crawl_id(table_name: str) -> int: return last_crawl_id except Exception as e: print(e) + return 0 def drop_table(table_name: str): diff --git a/dcs/tools/message_process.py b/dcs/tools/message_process.py index b974fd5..f01dffc 100644 --- a/dcs/tools/message_process.py +++ b/dcs/tools/message_process.py @@ -6,8 +6,10 @@ from conf.config import exists def parse_request(client_socket: socket.socket): - request_header_size = struct.unpack("!Q", read_bytes(client_socket, 8))[0] - request_map = json.JSONDecoder().decode(read_bytes(client_socket, request_header_size).decode("utf-8")) + data = read_bytes(client_socket, 8) + request_header_size = struct.unpack("!Q", data)[0] + data = read_bytes(client_socket, request_header_size) + request_map = json.JSONDecoder().decode(data.decode("utf-8")) return request_map diff --git a/ui/connect.py b/ui/connect.py index 960372c..b151a27 100644 --- a/ui/connect.py +++ b/ui/connect.py @@ -40,7 +40,7 @@ def read_bytes(s: 'socket.socket', size: 'int') -> 'bytes': def send_request(ip, port, request_info): with socket.socket(socket.AF_INET, socket.SOCK_STREAM, socket.IPPROTO_TCP) as socket_to_server: socket_to_server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) - socket_to_server.bind(('', 9002)) + socket_to_server.bind(('', 9012)) socket_to_server.connect((ip, int(port))) full_request = generate_request(request_info) @@ -57,13 +57,13 @@ def send_request(ip, port, request_info): def receive_response(): server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM, socket.IPPROTO_TCP) server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) - server_socket.bind(('', 9002)) + server_socket.bind(('', 9012)) server_socket.listen() - while True: - client_socket, _ = server_socket.accept() - request_map = parse_request(client_socket) - if request_map['type'] == 'response': - print("receiving response:\n" + json.dumps(request_map, ensure_ascii=False)) + # while True: + client_socket, _ = server_socket.accept() + request_map = parse_request(client_socket) + if request_map['type'] == 'response': + print("receiving response:\n" + json.dumps(request_map, ensure_ascii=False)) if __name__ == '__main__': diff --git a/ui/login.bat b/ui/login.bat index 56f8ccd..1c4e06d 100644 --- a/ui/login.bat +++ b/ui/login.bat @@ -1 +1 @@ -python .\connect.py --ip 127.0.0.1 --port 7777 login --user wufayuan --password 113818 +python .\connect.py --ip 127.0.0.1 --port 7777 login --user yuu --password yuu