From b681c1b92d7b3b69ab516a46da7b381d199b03ff Mon Sep 17 00:00:00 2001 From: wufayuan <2858767122@qq.com> Date: Mon, 4 Jul 2022 17:27:02 +0800 Subject: [PATCH] =?UTF-8?q?=E4=B9=9F=E8=AE=B8=E5=8F=AF=E4=BB=A5=E8=BF=90?= =?UTF-8?q?=E8=A1=8C=E4=BA=86?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- dcs/dcs.log | 115 +++++++++++++++++++++++++++++++++++++++ dcs/tests/spider_task.py | 4 +- dcs/tools/database.py | 2 +- ui/connect.py | 6 +- ui/login.js | 6 +- 5 files changed, 125 insertions(+), 8 deletions(-) diff --git a/dcs/dcs.log b/dcs/dcs.log index 69ef5b9..32f8a0b 100644 --- a/dcs/dcs.log +++ b/dcs/dcs.log @@ -9435,3 +9435,118 @@ from unknown error: web view not found 2022-07-04 11:29:32.728 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9003): {'cookie': '4f67ca409e2216348668159486deb277b4f694e3'} 2022-07-04 11:29:32.760 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes 2022-07-04 12:32:08.595 | DEBUG | __main__::15 - reading config args... +2022-07-04 17:13:39.146 | DEBUG | __main__::15 - reading config args... +2022-07-04 17:14:06.814 | DEBUG | __main__::15 - reading config args... +2022-07-04 17:14:11.114 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 17:14:11.161 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 17:14:11.177 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 17:14:11.632 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 17:14:11.647 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 17:14:11.789 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 17:14:11.851 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 17:14:12.605 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 956ebd3fe58b86ad87a4b59d5464f842dba1ec09 +2022-07-04 17:14:12.715 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '956ebd3fe58b86ad87a4b59d5464f842dba1ec09'} +2022-07-04 17:14:12.746 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 17:14:12.778 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 17:14:12.778 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked 956ebd3fe58b86ad87a4b59d5464f842dba1ec09 +2022-07-04 17:14:12.809 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked 956ebd3fe58b86ad87a4b59d5464f842dba1ec09'} +2022-07-04 17:14:12.856 | INFO | dcs.tests.requestHandler:run:20 - [REQUEST] end +2022-07-04 17:14:12.856 | DEBUG | dcs.tests.requestHandler:run:21 - communication over from ('127.0.0.1', 9999)! +2022-07-04 17:16:34.959 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9012) +2022-07-04 17:16:34.976 | WARNING | dcs.tests.requestHandler:run:26 - user info error! +2022-07-04 17:18:56.065 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9012) +2022-07-04 17:18:56.695 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 17:18:56.711 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9012), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': '956ebd3fe58b86ad87a4b59d5464f842dba1ec09'}) +2022-07-04 17:18:56.711 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [, ] +2022-07-04 17:18:56.711 | DEBUG | dcs.tests.spider_task:run:199 - [] +2022-07-04 17:18:56.726 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9012): {'crawling state': 'starting, please wait...'} +2022-07-04 17:18:56.773 | DEBUG | dcs.tests.spider_task:run:211 - generating remote task +2022-07-04 17:18:56.868 | INFO | dcs.requester:get:40 - sending crawl request to ('127.0.0.1', 9999) +2022-07-04 17:18:56.899 | DEBUG | dcs.tests.spider_task:run:219 - generating local task +2022-07-04 17:18:56.899 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 17:19:07.834 | DEBUG | dcs.requester:run:64 - receiving remote task result, saving... +2022-07-04 17:19:07.849 | DEBUG | dcs.requester:run:68 - result: {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '5': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '6': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '7': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}} +2022-07-04 17:20:55.386 | DEBUG | dcs.tests.zhiwang:spider:50 - crawling a soup... +2022-07-04 17:21:02.198 | DEBUG | dcs.tests.zhiwang:spider:59 - crawling an item... +2022-07-04 17:21:10.114 | DEBUG | __main__::15 - reading config args... +2022-07-04 17:21:16.964 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999) +2022-07-04 17:21:17.152 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 17:21:17.199 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register +2022-07-04 17:21:17.622 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败 +2022-07-04 17:21:17.701 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'} +2022-07-04 17:21:17.795 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 17:21:17.795 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login +2022-07-04 17:21:18.691 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: fb90de22c26723e4d7172fcf1db124f4db91fa30 +2022-07-04 17:21:18.801 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'} +2022-07-04 17:21:18.832 | INFO | dcs.user_process:run:18 - processing user request... +2022-07-04 17:21:18.847 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free +2022-07-04 17:21:18.847 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked fb90de22c26723e4d7172fcf1db124f4db91fa30 +2022-07-04 17:21:18.863 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked fb90de22c26723e4d7172fcf1db124f4db91fa30'} +2022-07-04 17:21:18.910 | INFO | dcs.tests.requestHandler:run:20 - [REQUEST] end +2022-07-04 17:21:18.910 | DEBUG | dcs.tests.requestHandler:run:21 - communication over from ('127.0.0.1', 9999)! +2022-07-04 17:21:37.873 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9012) +2022-07-04 17:21:38.124 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 17:21:38.202 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9012): {'crawling state': 'starting, please wait...'} +2022-07-04 17:21:38.218 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9012), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'}) +2022-07-04 17:21:38.233 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [, ] +2022-07-04 17:21:38.265 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 17:21:38.249 | DEBUG | dcs.tests.spider_task:run:199 - [] +2022-07-04 17:21:38.328 | DEBUG | dcs.tests.spider_task:run:211 - generating remote task +2022-07-04 17:21:38.328 | INFO | dcs.requester:get:40 - sending crawl request to ('127.0.0.1', 9999) +2022-07-04 17:21:38.390 | DEBUG | dcs.tests.spider_task:run:219 - generating local task +2022-07-04 17:21:39.160 | DEBUG | dcs.tests.spider_task:test_simulation:90 - simulation crawling... +2022-07-04 17:21:39.207 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:21:40.023 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:21:40.583 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:21:41.552 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9012), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 2, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'}) +2022-07-04 17:21:48.367 | DEBUG | dcs.requester:run:64 - receiving remote task result, saving... +2022-07-04 17:21:48.367 | DEBUG | dcs.requester:run:68 - result: {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '5': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '6': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '7': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}} +2022-07-04 17:21:48.383 | DEBUG | dcs.tests.spider_task:compose_result:168 - composing task... +2022-07-04 17:21:52.240 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 5: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 6: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 7: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}} +2022-07-04 17:21:52.304 | INFO | dcs.communicate:run:33 - sending info to ('127.0.0.1', 9012): {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '5': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '6': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '7': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 5: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 6: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 7: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 'crawl_id': 10, 'table_name': 'liuxiaoyu_crawl_result', 'type': 'response'} +2022-07-04 17:22:51.035 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9013) +2022-07-04 17:22:51.667 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 17:22:51.683 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9013), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'}) +2022-07-04 17:22:51.683 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [, ] +2022-07-04 17:22:51.683 | DEBUG | dcs.tests.spider_task:run:199 - [] +2022-07-04 17:22:51.684 | DEBUG | dcs.tests.spider_task:run:219 - generating local task +2022-07-04 17:22:51.723 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9013): {'crawling state': 'starting, please wait...'} +2022-07-04 17:22:51.754 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 17:22:51.754 | DEBUG | dcs.tests.spider_task:run:219 - generating local task +2022-07-04 17:22:52.806 | DEBUG | dcs.tests.spider_task:test_simulation:90 - simulation crawling... +2022-07-04 17:22:52.806 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:22:52.822 | DEBUG | dcs.tests.spider_task:test_simulation:90 - simulation crawling... +2022-07-04 17:22:52.822 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:22:53.199 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:22:53.418 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:22:53.936 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:22:54.188 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:22:54.486 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9013), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'}) +2022-07-04 17:22:54.784 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9013), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 2, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'}) +2022-07-04 17:22:54.800 | DEBUG | dcs.tests.spider_task:compose_result:168 - composing task... +2022-07-04 17:22:59.385 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}} +2022-07-04 17:22:59.871 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}} +2022-07-04 17:22:59.934 | INFO | dcs.communicate:run:33 - sending info to ('127.0.0.1', 9013): {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '5': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '6': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '7': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 'crawl_id': 11, 'table_name': 'liuxiaoyu_crawl_result', 'type': 'response'} +2022-07-04 17:24:08.558 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9014) +2022-07-04 17:24:09.007 | INFO | dcs.spider:run:22 - processing spider request... +2022-07-04 17:24:09.087 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9014), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'}) +2022-07-04 17:24:09.087 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [, ] +2022-07-04 17:24:09.088 | DEBUG | dcs.tests.spider_task:run:199 - [] +2022-07-04 17:24:09.088 | DEBUG | dcs.tests.spider_task:run:219 - generating local task +2022-07-04 17:24:09.102 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9014): {'crawling state': 'starting, please wait...'} +2022-07-04 17:24:09.166 | DEBUG | dcs.tests.spider_task:run:219 - generating local task +2022-07-04 17:24:09.198 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes +2022-07-04 17:24:10.804 | DEBUG | dcs.tests.spider_task:test_simulation:90 - simulation crawling... +2022-07-04 17:24:10.804 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:24:10.882 | DEBUG | dcs.tests.spider_task:test_simulation:90 - simulation crawling... +2022-07-04 17:24:10.913 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:24:11.275 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:24:11.368 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:24:11.554 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:24:11.776 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test +2022-07-04 17:24:12.140 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9014), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'}) +2022-07-04 17:24:12.283 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9014), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 2, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'}) +2022-07-04 17:24:12.283 | DEBUG | dcs.tests.spider_task:compose_result:168 - composing task... +2022-07-04 17:24:15.751 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}} +2022-07-04 17:24:16.227 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}} +2022-07-04 17:24:16.274 | INFO | dcs.communicate:run:33 - sending info to ('127.0.0.1', 9014): {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '5': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '6': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '7': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 'crawl_id': 12, 'table_name': 'liuxiaoyu_crawl_result', 'type': 'response'} diff --git a/dcs/tests/spider_task.py b/dcs/tests/spider_task.py index df4b2ec..7b1b0d3 100644 --- a/dcs/tests/spider_task.py +++ b/dcs/tests/spider_task.py @@ -98,8 +98,8 @@ class Crawler(threading.Thread): def run(self) -> None: try: - self.crawl_zhiwang(user_name=self.partial_task.cui.user_name) - # self.test_simulation(user_name=self.partial_task.cui.user_name) + # self.crawl_zhiwang(user_name=self.partial_task.cui.user_name) + self.test_simulation(user_name=self.partial_task.cui.user_name) except Exception as e: logger.error(str(e)) logger.error(e.__traceback__.tb_frame.f_globals["__file__"]) # 发生异常所在的文件 diff --git a/dcs/tools/database.py b/dcs/tools/database.py index 654b14e..4c68523 100644 --- a/dcs/tools/database.py +++ b/dcs/tools/database.py @@ -7,7 +7,7 @@ import dcs.tools.cookie as cookie # 获取数据库连接对象 -def mysql_conn(host='10.129.16.155', user='root', passwd='427318Aa', db='test'): +def mysql_conn(host='192.168.43.64', user='root', passwd='427318Aa', db='test'): try: # logger.debug('connecting to database...') conn = pymysql.connect(host=host, user=user, passwd=passwd, db=db) diff --git a/ui/connect.py b/ui/connect.py index b151a27..c709e39 100644 --- a/ui/connect.py +++ b/ui/connect.py @@ -40,7 +40,7 @@ def read_bytes(s: 'socket.socket', size: 'int') -> 'bytes': def send_request(ip, port, request_info): with socket.socket(socket.AF_INET, socket.SOCK_STREAM, socket.IPPROTO_TCP) as socket_to_server: socket_to_server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) - socket_to_server.bind(('', 9012)) + socket_to_server.bind(('', 9014)) socket_to_server.connect((ip, int(port))) full_request = generate_request(request_info) @@ -57,13 +57,15 @@ def send_request(ip, port, request_info): def receive_response(): server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM, socket.IPPROTO_TCP) server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) - server_socket.bind(('', 9012)) + server_socket.bind(('', 9014)) server_socket.listen() # while True: client_socket, _ = server_socket.accept() request_map = parse_request(client_socket) if request_map['type'] == 'response': print("receiving response:\n" + json.dumps(request_map, ensure_ascii=False)) + with open('result.txt', 'w', encoding='utf-8') as f: + json.dump(request_map, f, ensure_ascii=False, indent=4) if __name__ == '__main__': diff --git a/ui/login.js b/ui/login.js index ed4c535..0d508d7 100644 --- a/ui/login.js +++ b/ui/login.js @@ -10,9 +10,9 @@ var fs = require("fs"); * 配置MySql */ var connection = mysql.createConnection({ - host : '127.0.0.1', + host : '192.168.43.64', user : 'root', - password : 'xwdjzwy5252', + password : '427318Aa', database : 'test', port:'3306' }); @@ -134,7 +134,7 @@ function execute(cmd) { //调用cmd命令 }) } app.post('/check', function (req, res) { - execute('python connect.py --ip 127.0.0.1 --port 7777 crawling --word computer --cookie 72651f56b02caaf78076ba8f05a8223606e58216 --pages_start 1 --pages_end 5'); + execute('python connect.py --ip 127.0.0.1 --port 7777 crawling --word computer --cookie fb90de22c26723e4d7172fcf1db124f4db91fa30 --pages_start 1 --pages_end 3'); fs.readFile('./result.txt', 'utf-8', function (err, data) { if (err) { console.error(err);