p3t2ja9zs
/
dcs
1
0
Fork 1
Code Issues Pull Requests Releases 2 Wiki Activity

也许可以运行了

Browse Source
master
wufayuan 3 years ago
parent 592d6f9941
commit b681c1b92d
5 changed files with 125 additions and 8 deletions
Show Stats Download Patch File Download Diff File

115
dcs/dcs.log
Unescape View File

@ -9435,3 +9435,118 @@ from unknown error: web view not found
2022-07-04 11:29:32.728 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9003): {'cookie': '4f67ca409e2216348668159486deb277b4f694e3'} 2022-07-04 11:29:32.728 | INFO | dcs.communicate:run:26 - sending response to ('10.129.16.173', 9003): {'cookie': '4f67ca409e2216348668159486deb277b4f694e3'}
2022-07-04 11:29:32.760 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes 2022-07-04 11:29:32.760 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes
2022-07-04 12:32:08.595 | DEBUG | __main__:<module>:15 - reading config args... 2022-07-04 12:32:08.595 | DEBUG | __main__:<module>:15 - reading config args...
2022-07-04 17:13:39.146 | DEBUG | __main__:<module>:15 - reading config args...
2022-07-04 17:14:06.814 | DEBUG | __main__:<module>:15 - reading config args...
2022-07-04 17:14:11.114 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999)
2022-07-04 17:14:11.161 | INFO | dcs.user_process:run:18 - processing user request...
2022-07-04 17:14:11.177 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register
2022-07-04 17:14:11.632 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败
2022-07-04 17:14:11.647 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'}
2022-07-04 17:14:11.789 | INFO | dcs.user_process:run:18 - processing user request...
2022-07-04 17:14:11.851 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login
2022-07-04 17:14:12.605 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: 956ebd3fe58b86ad87a4b59d5464f842dba1ec09
2022-07-04 17:14:12.715 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': '956ebd3fe58b86ad87a4b59d5464f842dba1ec09'}
2022-07-04 17:14:12.746 | INFO | dcs.user_process:run:18 - processing user request...
2022-07-04 17:14:12.778 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free
2022-07-04 17:14:12.778 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked 956ebd3fe58b86ad87a4b59d5464f842dba1ec09
2022-07-04 17:14:12.809 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked 956ebd3fe58b86ad87a4b59d5464f842dba1ec09'}
2022-07-04 17:14:12.856 | INFO | dcs.tests.requestHandler:run:20 - [REQUEST] end
2022-07-04 17:14:12.856 | DEBUG | dcs.tests.requestHandler:run:21 - communication over from ('127.0.0.1', 9999)!
2022-07-04 17:16:34.959 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9012)
2022-07-04 17:16:34.976 | WARNING | dcs.tests.requestHandler:run:26 - user info error!
2022-07-04 17:18:56.065 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9012)
2022-07-04 17:18:56.695 | INFO | dcs.spider:run:22 - processing spider request...
2022-07-04 17:18:56.711 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9012), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': '956ebd3fe58b86ad87a4b59d5464f842dba1ec09'})
2022-07-04 17:18:56.711 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [<dcs.tests.spider_task.Spider_partial_task object at 0x000001C1E03908B0>, <dcs.tests.spider_task.Spider_partial_task object at 0x000001C1E0390880>]
2022-07-04 17:18:56.711 | DEBUG | dcs.tests.spider_task:run:199 - [<socket.socket fd=280, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 7777), raddr=('127.0.0.1', 9999)>]
2022-07-04 17:18:56.726 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9012): {'crawling state': 'starting, please wait...'}
2022-07-04 17:18:56.773 | DEBUG | dcs.tests.spider_task:run:211 - generating remote task
2022-07-04 17:18:56.868 | INFO | dcs.requester:get:40 - sending crawl request to ('127.0.0.1', 9999)
2022-07-04 17:18:56.899 | DEBUG | dcs.tests.spider_task:run:219 - generating local task
2022-07-04 17:18:56.899 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes
2022-07-04 17:19:07.834 | DEBUG | dcs.requester:run:64 - receiving remote task result, saving...
2022-07-04 17:19:07.849 | DEBUG | dcs.requester:run:68 - result: {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '5': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '6': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '7': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}}
2022-07-04 17:20:55.386 | DEBUG | dcs.tests.zhiwang:spider:50 - crawling a soup...
2022-07-04 17:21:02.198 | DEBUG | dcs.tests.zhiwang:spider:59 - crawling an item...
2022-07-04 17:21:10.114 | DEBUG | __main__:<module>:15 - reading config args...
2022-07-04 17:21:16.964 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9999)
2022-07-04 17:21:17.152 | INFO | dcs.user_process:run:18 - processing user request...
2022-07-04 17:21:17.199 | INFO | dcs.tests.user_request_handler:register:35 - [REQUEST] register
2022-07-04 17:21:17.622 | INFO | dcs.tests.user_request_handler:register:42 - [RESPONSE] register: 用户名已存在，注册失败
2022-07-04 17:21:17.701 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'register': '用户名已存在，注册失败'}
2022-07-04 17:21:17.795 | INFO | dcs.user_process:run:18 - processing user request...
2022-07-04 17:21:17.795 | INFO | dcs.tests.user_request_handler:login:25 - [REQUEST] login
2022-07-04 17:21:18.691 | INFO | dcs.tests.user_request_handler:login:32 - [RESPONSE] login: fb90de22c26723e4d7172fcf1db124f4db91fa30
2022-07-04 17:21:18.801 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'}
2022-07-04 17:21:18.832 | INFO | dcs.user_process:run:18 - processing user request...
2022-07-04 17:21:18.847 | INFO | dcs.tests.user_request_handler:report_state:16 - [REQUEST] report free
2022-07-04 17:21:18.847 | INFO | dcs.tests.user_request_handler:report_state:22 - [RESPONSE] report free: success marked fb90de22c26723e4d7172fcf1db124f4db91fa30
2022-07-04 17:21:18.863 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9999): {'report_free': 'success marked fb90de22c26723e4d7172fcf1db124f4db91fa30'}
2022-07-04 17:21:18.910 | INFO | dcs.tests.requestHandler:run:20 - [REQUEST] end
2022-07-04 17:21:18.910 | DEBUG | dcs.tests.requestHandler:run:21 - communication over from ('127.0.0.1', 9999)!
2022-07-04 17:21:37.873 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9012)
2022-07-04 17:21:38.124 | INFO | dcs.spider:run:22 - processing spider request...
2022-07-04 17:21:38.202 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9012): {'crawling state': 'starting, please wait...'}
2022-07-04 17:21:38.218 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9012), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'})
2022-07-04 17:21:38.233 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [<dcs.tests.spider_task.Spider_partial_task object at 0x00000236288CC700>, <dcs.tests.spider_task.Spider_partial_task object at 0x00000236288CC670>]
2022-07-04 17:21:38.265 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes
2022-07-04 17:21:38.249 | DEBUG | dcs.tests.spider_task:run:199 - [<socket.socket fd=988, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 7777), raddr=('127.0.0.1', 9999)>]
2022-07-04 17:21:38.328 | DEBUG | dcs.tests.spider_task:run:211 - generating remote task
2022-07-04 17:21:38.328 | INFO | dcs.requester:get:40 - sending crawl request to ('127.0.0.1', 9999)
2022-07-04 17:21:38.390 | DEBUG | dcs.tests.spider_task:run:219 - generating local task
2022-07-04 17:21:39.160 | DEBUG | dcs.tests.spider_task:test_simulation:90 - simulation crawling...
2022-07-04 17:21:39.207 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:21:40.023 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:21:40.583 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:21:41.552 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9012), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 2, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'})
2022-07-04 17:21:48.367 | DEBUG | dcs.requester:run:64 - receiving remote task result, saving...
2022-07-04 17:21:48.367 | DEBUG | dcs.requester:run:68 - result: {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '5': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '6': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '7': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}}
2022-07-04 17:21:48.383 | DEBUG | dcs.tests.spider_task:compose_result:168 - composing task...
2022-07-04 17:21:52.240 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 5: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 6: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 7: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}}
2022-07-04 17:21:52.304 | INFO | dcs.communicate:run:33 - sending info to ('127.0.0.1', 9012): {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '5': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '6': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '7': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 5: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 6: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 7: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 'crawl_id': 10, 'table_name': 'liuxiaoyu_crawl_result', 'type': 'response'}
2022-07-04 17:22:51.035 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9013)
2022-07-04 17:22:51.667 | INFO | dcs.spider:run:22 - processing spider request...
2022-07-04 17:22:51.683 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9013), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'})
2022-07-04 17:22:51.683 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [<dcs.tests.spider_task.Spider_partial_task object at 0x00000236288CD420>, <dcs.tests.spider_task.Spider_partial_task object at 0x00000236288CD4B0>]
2022-07-04 17:22:51.683 | DEBUG | dcs.tests.spider_task:run:199 - []
2022-07-04 17:22:51.684 | DEBUG | dcs.tests.spider_task:run:219 - generating local task
2022-07-04 17:22:51.723 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9013): {'crawling state': 'starting, please wait...'}
2022-07-04 17:22:51.754 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes
2022-07-04 17:22:51.754 | DEBUG | dcs.tests.spider_task:run:219 - generating local task
2022-07-04 17:22:52.806 | DEBUG | dcs.tests.spider_task:test_simulation:90 - simulation crawling...
2022-07-04 17:22:52.806 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:22:52.822 | DEBUG | dcs.tests.spider_task:test_simulation:90 - simulation crawling...
2022-07-04 17:22:52.822 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:22:53.199 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:22:53.418 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:22:53.936 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:22:54.188 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:22:54.486 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9013), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'})
2022-07-04 17:22:54.784 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9013), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 2, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'})
2022-07-04 17:22:54.800 | DEBUG | dcs.tests.spider_task:compose_result:168 - composing task...
2022-07-04 17:22:59.385 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}}
2022-07-04 17:22:59.871 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}}
2022-07-04 17:22:59.934 | INFO | dcs.communicate:run:33 - sending info to ('127.0.0.1', 9013): {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '5': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '6': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '7': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 'crawl_id': 11, 'table_name': 'liuxiaoyu_crawl_result', 'type': 'response'}
2022-07-04 17:24:08.558 | DEBUG | dcs.server:run:25 - connected to client ('127.0.0.1', 9014)
2022-07-04 17:24:09.007 | INFO | dcs.spider:run:22 - processing spider request...
2022-07-04 17:24:09.087 | INFO | dcs.tests.spider_task:distribute_task:145 - distributing task: (('127.0.0.1', 9014), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'})
2022-07-04 17:24:09.087 | DEBUG | dcs.tests.spider_task:distribute_task:158 - [<dcs.tests.spider_task.Spider_partial_task object at 0x00000236288CD930>, <dcs.tests.spider_task.Spider_partial_task object at 0x00000236288CD8A0>]
2022-07-04 17:24:09.088 | DEBUG | dcs.tests.spider_task:run:199 - []
2022-07-04 17:24:09.088 | DEBUG | dcs.tests.spider_task:run:219 - generating local task
2022-07-04 17:24:09.102 | INFO | dcs.communicate:run:26 - sending response to ('127.0.0.1', 9014): {'crawling state': 'starting, please wait...'}
2022-07-04 17:24:09.166 | DEBUG | dcs.tests.spider_task:run:219 - generating local task
2022-07-04 17:24:09.198 | ERROR | dcs.tests.requestHandler:run:37 - unpack requires a buffer of 8 bytes
2022-07-04 17:24:10.804 | DEBUG | dcs.tests.spider_task:test_simulation:90 - simulation crawling...
2022-07-04 17:24:10.804 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:24:10.882 | DEBUG | dcs.tests.spider_task:test_simulation:90 - simulation crawling...
2022-07-04 17:24:10.913 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:24:11.275 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:24:11.368 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:24:11.554 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:24:11.776 | INFO | dcs.tests.spider_task:write2database:17 - writing to database: test
2022-07-04 17:24:12.140 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9014), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 1, 'pages_end': 2, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'})
2022-07-04 17:24:12.283 | INFO | dcs.tests.spider_task:run:108 - partial crawl task finished: (('127.0.0.1', 9014), {'action': 'crawl zhiwang', 'word': 'computer', 'pages_start': 2, 'pages_end': 3, 'cookie': 'fb90de22c26723e4d7172fcf1db124f4db91fa30'})
2022-07-04 17:24:12.283 | DEBUG | dcs.tests.spider_task:compose_result:168 - composing task...
2022-07-04 17:24:15.751 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}}
2022-07-04 17:24:16.227 | DEBUG | dcs.tests.spider_task:compose_result:186 - {1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}}
2022-07-04 17:24:16.274 | INFO | dcs.communicate:run:33 - sending info to ('127.0.0.1', 9014): {'0': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '1': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '2': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '3': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '4': {'name': '刘思源', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '5': {'name': '冯蕾霖', 'college': None, 'major': None, 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '6': {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, '7': {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'title': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 1: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 2: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 3: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 4: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 5: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 6: {'name': 'test', 'college': 'test', 'major': 'test', 'paper': 'test'}, 7: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 8: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 9: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 10: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 11: {'name': '刘思源', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 12: {'name': '冯蕾霖', 'college': 'None', 'major': 'None', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 13: {'name': '朱章黔', 'college': '陆军勤务学院', 'major': '数学;互联网技术;高等教育;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 14: {'name': '贾韬', 'college': '西南大学', 'major': '科学研究管理;计算机软件及计算机应用;自动化技术;', 'paper': '基于大规模课程大纲数据的中美高校计算机相关课程考核的比较分析'}, 'crawl_id': 12, 'table_name': 'liuxiaoyu_crawl_result', 'type': 'response'}

4
dcs/tests/spider_task.py
Unescape View File

@ -98,8 +98,8 @@ class Crawler(threading.Thread):
def run(self) -> None: def run(self) -> None:
try: try:
self.crawl_zhiwang(user_name=self.partial_task.cui.user_name) # self.crawl_zhiwang(user_name=self.partial_task.cui.user_name)
# self.test_simulation(user_name=self.partial_task.cui.user_name) self.test_simulation(user_name=self.partial_task.cui.user_name)
except Exception as e: except Exception as e:
logger.error(str(e)) logger.error(str(e))
logger.error(e.__traceback__.tb_frame.f_globals["__file__"]) # 发生异常所在的文件 logger.error(e.__traceback__.tb_frame.f_globals["__file__"]) # 发生异常所在的文件

2
dcs/tools/database.py
Unescape View File

@ -7,7 +7,7 @@ import dcs.tools.cookie as cookie
# 获取数据库连接对象 # 获取数据库连接对象
def mysql_conn(host='10.129.16.155', user='root', passwd='427318Aa', db='test'): def mysql_conn(host='192.168.43.64', user='root', passwd='427318Aa', db='test'):
try: try:
# logger.debug('connecting to database...') # logger.debug('connecting to database...')
conn = pymysql.connect(host=host, user=user, passwd=passwd, db=db) conn = pymysql.connect(host=host, user=user, passwd=passwd, db=db)

6
ui/connect.py
Unescape View File

@ -40,7 +40,7 @@ def read_bytes(s: 'socket.socket', size: 'int') -> 'bytes':
def send_request(ip, port, request_info): def send_request(ip, port, request_info):
with socket.socket(socket.AF_INET, socket.SOCK_STREAM, socket.IPPROTO_TCP) as socket_to_server: with socket.socket(socket.AF_INET, socket.SOCK_STREAM, socket.IPPROTO_TCP) as socket_to_server:
socket_to_server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) socket_to_server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
socket_to_server.bind(('', 9012)) socket_to_server.bind(('', 9014))
socket_to_server.connect((ip, int(port))) socket_to_server.connect((ip, int(port)))
full_request = generate_request(request_info) full_request = generate_request(request_info)
@ -57,13 +57,15 @@ def send_request(ip, port, request_info):
def receive_response(): def receive_response():
server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM, socket.IPPROTO_TCP) server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM, socket.IPPROTO_TCP)
server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
server_socket.bind(('', 9012)) server_socket.bind(('', 9014))
server_socket.listen() server_socket.listen()
# while True: # while True:
client_socket, _ = server_socket.accept() client_socket, _ = server_socket.accept()
request_map = parse_request(client_socket) request_map = parse_request(client_socket)
if request_map['type'] == 'response': if request_map['type'] == 'response':
print("receiving response:\n" + json.dumps(request_map, ensure_ascii=False)) print("receiving response:\n" + json.dumps(request_map, ensure_ascii=False))
with open('result.txt', 'w', encoding='utf-8') as f:
json.dump(request_map, f, ensure_ascii=False, indent=4)
if __name__ == '__main__': if __name__ == '__main__':

6
ui/login.js
Unescape View File

@ -10,9 +10,9 @@ var fs = require("fs");
* 配置MySql * 配置MySql
*/ */
var connection = mysql.createConnection({ var connection = mysql.createConnection({
host : '127.0.0.1', host : '192.168.43.64',
user : 'root', user : 'root',
password : 'xwdjzwy5252', password : '427318Aa',
database : 'test', database : 'test',
port:'3306' port:'3306'
}); });
@ -134,7 +134,7 @@ function execute(cmd) { //调用cmd命令
}) })
} }
app.post('/check', function (req, res) { app.post('/check', function (req, res) {
execute('python connect.py --ip 127.0.0.1 --port 7777 crawling --word computer --cookie 72651f56b02caaf78076ba8f05a8223606e58216 --pages_start 1 --pages_end 5'); execute('python connect.py --ip 127.0.0.1 --port 7777 crawling --word computer --cookie fb90de22c26723e4d7172fcf1db124f4db91fa30 --pages_start 1 --pages_end 3');
fs.readFile('./result.txt', 'utf-8', function (err, data) { fs.readFile('./result.txt', 'utf-8', function (err, data) {
if (err) { if (err) {
console.error(err); console.error(err);

Write Preview
Loading…
Cancel
Save