You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
|
|
3 years ago | |
|---|---|---|
| .gitignore | 3 years ago | |
| CrawlingCore.py | 3 years ago | |
| CrawlingFund.py | 3 years ago | |
| DataStructure.py | 3 years ago | |
| FakeUAGetter.py | 3 years ago | |
| FundListProvider.py | 3 years ago | |
| MonkeyTest.py | 3 years ago | |
| Parser.py | 3 years ago | |
| README.md | 3 years ago | |
| methods.py | 3 years ago | |
README.md
环境依赖
pip install requests
pip install eprogress
文件结构
-CrawlingFund 爬取主文件,描述整个的爬取逻辑并定义了基金信息的数据结构
-CrawlingCore 爬取核心,定义了从输入网页链接到获得html文本的过程
-FakeUAGetter 提供虚假的UA(将来可能会合并到工具文件)
-Parser 负责html文本的解析,以及解析后的动作(保存文件),通过不同的实现类来针对性地对不同的网站内容进行解析
-FundListProvider 负责提供需要爬取的基金列表,包括基金名称、代码
-MonkeyTest 这是给我自己测试用的