You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
Lin
c648389959
|
2 days ago | |
|---|---|---|
| .scannerwork | 2 days ago | |
| Linux version | 2 months ago | |
| history version | 2 months ago | |
| xlsx_output | 2 days ago | |
| LICENSE | 2 months ago | |
| README.md | 2 days ago | |
| csv_to_xlsx_converter.py | 2 days ago | |
| ctrip_flights_scraper_V3(undetected_chromedriver).py | 2 months ago | |
| ctrip_flights_scraper_V3.py | 2 days ago | |
| db_import.py | 2 days ago | |
| sonar-project.properties | 2 days ago | |
| stealth.min.js | 2 months ago | |
README.md
Ctrip-Crawler
概述
Ctrip-Crawler 是一个携程航班信息的专业爬虫工具，主要基于 Selenium 框架进行实现。 request 方法访问携程 API 的方法，由于 IP 限制和 JS 逆向工程的挑战，该途径已不再适用。（报错）
携程支持IPV6访问，因此可以通过生成大量IPV6规避 IP 限制。
主要特性
Selenium 自动化框架：与直接请求 API 的方法不同，该项目基于 Selenium，提供高度可定制和交互式的浏览器模拟。
灵活的错误处理机制：针对不同类型的异常（如超时、验证码出现、未知错误等），实施相应的处理策略，包括重试和人工干预。
IP限制解决方案：利用页面特性和用户模拟，规避了 IP 限制，提高了爬取稳定性。
数据校验与解析：对获取的数据进行严格的数据质量和完整性校验，包括 gzip 解压缩和 JSON 格式解析。
版本迭代与优化：V2版本解决了验证码问题；V3版本提高了系统的稳定性和可用性；V3.5版本增加了linux系统下多IPV6网口的生成与代理
文档和教程
详细的使用指南和开发文档可在以下博客中查看：
TO DO
V4.0增加多线程分片运行……
贡献与反馈
如果你有更好的优化建议或发现任何 bug，请通过 Issues 或 Pull Requests 与我们交流。我们非常欢迎各种形式的贡献！