From 18a8de2334b5d2c5e31beb3e0512b40991db1574 Mon Sep 17 00:00:00 2001 From: p01254378 <1299268546@qq.com> Date: Wed, 23 Jun 2021 10:43:08 +0800 Subject: [PATCH] Add a README for JD spider part --- src/backend/JDSpiders/README.md | 9 +++++++++ 1 file changed, 9 insertions(+) create mode 100644 src/backend/JDSpiders/README.md diff --git a/src/backend/JDSpiders/README.md b/src/backend/JDSpiders/README.md new file mode 100644 index 0000000..d9e0bec --- /dev/null +++ b/src/backend/JDSpiders/README.md @@ -0,0 +1,9 @@ +使用 python 的 `selenium` 库,分配件类型进行爬取 + +运行此代码时,需要注意: + +- 请预先安装好 `selenium` 库,`chromedriver` 调试工具,以及 `Python 3` 开发环境 +- **请保证在较好的网络环境下运行**,推荐在晚上12:00之后,早上6:00之前运行,否则可能出现评论缺失的情况 +- 若爬取到的某条数据的评论数为 `100`,好评率为 `90%`,则爬虫爬取该配件的评论失败。可能是爬取时由于网络不通畅而加载不出评论区,也有可能是因为该配件没有评论(处于预约状态或真的没人评论) +- 请不要在同一个ip下同时运行大于等于3个爬虫,否则会因为访问太过频繁而导致出现需要输入验证码的情况 +