|
|
|
|
@ -28,7 +28,7 @@
|
|
|
|
|
- **数据抓取流程：**
|
|
|
|
|
- 再次运行脚本时（已保存Cookie），它加载这些Cookie以跳过登录步骤。
|
|
|
|
|
- 脚本遍历京东网站的搜索结果，搜索特定的查询（"口红"）。
|
|
|
|
|
- 它从最多50页中抓取产品标题、价格、店铺名称和评论数等细节。
|
|
|
|
|
- 它从最多50页中抓取产品标题、价格、店铺名称和评论数等要素。
|
|
|
|
|
- 抓取的数据存储在`JD.csv`中。
|
|
|
|
|
|
|
|
|
|
### 详细分解
|
|
|
|
|
@ -89,11 +89,11 @@ if __name__ == '__main__':
|
|
|
|
|
|
|
|
|
|
csv.writer(file).writerow(['商品', '价格', '店铺', '评论数'])
|
|
|
|
|
for page in range(0, 50):
|
|
|
|
|
sleep(5)
|
|
|
|
|
sleep(10)
|
|
|
|
|
# 下滑页面
|
|
|
|
|
js_down = "window.scrollTo(0, 8000)"
|
|
|
|
|
driver.execute_script(js_down)
|
|
|
|
|
sleep(5)
|
|
|
|
|
sleep(10)
|
|
|
|
|
goods = driver.find_elements(By.CLASS_NAME, 'gl-i-wrap')
|
|
|
|
|
for good in goods:
|
|
|
|
|
title = good.find_element(By.CSS_SELECTOR, '.p-name em').text.strip()
|
|
|
|
|
|
