From 2d6a6a1f8534bd1168962558ad22a321d2caf535 Mon Sep 17 00:00:00 2001 From: p2uavm3kl <2069762101@qq.com> Date: Fri, 2 Dec 2022 01:06:25 +0800 Subject: [PATCH] Update README.md --- README.md | 6 +++++- 1 file changed, 5 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index 6376748..c14bd27 100644 --- a/README.md +++ b/README.md @@ -1,2 +1,6 @@ -# python +# 项目概述 +本项目基于selenium+scrapy-redis框架爬取bilibili网站的数据,通过研究网站使用的反爬虫技术,使用Selenium驱动浏览器模拟真人使用浏览器,在浏览器中加入cookie绕过登录并使用代理ip,爬取的数据使用mysql数据库进行存储,并对爬取的数据进行数据分析和可视化展示。 + 主要功能包括,爬取了bilibili网站的番剧信息,和包括番剧在内的所有视频的信息,包括播放量、收藏量和评论量等。并筛选出相对优秀的视频数据,进行可视化的展示。最后通过展示出的图表进行分析。 + +关键字:selenium;scrapy-redis;cookie;代理ip;数据可视化;mysql数据库