diff --git a/README.md b/README.md index c14bd27..30278bb 100644 --- a/README.md +++ b/README.md @@ -1,5 +1,5 @@ # 项目概述 -本项目基于selenium+scrapy-redis框架爬取bilibili网站的数据,通过研究网站使用的反爬虫技术,使用Selenium驱动浏览器模拟真人使用浏览器,在浏览器中加入cookie绕过登录并使用代理ip,爬取的数据使用mysql数据库进行存储,并对爬取的数据进行数据分析和可视化展示。 + 本项目基于selenium+scrapy-redis框架爬取bilibili网站的数据,通过研究网站使用的反爬虫技术,使用Selenium驱动浏览器模拟真人使用浏览器,在浏览器中加入cookie绕过登录并使用代理ip,爬取的数据使用mysql数据库进行存储,并对爬取的数据进行数据分析和可视化展示。 主要功能包括,爬取了bilibili网站的番剧信息,和包括番剧在内的所有视频的信息,包括播放量、收藏量和评论量等。并筛选出相对优秀的视频数据,进行可视化的展示。最后通过展示出的图表进行分析。 关键字:selenium;scrapy-redis;cookie;代理ip;数据可视化;mysql数据库