|
|
|
@ -1,6 +1,7 @@
|
|
|
|
# 项目概述
|
|
|
|
# 项目概述
|
|
|
|
本项目基于selenium+scrapy-redis框架爬取bilibili网站的数据，通过研究网站使用的反爬虫技术，使用Selenium驱动浏览器模拟真人使用浏览器，在浏览器中加入cookie绕过登录并使用代理ip，爬取的数据使用mysql数据库进行存储，并对爬取的数据进行数据分析和可视化展示。
|
|
|
|
本项目基于selenium+scrapy-redis框架爬取bilibili网站的数据，通过研究网站使用的反爬虫技术，使用Selenium驱动浏览器模拟真人使用浏览器，在浏览器中加入cookie绕过登录并使用代理ip，爬取的数据使用mysql数据库进行存储，并对爬取的数据进行数据分析和可视化展示。
|
|
|
|
主要功能包括，爬取了bilibili网站的番剧信息，和包括番剧在内的所有视频的信息，包括播放量、收藏量和评论量等。并筛选出相对优秀的视频数据，进行可视化的展示。最后通过展示出的图表进行分析。
|
|
|
|
|
|
|
|
|
|
|
|
主要功能包括，爬取了bilibili网站的番剧信息，和包括番剧在内的所有视频的信息，包括播放量、收藏量和评论量等。并筛选出相对优秀的视频数据，进行可视化的展示。最后通过展示出的图表进行分析。
|
|
|
|
|
|
|
|
|
|
|
|
关键字：selenium；scrapy-redis；cookie；代理ip；数据可视化；mysql数据库
|
|
|
|
关键字：selenium；scrapy-redis；cookie；代理ip；数据可视化；mysql数据库
|
|
|
|
|
|
|
|
|
|
|
|
|
