项目概述

本项目基于selenium+scrapy-redis框架爬取bilibili网站的数据，通过研究网站使用的反爬虫技术，使用Selenium驱动浏览器模拟真人使用浏览器，在浏览器中加入cookie绕过登录并使用代理ip，爬取的数据使用mysql数据库进行存储，并对爬取的数据进行数据分析和可视化展示。

主要功能包括，爬取了bilibili网站的番剧信息，和包括番剧在内的所有视频的信息，包括播放量、收藏量和评论量等。并筛选出相对优秀的视频数据，进行可视化的展示。最后通过展示出的图表进行分析。

关键字：selenium；scrapy-redis；cookie；代理ip；数据可视化；mysql数据库