pux36pf8t
/
2024-Summer-Olympics
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

first commit

Browse Source
main
Your Name 3 months ago
commit 7d294f48da
5 changed files with 10665 additions and 0 deletions
Show Stats Download Patch File Download Diff File

238
2024软工K班个人编程任务.md
Unescape View File

@ -0,0 +1,238 @@
项目地址：https://code.educoder.net/pux36pf8t/2024-Summer-Olympics
# 一、PSP表格
## 1.各个模块开发预估耗时
| PSP 阶段 | 预估时间（分钟） | 备注 |
| -------------------- | ---------------- | --------------------------------------- |
| **计划** | **90** | |
| - 需求分析 | 30 | 分析任务要求及功能 |
| - 制定计划 | 60 | 制定开发计划和时间表 |
| **开发** | **660** | |
| - 设计 | 60 | 设计模块和数据结构 |
| - 实现爬虫模块 | 180 | 使用Python实现爬虫，爬取B站视频弹幕数据 |
| - 数据统计与处理模块 | 120 | 统计AI技术相关弹幕数据 |
| - 可视化模块 | 120 | 使用词云图等方式进行数据可视化 |
| - 数据结论与分析模块 | 90 | 分析AI技术应用的相关数据 |
| **测试** | **180** | |
| - 编写单元测试用例 | 60 | 编写测试代码和用例 |
| - 测试执行与问题修复 | 120 | 执行测试，发现并修复问题 |
| **发布** | **60** | |
| - 项目提交与发布 | 60 | 提交到仓库与发布 |
| **性能优化** | **120** | |
| - 性能分析与优化 | 120 | 使用工具分析性能瓶颈并优化代码 |
| **总结与文档** | **90** | |
| - 编写项目文档 | 90 | 编写项目总结、开发文档和用户手册 |
| **总计** | **1200** | 约20小时，共1200分钟 |
## 2.各个模块上实际花费的时间
| PSP 阶段 | 实际时间（分钟） | 备注 |
| -------------------- | ---------------- | --------------------------------------- |
| **计划** | **100** | |
| - 需求分析 | 40 | 分析任务要求及功能 |
| - 制定计划 | 60 | 制定开发计划和时间表 |
| **开发** | **590** | |
| - 设计 | 70 | 设计模块和数据结构 |
| - 实现爬虫模块 | 200 | 使用Python实现爬虫，爬取B站视频弹幕数据 |
| - 数据统计与处理模块 | 130 | 统计AI技术相关弹幕数据 |
| - 可视化模块 | 100 | 使用词云图等方式进行数据可视化 |
| - 数据结论与分析模块 | 90 | 分析AI技术应用的相关数据 |
| **测试** | **160** | |
| - 编写单元测试用例 | 70 | 编写测试代码和用例 |
| - 测试执行与问题修复 | 90 | 执行测试，发现并修复问题 |
| **发布** | **60** | |
| - 项目提交与发布 | 60 | 提交到仓库与发布 |
| **性能优化** | **100** | |
| - 性能分析与优化 | 100 | 使用工具分析性能瓶颈并优化代码 |
| **总结与文档** | **80** | |
| - 编写项目文档 | 80 | 编写项目总结、开发文档和用户手册 |
| **总计** | **1090** | 约18小时，共1090分钟 |
# 二、任务要求的实现
## 1.项目设计与技术栈
### [1]任务流程
这一次任务我拆分成如下流程：
（1）进行需求分析和任务规划
（2）实现编码过程（包括数据爬取、数据处理与统计分析、结果写入Excel、生成词云图）
（3）总结2024巴黎奥运会中应用AI技术的主流观点
（4）上传代码&&编写文档
### [2]代码使用的技术栈
整个代码主要使用了python语言完成。
完成基本任务所使用的技术栈如下：
* Http请求：requests
* Json解析：json
* Excel写入：pandas
* 词云生成：wordcloud
* 文件输入流：python自带内置的 open 函数
### [3]其他工具
对于上面的流程，我主要通过阅读相关书籍，阅读官方文档，借助搜索引擎，借助AI，观看视频等多种方式完成的。
代码测试主要使用pycharm的代码分析。
代码上传主要使用头歌。
## 2.爬虫与数据处理
### [1]业务逻辑
### [2]代码设计过程
#### (1)主要架构
这个代码的主要实现部分以BilibiliSpiderApplication作为整个程序的主类，执行主流程实现所有任务。
```def main():
#获取视频aid
process_urls(urls, headers)
print("获取视频aid完毕")
#将视频aid转换成cid
process_aid_and_cid('aid.txt', 'cid.txt', headers)
print("将aid转换成cid完毕，cid去重完成，结果已写回文件。")
#获取视频弹幕
fetch_danmu()
print("弹幕爬取完成。")
# 调用函数进行文件清理
print('开始清洗弹幕')
clean_file('comment.txt', 'cleaned_comment.txt')
print("弹幕清洗完毕")
#数据统计输出
print('开始数据统计')
analyze_keywords_in_comments('cleaned_comment.txt', 'keywords.txt', 'ai_technologies_count.xlsx')
#输出词云图
print("开始构建词云图")
generate_wordcloud('cleaned_comment.txt', 'stopwords.txt', '词云.png')
print("构建词云图完毕")
if __name__ == "__main__":
main()
```
另一方面，为了保证代码的简洁性和遵循单一职责的原则。做了一定程度的封装。将具体操作封装到process_urls,process_aid_and_ci,fetch_danmu等函数对外提供服务。
#### (2)完整性，可读性以及规范化
**完整性**：
使用if...else...语句对代码可能出现的异常进行输出；
**代码的低耦合和单一职责**：
```
def extract_ids_from_url(url, head, output_file='aid.txt'):
"""
从给定的 URL 中提取 IDs 并将其保存到指定的文件中。
参数:
url (str): 要请求的 URL。
head (dict): 请求头，用于发起 HTTP 请求。
output_file (str): 存储提取的 ID 的文件路径，默认为 'aid.txt'。
"""
try:
# 发起 GET 请求
response = requests.get(url=url, headers=head)
# 确保请求成功，状态码在 200 到 299 之间
response.raise_for_status()
# 将响应内容解析为 JSON 格式
data = response.json()
# 检查响应数据是否包含 'data' 和 'result' 键
if 'data' in data and 'result' in data['data']:
items = data['data']['result']
# 提取每个条目的 'id' 字段
ids = [item['id'] for item in items]
# 以追加模式打开文件，并写入每个 ID
with open(output_file, 'a') as file:
for aid in ids:
file.write(f"{aid}\n")
print(f"IDs have been saved to {output_file}")
else:
print("Unexpected response format") # 如果响应格式不符合预期，输出提示信息
except requests.RequestException as e:
# 捕获并打印请求相关的错误
print(f"Request error: {e}")
except KeyError as e:
# 捕获并打印键错误
print(f"Key error: {e}")
except Exception as e:
# 捕获并打印其他类型的异常
print(f"An error occurred: {e}")
def process_urls(urls1, headers1, output_file='aid.txt'):
"""
遍历 URL 列表，并对每个 URL 调用 extract_ids_from_url 函数进行处理。
参数:
urls1 (list): 包含 URL 的列表。
headers1 (dict): 请求头，用于发起 HTTP 请求。
output_file (str): 存储提取的 ID 的文件路径，默认为 'aid.txt'。
"""
for url in urls1:
extract_ids_from_url(url, headers1, output_file)
```
**可读性**：加入详细的注释，变量命，函数名，方法名见名知意。
**规范化**：
变量、函数、类命名严格遵守蛇形命名法。
使用pycharm代码分析插件分析代码，尽量消除警告。
## 3.数据统计接口部分的性能改进
算法选择：选择合适的算法进行数据分析，避免使用复杂度过高的算法。
数据预处理：在分析之前对数据进行预处理，减少分析时的计算量。
## 4.数据结论的可靠性
结论：从关键词的出现次数可以得出以下结论：
观看奥运会时，用户几乎没有产生对ai应用技术方面的想法，可以认为绝大多数人对巴黎奥运会ai应用了何种技术毫不关心。
**综上所述，当前B站用户主要对“AI”及相关技术在2024巴黎奥运会的应用保持极低的关注度，而对比赛精彩的讨论相对较多。**
主要通过生成的Excel数据集以及词云图，通过自己分析+ChatGPT导入文件分析，得出最终结论。
## 5.数据可视化界面的展示
**[1]词云图组件**：展示最受欢迎的AI相关关键词及其出现频率。词云图采用颜色和字体大小来体现关键词的热度，较大的字体和亮眼的颜色代表出现频率高的词汇。
**[2]Excel文件**：展示每个关键词的具体出现次数。相比词云图，Excel表能够提供更精确的数值信息。
# 三、心得体会
**[1]. 理解 API 接口**
了解接口文档
B站提供了多种 API 接口来获取弹幕数据。熟悉这些接口的文档是至关重要的。API 文档通常包含了请求的 URL 格式、所需的参数以及返回的数据结构等信息。在爬取弹幕数据时，我发现了解这些细节有助于构建正确的请求，从而获取准确的数据。
构建请求
在构造 API 请求时，我学会了如何使用适当的参数来获取特定的视频弹幕数据。例如，视频的 cid（内容 ID）是获取弹幕的关键参数，而 date 参数可以指定具体的日期，这对于获取特定时间段的弹幕非常有用。
**[2]. 处理反爬虫措施**
使用合适的请求头
B站会对频繁的请求进行限制，因此在爬取过程中，使用合适的请求头（如 User-Agent）可以帮助模拟正常的浏览器请求，减少被封禁的风险。
**[3]. 数据处理与存储**
清洗数据
弹幕数据中可能包含噪声或无用的信息。在爬取数据后，需要对其进行清洗，去除无关内容，并提取出有用的信息。使用正则表达式来提取中文弹幕是一个有效的方法，但也需要对匹配的规则进行调整，以确保准确性。
存储数据
将弹幕数据存储到文件或数据库中时，需要考虑到数据的格式和结构。在我的实践中，我使用了文本文件来存储弹幕数据，并采用 UTF-8 编码来处理中文字符。这有助于确保数据的完整性和可读性。

29
README.md
Unescape View File

@ -0,0 +1,29 @@
#一.主任务要求
##1.数据获取
利用爬虫B站爬取所需弹幕数据，搜索关键词“2024巴黎奥运会”，爬取综合排序前300的所有视频弹幕。
##2.数据统计
统计AI技术应该方面的每种弹幕数量，并输出数量排名前8的弹幕。
将统计的数据利用编程工具或开发包自动写入Excel表中。
##3.数据可视化
对采集的数据集进行可视化表示，制作词云图，越美观越好。
##4.数据结论
通过统计数据得出当前B站用户对于2024巴黎奥运会应用AI技术的主流看法。
#二.代码使用的技术栈
整个代码主要使用了python语言完成。
完成基本任务所使用的技术栈如下：
* Http请求：requests
* Json解析：json
* Excel写入：pandas
* 词云生成：wordcloud
* 文件输入流：python自带内置的 open 函数

405
keywords.txt
Unescape View File

@ -0,0 +1,405 @@
AI伦理
模型训练
自适应算法
模型压缩
知识迁移
自动特征工程
量子计算与AI
计算机视觉算法
智能控制系统
自然语言处理模型
图像增强
人工智能架构
异常检测系统
智能机器人设计
虚拟助手应用
实时数据分析
智能推荐算法
语音识别模型
数据增强技术
自然语言生成模型
智能定位系统
高性能计算
AI驱动的分析
智能化决策
计算机视觉模型
深度生成模型
智能语音识别系统
模型评估
AI系统集成
模式分类
智能图像生成
语音识别优化
强化学习算法
数据处理框架
知识推理
数据分析平台
计算机视觉识别
生成模型应用
自动化图像处理
智能视频分析
AI优化技术
高级数据挖掘
自然语言接口技术
AI驱动的预测
机器人学习算法
智能数据挖掘
数据处理工具
AI模型优化
智能内容推荐
智能语音分析系统
AI实验平台
高级机器学习
深度神经网络应用
自动化决策支持系统
数据分析模型
智能虚拟助手
模型预测分析
图像识别工具
自然语言处理工具
智能诊断系统
计算机视觉系统
语音合成模型
数据智能平台
机器人智能平台
图像分类
计算机视觉应用程序
数据驱动优化
智能监控技术
语音交互平台
自然语言分析
深度学习应用
智能系统设计
机器学习平台
AI驱动的图像分析
实时预测分析
智能决策系统设计
自动化图像识别
数据分析工具包
自然语言处理框架
智能算法优化
图像处理算法
语音识别解决方案
强化学习应用
智能数据采集系统
计算机视觉技术平台
深度学习模型优化
智能语音处理
自动化系统设计
数据挖掘应用
智能算法应用
图像生成技术
自然语言处理系统
AI驱动的诊断工具
高级计算机视觉
智能内容生成
机器人技术应用
深度学习平台应用
实时语音处理
自动化数据分析
智能预测算法
语音助手技术
计算机视觉研究
智能诊断工具
数据处理技术
机器学习研究
自然语言生成技术
图像识别算法
智能决策模型
实时数据处理
语音数据分析
AI研究平台
计算机视觉应用案例
智能图像识别工具
模型训练技术
数据智能分析平台
语音识别研究
自动化预测工具
智能控制技术
深度学习模型应用
数据驱动系统
图像处理平台
计算机视觉数据集
自然语言处理应用
智能分析工具
语音识别解决方案
自动化数据挖掘
智能数据应用
高级人工智能技术
计算机视觉数据处理
智能图像分析平台
自然语言接口设计
机器人技术研究
深度学习框架
实时预测系统
智能语音解决方案
数据驱动决策支持
智能诊断平台
语音识别平台应用
计算机视觉算法研究
自动化内容生成工具
AI驱动的医疗分析
智能数据处理平台
图像分类系统
自然语言处理应用平台
机器人学习应用
数据智能技术
深度学习应用案例
智能内容分析
自动化分析系统
高级语音识别技术
AI技术平台
智能决策支持系统
语音合成系统
数据驱动图像处理
实时数据分析平台
计算机视觉研究平台
智能图像处理工具
自动化数据系统
深度学习技术
机器人智能分析平台
自然语言处理平台应用
AI驱动的系统优化
智能分析模型
计算机视觉应用技术
语音数据处理工具
智能数据集成
图像识别应用技术
自动化数据挖掘工具
实时数据处理平台
自然语言生成应用
智能预测系统
高级数据处理技术
机器人技术平台
计算机视觉应用框架
智能语音合成平台
深度学习平台工具
自动化分析平台
智能内容生成工具
数据驱动分析系统
实时图像处理
计算机视觉解决方案
AI驱动的算法优化
智能分析平台应用
语音识别技术平台
数据智能处理工具
深度学习系统
智能数据分析模型
自动化语音处理
计算机视觉应用工具
智能内容处理平台
自然语言分析工具
高级语音分析
AI技术解决方案
智能数据处理应用
实时智能分析
自动化数据集成
深度学习应用平台
语音处理系统
计算机视觉技术工具
智能预测应用
机器学习
深度学习
神经网络
自然语言处理
计算机视觉
语音识别
图像识别
强化学习
无监督学习
有监督学习
生成对抗网络
推荐系统
自动驾驶
人工智能
语义分析
数据挖掘
智能客服
聊天机器人
情感分析
预测分析
人脸识别
机器翻译
医疗影像分析
语音合成
语音助手
自动化流程
机器人流程自动化
智能家居
计算机辅助设计
智能制造
物联网
智能交通
金融科技
风险评估
个性化推荐
数据清洗
数据集成
实时分析
智能监控
智能分析
自动化测试
预测建模
推荐引擎
数据可视化
智能广告
语音分析
图像生成
智能合约
增强现实
虚拟现实
机器人
智能感知
大数据
数据处理
异常检测
智能规划
机器视觉
智能语音
内容生成
迁移学习
序列建模
智能助手
自动化决策
行为分析
语言模型
模式识别
图像分割
数据增强
自动化控制
知识图谱
语音识别系统
机器翻译系统
语义理解
智能语义
人工神经网络
核心网络
语音处理
智能检测
面部识别
机器人学习
数据标注
深度神经网络
动作识别
网络安全
精准医疗
药物发现
智能诊断
自动内容生成
风险管理
动态优化
语音对话
实时监控
模型优化
自然语言生成
信息检索
跨模态学习
人工智能伦理
智能预测
机器人导航
用户画像
机器视觉算法
深度强化学习
多模态学习
人工智能算法
智能计算
数据驱动
智能感知系统
自然语言理解
知识抽取
虚拟助手
智能感知技术
自动数据处理
智能硬件
增强智能
自适应学习
智能算法
人工智能研究
预测性维护
智能决策支持
自然语言接口
图像处理
人工智能应用
智能感应
自动问答系统
人工智能优化
智能数据分析
机器人技术
智能运维
智能金融
语音交互
数据驱动决策
智能医疗设备
机器人导航系统
虚拟现实体验
自动分类
计算机视觉应用
自然语言交互
机器学习模型
机器人智能
图像识别技术
自动化分析
智能语音识别
自动化优化
数据分析工具
智能化生产
智能预测模型
语音数据处理
机器人智能系统
自动化机器人
智能算法模型
图像识别应用
自然语言处理技术
智能决策系统
自动化监控
智能数据系统
语音识别技术
数据挖掘技术
自动化软件
智能应用程序
数据预测分析
智能系统集成
自动化数据处理
机器人感知
智能数据采集
机器学习技术
计算机视觉技术
智能传感器
虚拟助手系统
语音识别应用
自动化任务管理
智能监控系统
图像分析
智能决策模型
机器人应用
数据智能分析
深度学习算法
自动化处理系统
智能数据平台
语音交互系统
数据处理平台
智能语音合成
机器学习算法
智能图像识别
自动化技术
语音识别平台
深度学习平台
智能语义分析
图像识别系统
智能医疗系统
机器人智能应用
自然语言处理平台
智能数据处理
机器视觉技术
机器人智能分析
数据驱动技术
自动化决策系统
智能图像处理
语音处理技术
智能分析平台
计算机视觉系统
人工智能
智能
机器学习
自然语言处理
自动驾驶

286
main.py
Unescape View File

@ -0,0 +1,286 @@
import requests
import re
import pandas as pd
from collections import Counter
import jieba
import wordcloud
def extract_ids_from_url(url, head, output_file='aid.txt'):
"""
从给定的 URL 中提取 IDs 并将其保存到指定的文件中。
参数:
url (str): 要请求的 URL。
head (dict): 请求头，用于发起 HTTP 请求。
output_file (str): 存储提取的 ID 的文件路径，默认为 'aid.txt'。
"""
try:
# 发起 GET 请求
response = requests.get(url=url, headers=head)
# 确保请求成功，状态码在 200 到 299 之间
response.raise_for_status()
# 将响应内容解析为 JSON 格式
data = response.json()
# 检查响应数据是否包含 'data' 和 'result' 键
if 'data' in data and 'result' in data['data']:
items = data['data']['result']
# 提取每个条目的 'id' 字段
ids = [item['id'] for item in items]
# 以追加模式打开文件，并写入每个 ID
with open(output_file, 'a') as file:
for aid in ids:
file.write(f"{aid}\n")
print(f"IDs have been saved to {output_file}")
else:
print("Unexpected response format") # 如果响应格式不符合预期，输出提示信息
except requests.RequestException as e:
# 捕获并打印请求相关的错误
print(f"Request error: {e}")
except KeyError as e:
# 捕获并打印键错误
print(f"Key error: {e}")
except Exception as e:
# 捕获并打印其他类型的异常
print(f"An error occurred: {e}")
def process_urls(urls1, headers1, output_file='aid.txt'):
"""
遍历 URL 列表，并对每个 URL 调用 extract_ids_from_url 函数进行处理。
参数:
urls1 (list): 包含 URL 的列表。
headers1 (dict): 请求头，用于发起 HTTP 请求。
output_file (str): 存储提取的 ID 的文件路径，默认为 'aid.txt'。
"""
for url in urls1:
extract_ids_from_url(url, headers1, output_file)
def process_aid_and_cid(aid_file_path, cid_file_path, headers):
# 打开 aid 文件，并读取其中的所有 aid
with open(aid_file_path, 'r') as file:
aids = [line.strip() for line in file if line.strip()]
count = 0
# 打开 cid 文件（以追加模式），准备写入 cid 数据
with open(cid_file_path, 'a') as file:
# 遍历每个 aid，构造请求 URL 并获取对应的数据
for aid in aids:
url = f'https://api.bilibili.com/x/player/pagelist?aid={aid}'
response = requests.get(url=url, headers=headers).json()
# 遍历响应数据中的每个条目，提取 cid
for item in response.get('data', []):
cid = item['cid']
# 将 cid 写入文件
file.write(f"{cid}\n")
count += 1
# 输出处理进度
print(f"Processed: {count} CIDs")
def remove_duplicates(file_path):
# 读取 cid 文件中的所有 cid
with open(file_path, 'r') as file:
cids = [line.strip() for line in file if line.strip()]
# 使用字典去除重复的 cid
unique_cids = list(dict.fromkeys(cids))
# 将去重后的 cid 写回文件
with open(file_path, 'w') as file:
for cid in unique_cids:
file.write(cid + '\n')
# 输出去重完成的提示
# 调用 remove_duplicates 函数，去除 cid 文件中的重复项
remove_duplicates(cid_file_path)
def fetch_danmu():
# 读取 cid 文件
print("开始爬取弹幕")
with open('cid.txt', 'r') as file:
cids = [line.strip() for line in file if line.strip()]
for cid in cids:
url = f'https://api.bilibili.com/x/v2/dm/web/history/seg.so?type=1&oid={cid}&date=2024-08-31'
response = requests.get(url=url, headers=headers)
response.encoding = 'utf-8'
# 匹配弹幕内容
content_list = re.findall('[\u4e00-\u9fa5]+', response.text)
content = '\n'.join(content_list)
# 将弹幕写入 comment.txt
with open('comment.txt', mode='a', encoding='utf-8') as f:
f.write(content + '\n')
# 定义需要过滤的关键词或短语
keywords_to_remove = [
'出错啦',
'错误号',
'由于触发哔哩哔哩安全风控策略',
'该次访问请求被拒绝'
]
# 定义一个正则表达式模式，用于匹配需要删除的内容
pattern = re.compile('|'.join(re.escape(keyword) for keyword in keywords_to_remove))
def clean_file(input_file, output_file):
with open(input_file, 'r', encoding='utf-8') as infile, open(output_file, 'w', encoding='utf-8') as outfile:
for line in infile:
# 如果行中不包含需要过滤的关键词，则写入输出文件
if not pattern.search(line):
outfile.write(line)
def analyze_keywords_in_comments(comments_file, keywords_file, output_excel_file):
# 读取评论文件
with open(comments_file, 'r', encoding='utf-8') as file:
comments = file.readlines()
# 读取关键词列表
with open(keywords_file, 'r', encoding='utf-8') as file:
keywords = [line.strip() for line in file]
# 定义一个列表用于存储评论中的 AI 技术应用
ai_technologies = []
# 遍历评论，统计每个关键词的出现次数
for comment in comments:
for keyword in keywords:
if keyword in comment:
ai_technologies.append(keyword)
# 统计每个技术的出现次数
tech_counts = Counter(ai_technologies)
# 将统计结果转换为 DataFrame
df = pd.DataFrame(tech_counts.items(), columns=['AI Technology', 'Count'])
# 将 DataFrame 写入 Excel 文件
df.to_excel(output_excel_file, index=False)
# 排序并提取前 8 名的数据
top_8 = df.sort_values(by='Count', ascending=False).head(8)
# 输出前 8 名的数据
print(top_8)
def generate_wordcloud(text_file, stopwords_file, output_image_file, font_path='msyh.ttc'):
# 加载停用词
def load_stopwords(file_path):
with open(file_path, encoding='utf-8') as f:
stopwords = set(f.read().strip().split('\n'))
return stopwords
# 读取停用词
stopwords = load_stopwords(stopwords_file)
# 读取文本文件
with open(text_file, encoding='utf-8') as f:
txt = f.read()
# 分词并过滤停用词
words = jieba.lcut(txt)
filtered_words = [word for word in words if word not in stopwords]
# 将处理后的词汇拼接成字符串
word_string = ' '.join(filtered_words)
# 生成词云
wc = wordcloud.WordCloud(
width=700,
height=700,
background_color='white',
font_path=font_path
)
wc.generate(word_string)
# 保存词云图
wc.to_file(output_image_file)
urls = ['https://api.bilibili.com/x/web-interface/wbi/search/type?category_id=&search_type=video&ad_resource=5654&__refresh__=true&_extra=&context=&page=10&page_size=42&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword=2024%E5%B7%B4%E9%BB%8E%E5%A5%A5%E8%BF%90%E4%BC%9A&qv_id=2vsSEmfb9hpudunbhxw9KMMxggdECjVp&source_tag=3&gaia_vtoken=&dynamic_offset=324&web_location=1430654&w_rid=420b5e834d7dd54d76f4fba1b7b1e665&wts=1725152144',
'https://api.bilibili.com/x/web-interface/wbi/search/type?category_id=&search_type=video&ad_resource=5654&__refresh__=true&_extra=&context=&page=8&page_size=42&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword=2024%E5%B7%B4%E9%BB%8E%E5%A5%A5%E8%BF%90%E4%BC%9A&qv_id=2vsSEmfb9hpudunbhxw9KMMxggdECjVp&source_tag=3&gaia_vtoken=&dynamic_offset=252&web_location=1430654&w_rid=7fdf1d4b3f7d534c993f50173d02de3f&wts=1725152135',
'https://api.bilibili.com/x/web-interface/wbi/search/type?category_id=&search_type=video&ad_resource=5654&__refresh__=true&_extra=&context=&page=7&page_size=42&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword=2024%E5%B7%B4%E9%BB%8E%E5%A5%A5%E8%BF%90%E4%BC%9A&qv_id=2vsSEmfb9hpudunbhxw9KMMxggdECjVp&source_tag=3&gaia_vtoken=&dynamic_offset=216&web_location=1430654&w_rid=6749123b8b393589cc7c80c1e93ada58&wts=1725152132',
'https://api.bilibili.com/x/web-interface/wbi/search/type?category_id=&search_type=video&ad_resource=5654&__refresh__=true&_extra=&context=&page=6&page_size=42&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword=2024%E5%B7%B4%E9%BB%8E%E5%A5%A5%E8%BF%90%E4%BC%9A&qv_id=2vsSEmfb9hpudunbhxw9KMMxggdECjVp&source_tag=3&gaia_vtoken=&dynamic_offset=180&web_location=1430654&w_rid=74f00cf5195a9ec7ef3d57e347704770&wts=1725152128',
'https://api.bilibili.com/x/web-interface/wbi/search/type?category_id=&search_type=video&ad_resource=5654&__refresh__=true&_extra=&context=&page=5&page_size=42&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword=2024%E5%B7%B4%E9%BB%8E%E5%A5%A5%E8%BF%90%E4%BC%9A&qv_id=2vsSEmfb9hpudunbhxw9KMMxggdECjVp&source_tag=3&gaia_vtoken=&dynamic_offset=144&web_location=1430654&w_rid=e914e50a0da59031c553d631ac5f1fde&wts=1725152124',
'https://api.bilibili.com/x/web-interface/wbi/search/type?category_id=&search_type=video&ad_resource=5654&__refresh__=true&_extra=&context=&page=4&page_size=42&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword=2024%E5%B7%B4%E9%BB%8E%E5%A5%A5%E8%BF%90%E4%BC%9A&qv_id=2vsSEmfb9hpudunbhxw9KMMxggdECjVp&source_tag=3&gaia_vtoken=&dynamic_offset=108&web_location=1430654&w_rid=c622f59f9e1360765b62f0e0bc858fa1&wts=1725152121',
'https://api.bilibili.com/x/web-interface/wbi/search/type?category_id=&search_type=video&ad_resource=5654&__refresh__=true&_extra=&context=&page=3&page_size=42&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword=2024%E5%B7%B4%E9%BB%8E%E5%A5%A5%E8%BF%90%E4%BC%9A&qv_id=2vsSEmfb9hpudunbhxw9KMMxggdECjVp&source_tag=3&gaia_vtoken=&dynamic_offset=72&web_location=1430654&w_rid=a60e99a470fa19919a071c865dd1583f&wts=1725152115',
'https://api.bilibili.com/x/web-interface/wbi/search/type?category_id=&search_type=video&ad_resource=5654&__refresh__=true&_extra=&context=&page=2&page_size=42&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword=2024%E5%B7%B4%E9%BB%8E%E5%A5%A5%E8%BF%90%E4%BC%9A&qv_id=2vsSEmfb9hpudunbhxw9KMMxggdECjVp&source_tag=3&gaia_vtoken=&dynamic_offset=36&web_location=1430654&w_rid=8fc24d10311ce5e5730a84daadbbb6b3&wts=1725152102',
'https://api.bilibili.com/x/web-interface/wbi/search/type?category_id=&search_type=video&ad_resource=5654&__refresh__=true&_extra=&context=&page=9&page_size=42&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword=2024%E5%B7%B4%E9%BB%8E%E5%A5%A5%E8%BF%90%E4%BC%9A&qv_id=2vsSEmfb9hpudunbhxw9KMMxggdECjVp&source_tag=3&gaia_vtoken=&dynamic_offset=288&web_location=1430654&w_rid=a9cbd6c813f6d27561d5f0d583c0ed76&wts=1725153457',
] # 替换为实际的URL
headers = {
'cookie':'buvid4=686CE350-75FA-4921-C069-8D0E582FF02993159-024082507-y91msXDi8JTSAtvVtdhJkQ%3D%3D; buvid3=313C6A34-4C14-0939-EBE8-332F809D2EF655028infoc; b_nut=1725087454; CURRENT_FNVAL=4048; _uuid=10E7EC991-7B18-9A8B-78AA-C95F55102347103610infoc; rpdid=|(JlklRl)~Y|0J\'u~kl|)~l|l; header_theme_version=CLOSE; enable_web_push=DISABLE; is-2022-channel=1; fingerprint=f90b71618c196fb8806f458403d943fb; buvid_fp_plain=undefined; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjU4Njk1NzEsImlhdCI6MTcyNTYxMDMxMSwicGx0IjotMX0.x0CsQ6o6lx4IcK82uHYJjDq_WMedyzoqa081au5YPug; bili_ticket_expires=1725869511; bp_t_offset_1074062089=974427929414991872; buvid_fp=f90b71618c196fb8806f458403d943fb; SESSDATA=e74a05df%2C1741267229%2Ce876a%2A91CjDqLgub8fAVML6ADiSzb56IvMh3z61KnSnawN0g_c1h5emTp3cU9qrpFxgDEzzpawASVkpfc01rblFpaUxDRHViNXpJdGhweEdNY2VDdEJ0N1hvMU92SWdLcG5Dclg5dlZmV29aMWZfX2ZSWHJ5VVN3ZHRkc0ZaLU9COHdmeDR2T0tmSXlvdmt3IIEC; bili_jct=addb604342937a4322aa12322c11bc2c; DedeUserID=3546758143544046; DedeUserID__ckMd5=65316417021aa6ed; sid=7yti0jp9; b_lsid=D810C241D_191CEE2FE76; bsource=search_bing; home_feed_column=5; browser_resolution=1455-699',
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0'
}
def main():
#获取视频aid
process_urls(urls, headers)
print("获取视频aid完毕")
#将视频aid转换成cid
process_aid_and_cid('aid.txt', 'cid.txt', headers)
print("将aid转换成cid完毕，cid去重完成，结果已写回文件。")
#获取视频弹幕
fetch_danmu()
print("弹幕爬取完成。")
# 调用函数进行文件清理
print('开始清洗弹幕')
clean_file('comment.txt', 'cleaned_comment.txt')
print("弹幕清洗完毕")
#数据统计输出
print('开始数据统计')
analyze_keywords_in_comments('cleaned_comment.txt', 'keywords.txt', 'ai_technologies_count.xlsx')
#输出词云图
print("开始构建词云图")
generate_wordcloud('cleaned_comment.txt', 'stopwords.txt', '词云.png')
print("构建词云图完毕")
if __name__ == "__main__":
main()

9707
stopwords.txt
View File

File diff suppressed because it is too large Load Diff
Write Preview
Loading…
Cancel
Save