PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	60	130
· Estimate	· 估计这个任务需要多少时间	10	10
Development	开发	240	590
· Analysis	· 需求分析 (包括学习新技术)	120	240
· Design Spec	· 生成设计文档	30	50
· Design Review	· 设计复审	10	10
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	10	10
· Design	· 具体设计	10	10
· Coding	· 具体编码	240	300
· Code Review	· 代码复审	20	20
· Test	· 测试（自我测试，修改代码，提交修改）	30	60
Reporting	报告	20	30
· Test Repor	· 测试报告	20	20
· Size Measurement	· 计算工作量	10	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	1	2
	· 合计	751	902

#二、任务要求的实现

##(2.1) 项目设计与技术栈 在完成任务的过程中，我将任务拆分成以下几个阶段： 需求分析 方案设计 数据爬取 数据清洗与处理 数据分析与统计 数据可视化 性能优化 结论报告 使用的技术栈 编程语言：Python 爬虫框架：requests、BeautifulSoup 和json 数据处理：pandas 数据库：MySQL 或 MongoDB（如果需要存储大量数据） 可视化工具：matplotlib、wordcloud 性能分析：VS Code 性能分析插件

##(2.2) 爬虫与数据处理

业务逻辑： 使用python访问多个主流网站并获取与“巴黎奥运会”相关的弹幕数据。 对爬取到的弹幕数据进行清洗和过滤，提取出与 AI 相关的弹幕。 数据分析：统计弹幕中每个关键词出现的次数。

代码设计过程： 实现网页数据的爬取，数据的清洗和关键词提取，最后统计每个关键词的出现频率并生成统计报告。 关键算法说明：

使用 any() 函数检查弹幕中是否包含 AI 相关关键词

使用 Counter库进行频率统计。

##(2.3) 数据统计接口部分的性能改进

性能改进思路：

将数据处理部分的循环由串行改为并行处理（使用 multiprocessing 库）。 优化数据库读写操作，减少多余的 I/O 操作。 使用缓存技术加速重复查询。 性能分析工具：使用了 VS Code 自带的性能分析工具，找到了数据处理部分的瓶颈，并进行了优化。

性能分析图：可以在性能分析工具中生成函数调用栈和消耗时间的报告。

##(2.4) 数据结论的可靠性 结论：

关于巴黎奥运会的AI弹幕，主要集中于'AI给运动员带来的帮助'，例如AI能帮助运动员训练

数据依据：

基于爬取到弹幕数据，通过关键词统计得出结论。 ##(2.5) 数据可视化界面的展示 https://file.learnerhub.net/tinymce-image-1726416882778--%E8%AF%8D%E4%BA%91%E5%9B%BE.png https://file.learnerhub.net/tinymce-image-1726416966952--image.png https://file.learnerhub.net/tinymce-image-1726417003114--image.png #三、心得体会 通过这一次的个人编程作业，我对python关于数据爬取的库函数有了深刻的理解，同时我也理解了一个项目从头到尾的开发流程，爬取多个视频的方法我寻找了很久才理解可以通过json来实现，该项目也让我了解到了自身的不足，之前只会根据题目要求去完成代码，现在突然看到这个题目会有些手足无措，但冷静下来分析过后，通过对像request库，panda库这些库的学习，还是顺利完成了此项目