| **PSP2.1**                              | **Personal Software Process Stages**    | **预估耗时（分钟）** | **实际耗时（分钟）** |
| :-------------------------------------- | --------------------------------------- | -------------------- | -------------------- |
| Planning                                | 计划                                    |           60           |          130            |
| · Estimate                              | · 估计这个任务需要多少时间              |          10            |          10           |
| Development                             | 开发                                    |           240           |          590            |
| · Analysis                              | · 需求分析 (包括学习新技术)             |         120             |         240             |
| · Design Spec                           | · 生成设计文档                          |         30             |          50            |
| · Design Review                         | · 设计复审                              |          10            |            10          |
| · Coding Standard                       | · 代码规范 (为目前的开发制定合适的规范) |         10             |           10           |
| · Design                                | · 具体设计                              |         10             |          10            |
| · Coding                                | · 具体编码                              |           240           |          300            |
| · Code Review                           | · 代码复审                              |           20           |           20           |
| · Test                                  | · 测试（自我测试，修改代码，提交修改）  |         30             |         60             |
| Reporting                               | 报告                                    |        20              |         30             |
| · Test Repor                            | · 测试报告                              |           20           |           20           |
| · Size Measurement                      | · 计算工作量                            |         10             |         10             |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划          |        1              |             2         |
|                                         | · 合计                                  |     751       |          902            |
  
  #二、任务要求的实现

##(2.1) 项目设计与技术栈
在完成任务的过程中，我将任务拆分成以下几个阶段：
需求分析
方案设计
数据爬取
数据清洗与处理
数据分析与统计
数据可视化
性能优化
结论报告
使用的技术栈
编程语言：Python
爬虫框架：requests、BeautifulSoup 和json
数据处理：pandas
数据库：MySQL 或 MongoDB（如果需要存储大量数据）
可视化工具：matplotlib、wordcloud
 性能分析：VS Code 性能分析插件

##(2.2) 爬虫与数据处理

业务逻辑：
使用python访问多个主流网站并获取与“巴黎奥运会”相关的弹幕数据。
对爬取到的弹幕数据进行清洗和过滤，提取出与 AI 相关的弹幕。
数据分析：统计弹幕中每个关键词出现的次数。

代码设计过程：
实现网页数据的爬取，数据的清洗和关键词提取，最后统计每个关键词的出现频率并生成统计报告。
关键算法说明：

使用 any() 函数检查弹幕中是否包含 AI 相关关键词

使用 Counter库进行频率统计。

##(2.3) 数据统计接口部分的性能改进

性能改进思路：

将数据处理部分的循环由串行改为并行处理（使用 multiprocessing 库）。
优化数据库读写操作，减少多余的 I/O 操作。
使用缓存技术加速重复查询。
性能分析工具：使用了 VS Code 自带的性能分析工具，找到了数据处理部分的瓶颈，并进行了优化。

性能分析图：可以在性能分析工具中生成函数调用栈和消耗时间的报告。

##(2.4) 数据结论的可靠性
结论：

关于巴黎奥运会的AI弹幕，主要集中于'AI给运动员带来的帮助'，例如AI能帮助运动员训练

数据依据：

基于爬取到弹幕数据，通过关键词统计得出结论。
##(2.5) 数据可视化界面的展示
https://file.learnerhub.net/tinymce-image-1726416882778--%E8%AF%8D%E4%BA%91%E5%9B%BE.png
https://file.learnerhub.net/tinymce-image-1726416966952--image.png
https://file.learnerhub.net/tinymce-image-1726417003114--image.png
#三、心得体会
通过这一次的个人编程作业，我对python关于数据爬取的库函数有了深刻的理解，同时我也理解了一个项目从头到尾的开发流程，爬取多个视频的方法我寻找了很久才理解可以通过json来实现，该项目也让我了解到了自身的不足，之前只会根据题目要求去完成代码，现在突然看到这个题目会有些手足无措，但冷静下来分析过后，通过对像request库，panda库这些库的学习，还是顺利完成了此项目