|
|
|
|
|
| **PSP2.1** | **Personal Software Process Stages** | **预估耗时（分钟）** | **实际耗时（分钟）** |
|
|
|
|
|
|
| :-------------------------------------- | --------------------------------------- | -------------------- | -------------------- |
|
|
|
|
|
|
| Planning | 计划 | 60 | 130 |
|
|
|
|
|
|
| · Estimate | · 估计这个任务需要多少时间 | 10 | 10 |
|
|
|
|
|
|
| Development | 开发 | 240 | 590 |
|
|
|
|
|
|
| · Analysis | · 需求分析 (包括学习新技术) | 120 | 240 |
|
|
|
|
|
|
| · Design Spec | · 生成设计文档 | 30 | 50 |
|
|
|
|
|
|
| · Design Review | · 设计复审 | 10 | 10 |
|
|
|
|
|
|
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 10 | 10 |
|
|
|
|
|
|
| · Design | · 具体设计 | 10 | 10 |
|
|
|
|
|
|
| · Coding | · 具体编码 | 240 | 300 |
|
|
|
|
|
|
| · Code Review | · 代码复审 | 20 | 20 |
|
|
|
|
|
|
| · Test | · 测试（自我测试，修改代码，提交修改） | 30 | 60 |
|
|
|
|
|
|
| Reporting | 报告 | 20 | 30 |
|
|
|
|
|
|
| · Test Repor | · 测试报告 | 20 | 20 |
|
|
|
|
|
|
| · Size Measurement | · 计算工作量 | 10 | 10 |
|
|
|
|
|
|
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 1 | 2 |
|
|
|
|
|
|
| | · 合计 | 751 | 902 |
|
|
|
|
|
|
|
|
|
|
|
|
#二、任务要求的实现
|
|
|
|
|
|
|
|
|
|
|
|
##(2.1) 项目设计与技术栈
|
|
|
|
|
|
在完成任务的过程中，我将任务拆分成以下几个阶段：
|
|
|
|
|
|
需求分析
|
|
|
|
|
|
方案设计
|
|
|
|
|
|
数据爬取
|
|
|
|
|
|
数据清洗与处理
|
|
|
|
|
|
数据分析与统计
|
|
|
|
|
|
数据可视化
|
|
|
|
|
|
性能优化
|
|
|
|
|
|
结论报告
|
|
|
|
|
|
使用的技术栈
|
|
|
|
|
|
编程语言：Python
|
|
|
|
|
|
爬虫框架：requests、BeautifulSoup 和json
|
|
|
|
|
|
数据处理：pandas
|
|
|
|
|
|
数据库：MySQL 或 MongoDB（如果需要存储大量数据）
|
|
|
|
|
|
可视化工具：matplotlib、wordcloud
|
|
|
|
|
|
性能分析：VS Code 性能分析插件
|
|
|
|
|
|
|
|
|
|
|
|
##(2.2) 爬虫与数据处理
|
|
|
|
|
|
|
|
|
|
|
|
业务逻辑：
|
|
|
|
|
|
使用python访问多个主流网站并获取与“巴黎奥运会”相关的弹幕数据。
|
|
|
|
|
|
对爬取到的弹幕数据进行清洗和过滤，提取出与 AI 相关的弹幕。
|
|
|
|
|
|
数据分析：统计弹幕中每个关键词出现的次数。
|
|
|
|
|
|
|
|
|
|
|
|
代码设计过程：
|
|
|
|
|
|
实现网页数据的爬取，数据的清洗和关键词提取，最后统计每个关键词的出现频率并生成统计报告。
|
|
|
|
|
|
关键算法说明：
|
|
|
|
|
|
|
|
|
|
|
|
使用 any() 函数检查弹幕中是否包含 AI 相关关键词
|
|
|
|
|
|
|
|
|
|
|
|
使用 Counter库进行频率统计。
|
|
|
|
|
|
|
|
|
|
|
|
##(2.3) 数据统计接口部分的性能改进
|
|
|
|
|
|
|
|
|
|
|
|
性能改进思路：
|
|
|
|
|
|
|
|
|
|
|
|
将数据处理部分的循环由串行改为并行处理（使用 multiprocessing 库）。
|
|
|
|
|
|
优化数据库读写操作，减少多余的 I/O 操作。
|
|
|
|
|
|
使用缓存技术加速重复查询。
|
|
|
|
|
|
性能分析工具：使用了 VS Code 自带的性能分析工具，找到了数据处理部分的瓶颈，并进行了优化。
|
|
|
|
|
|
|
|
|
|
|
|
性能分析图：可以在性能分析工具中生成函数调用栈和消耗时间的报告。
|
|
|
|
|
|
|
|
|
|
|
|
##(2.4) 数据结论的可靠性
|
|
|
|
|
|
结论：
|
|
|
|
|
|
|
|
|
|
|
|
关于巴黎奥运会的AI弹幕，主要集中于'AI给运动员带来的帮助'，例如AI能帮助运动员训练
|
|
|
|
|
|
|
|
|
|
|
|
数据依据：
|
|
|
|
|
|
|
|
|
|
|
|
基于爬取到弹幕数据，通过关键词统计得出结论。
|
|
|
|
|
|
##(2.5) 数据可视化界面的展示
|
|
|
|
|
|
https://file.learnerhub.net/tinymce-image-1726416882778--%E8%AF%8D%E4%BA%91%E5%9B%BE.png
|
|
|
|
|
|
https://file.learnerhub.net/tinymce-image-1726416966952--image.png
|
|
|
|
|
|
https://file.learnerhub.net/tinymce-image-1726417003114--image.png
|
|
|
|
|
|
#三、心得体会
|
|
|
|
|
|
通过这一次的个人编程作业，我对python关于数据爬取的库函数有了深刻的理解，同时我也理解了一个项目从头到尾的开发流程，爬取多个视频的方法我寻找了很久才理解可以通过json来实现，该项目也让我了解到了自身的不足，之前只会根据题目要求去完成代码，现在突然看到这个题目会有些手足无措，但冷静下来分析过后，通过对像request库，panda库这些库的学习，还是顺利完成了此项目
|
