第8周总结第9周计划 #39

Merged
hnu202326010130 merged 2 commits from zoujiaxuan_branch into develop 2 months ago

@ -0,0 +1,136 @@
# 王祖旺第8周学习总结
## 📊 本周完成情况概览
### ✅ 已完成内容
1. **Hadoop核心故障深度分析**
- 深入分析了DataNode磁盘满、节点离线等具体故障案例
- 研究了故障发生时的日志特征和系统表现
- 完成了DataNode故障分析学习报告
2. **Hadoop测试用例设计**
- 尝试编写了部分Hadoop测试用例
- 建立了初步的测试用例集框架
- 掌握了测试用例设计的基本方法
3. **Java自动化测试学习**
- 运用AI辅助进行Java自动化测试案例编写
- 学习了RestAssured和JUnit 5的实践应用
- 产出了一份简略但可用的Java自动化测试脚本集
4. **知识体系整理**
- 整合了本周学习的测试理论和方法
- 更新了Hadoop测试知识脑图
- 完成了测试知识体系完善文档
### ❌ 未完成/不足内容
1. **Hadoop运维测试实战进展有限**
- 由于基础测试功能尚在学习阶段,运维测试实战推迟
- 监控指标验证和运维操作测试未能深入进行
- 缺乏实际的运维测试操作经验
2. **测试深度有待加强**
- 部分测试用例设计较为基础
- 自动化测试脚本的覆盖范围有限
- 故障模拟实践未能按计划开展
## 📈 学习成果评估
### 完成度80%
**理论学习和基础实践完成良好,高阶实战需要加强**
### 知识掌握层次
- **故障分析能力**:⭐⭐⭐☆☆(基本掌握)
- **测试用例设计**:⭐⭐⭐☆☆(基本掌握)
- **自动化测试**:⭐⭐⭐☆☆(初步应用)
- **运维测试实战**:⭐☆☆☆☆(尚未开展)
## 🔍 问题分析与反思
### 主要进展
1. **故障分析能力提升**
- 对Hadoop核心组件故障有了更深入的理解
- 建立了系统性的故障分析方法论
2. **测试技能积累**
- 掌握了测试用例设计的基本流程
- 初步具备了Java自动化测试脚本编写能力
3. **学习效率优化**
- 有效利用AI工具辅助学习提高效率
- 建立了个人知识管理体系
### 存在不足
1. **实践环节薄弱**
- 理论学习较多,但实际操作经验不足
- 运维测试等实战内容未能按计划开展
2. **时间分配不均**
- 在基础技能学习上花费时间较多
- 高阶应用和实践环节时间不足
3. **技能转化不够**
- 学到的理论知识向实践能力转化需要加强
- 缺乏真实环境下的测试验证
## 🎯 下周学习重点调整
### 优先级调整
1. **首要任务**开展Hadoop运维测试实战
2. **重点加强**:自动化测试脚本的完善和优化
3. **持续深化**:故障分析和测试用例设计的实践应用
### 具体改进措施
1. **实践导向**
- 为每个理论学习环节配套实践任务
- 建立"学完即用"的学习模式
2. **环境准备**
- 提前准备好测试环境和工具
- 确保实践环节能够顺利开展
3. **目标具体化**
- 制定更具体、可量化的实践目标
- 建立明确的成果验收标准
## 💡 经验总结
### 成功经验
1. **AI辅助学习有效**
- 利用AI工具提高了学习效率
- 获得了更实用的代码示例和实践指导
2. **系统性学习**
- 建立了完整的知识学习体系
- 理论知识与实践技能同步推进
3. **文档化习惯**
- 养成了及时整理学习成果的习惯
- 建立了个人知识库和经验积累
### 改进方向
1. **加强实践环节**
- 增加动手操作的时间和机会
- 注重技能的实际应用能力
2. **优化学习节奏**
- 平衡理论学习与实践操作的时间分配
- 建立更科学的学习进度安排
3. **提升自主学习**
- 减少对外部工具的依赖
- 增强独立解决问题的能力
## 🌟 总体评价
本周在Hadoop故障分析和自动化测试基础方面取得了显著进展成功建立了系统的测试知识体系。虽然在运维测试实战方面存在不足但为下周的深入学习奠定了坚实的基础。80%的完成度反映了学习计划的良好执行,同时也明确了需要重点改进的方向。
**最大的收获**通过AI辅助学习快速掌握了Java自动化测试的基础技能建立了个人测试知识体系。
**最重要的认识**:理论学习必须与实践操作相结合,才能真正掌握测试技能。
期待在下周的学习中,能够在运维测试实战方面取得突破,全面提升测试实践能力。
---
**总结人**:王祖旺
**总结时间**第8周末

@ -0,0 +1,80 @@
# 邹佳轩第8周个人工作总结
## 本周工作概述
- 对照本周计划逐项说明:
| 计划项 | 完成情况 | 备注/原因 | 后续计划 |
|---|---|---|---|
| 接口设计与规范 | 已完成 | 输出端点、请求/响应模型与错误码;完成评审确认 | 根据评审反馈微调字段与版本标识 |
| FastAPI 项目骨架 | 已完成 | 完成目录结构、依赖与 `GET /health` | 补充配置模板与环境脚本 |
| 核心接口(内存闭环) | 已完成 | 上报/查询/确认/恢复触发接口与仓储抽象 | 下周接入持久化层并扩展筛选/分页细节 |
| 认证与中间件 | 已完成 | JWT 登录/校验、CORS、统一日志与异常处理 | 细化角色/权限策略与令牌续期 |
| 测试与 OpenAPI 文档 | 已完成 | 核心路径单元/集成测试OpenAPI 导出 | 提升覆盖率并固化文档版本(/v1 |
| 性能与配置 | 部分完成 | 基础参数与连接池/超时/重试策略草案 | 下周压测与限流方案落地 |
| 部署与联调指南 | 已完成 | 环境变量、依赖、启动命令、前端联调步骤 | 根据联调反馈完善注意事项 |
| 演示与复盘 | 已完成 | 完成接口演示、截图与周报复盘 | 整理问题清单与下周规划 |
- 未完成项与原因:
- 性能优化与压测:本周以功能闭环为先,压测与限流策略留待下周完善
- 权限细化:当前为最小认证闭环,角色/资源级权限拟下周补齐
## 工作成果展示
- 文档/代码路径:
- 本周计划:`doc/process/weekly/week-8/members/zoujiaxuan-weekly-plan-8.md`
- 历史总结:
- 周7`doc/process/weekly/week-7/members/zoujiaxuan-weekly-summary-7.md`
- 后端代码入口(示例):`src/backend/main.py`
- 关键指标(如有):
| 指标 | 数值 |
|---|---|
| 计划投入时长 | 10.5 小时 |
| 学习模块覆盖 | FastAPI/REST/认证/测试/部署 |
| 核心接口条数 | 4上报/查询/确认/恢复)+ 健康检查 |
| 测试覆盖 | 核心路由与认证流程 |
- 代码片段示例(演示用):
```python
from fastapi import FastAPI
from pydantic import BaseModel
app = FastAPI()
class Fault(BaseModel):
id: int | None = None
source: str
level: str
message: str
@app.get("/health")
def health():
return {"status": "ok"}
@app.post("/faults")
def create_fault(fault: Fault):
# 内存存储示例,实际存储逻辑略
return {"created": True, "fault": fault.model_dump()}
```
```python
from fastapi.testclient import TestClient
from src.backend.main import app
client = TestClient(app)
def test_health():
r = client.get("/health")
assert r.status_code == 200
assert r.json()["status"] == "ok"
```
## 问题与解决方案
- 领域模型与错误码统一:结合团队《接口约定草案》与计划文档,对请求/响应与错误码进行统一,减少对接偏差
- 并发与一致性:以内存仓储实现最小闭环时,通过幂等控制与线程安全结构规避并发问题;持久化与锁策略下周推进
- 时间管理:每日任务饱满,采用时间盒与优先级排序,确保交付闭环;压测与权限细化滚动推进

@ -0,0 +1,75 @@
# 项目会议纪要
- 会议主题项目第8周复盘与第9周计划对齐
- 会议时间2025-11-16
- 参会人员:邢远鑫、沈永佳、邹佳轩、王祖旺、李涛
- 会议类型:周度例会(线上)
## 会议背景
- 对第8周各模块学习与实践进行复盘确认交付成果和问题。
- 对第9周工作计划进行对齐明确目标、分工与交付物。
- 保持技术栈分层推进的一致性,避免跨层耦合与资源冲突。
---
## 议程与讨论要点
- 第8周成果确认各成员
- 第9周重点任务与分工
- 规范与接口对齐(错误码、响应结构、版本策略)
- 风险与资源安排
- 验收标准与交付节奏
---
## 成员汇报要点
- 邢远鑫
- 第8周完成 Vue3 基础、组件化与路由实践,输出接口定义初稿
- 第9周聚焦前端接口对接Auth/Cluster/Logs/Metrics/Diagnosis/Repair形成 Postman 集合与 API 封装
- 邹佳轩
- 第8周后端 FastAPI 应用服务层最小闭环(接口、认证、中间件、测试与文档)(
- 第9周容器化层推进Dockerfile、Compose 多服务、本地 K8s 清单与健康检查、CI/CD 草案)
- 王祖旺
- 第8周Hadoop 故障分析与自动化测试基础、测试用例设计与知识体系整理
- 第9周Hadoop 集群操作与核心功能测试、自动化脚本完善、项目相关测试流程建立
- 李涛
- 第8周Flume 在 Hadoop 集群的部署与优化,形成多场景采集链路与稳定性验证
- 第9周基于 Flume 数据进行 MapReduce 实战与故障分析文档整理
- 沈永佳
- 负责本周会议组织与对接协调(会议纪要与决议输出,需求与规范对齐)
---
## 关键决策
- 技术栈分层推进与边界确认:
- 后端应用服务层与容器化层分离推进:本周后端以容器化与本地编排为主,不引入新的数据库耦合
- 前端以接口对接闭环为目标,统一响应结构 `{code, msg, data}` 与错误码口径
- 规范统一:
- 接口版本策略采用 `/v1` 路径或标签管理,后端 OpenAPI 文档导出与前端 Postman 集合同步
- 容器化规范(镜像命名与标签、环境变量约定、健康检查、资源配额)以会议纪要固化为团队模板
- 验收与交付:
- 各模块需输出“规范/脚本/文档/示例”四类交付物;前端对接以最小功能闭环为验收标准;容器化以本地稳定部署与健康检查通过为验收标准
## 风险与应对
- 时间压力与并行推进风险:优先保证最小功能闭环,非核心工作滚动推进
- 环境差异与配置问题:本地 K8s 使用 kind/minikube 标准化环境,配置与版本明确;前端对接统一 base_url 与鉴权策略
- 稳定性与性能验证不足:本周进行基础验证与故障注入,性能压测与限流策略下周跟进
---
## 数据要点
- 后端应用服务层第8周闭环接口/认证/测试/文档)
- Flume 集成与稳定性验证结论:链路在高吞吐场景稳定
- Hadoop 故障分析与自动化测试基础:建立知识体系与脚本
## 结论与安排
- 第9周以“前端接口对接闭环 + 后端容器化闭环 + Hadoop 测试/实战”三线并行推进。
- 统一规范文档与会议纪要在 11-16 完成归档;各线行动项按截止日期提交交付物。
**下次会议**
- 时间2025-11-23周度例会

@ -0,0 +1,234 @@
# 王祖旺第9周个人学习计划
## 本周核心目标
- 【高优先级】掌握Hadoop集群基本操作与使用
- 【高优先级】开展Hadoop核心功能实战测试
- 【中优先级】完善自动化测试脚本,验证集群功能
- 【中优先级】结合项目需求建立测试流程
## 每日计划分解
### 周一Hadoop集群基础操作
**时间**19:00-22:00
#### 任务1集群服务管理与监控1.5小时)
**学习途径**
- 学习Hadoop服务启动/停止命令
- 掌握集群状态检查方法
- 研究Web管理界面使用
**具体方法**
1. 练习start-dfs.sh/stop-dfs.sh等命令
2. 使用jps命令验证服务状态
3. 访问NameNode和ResourceManager Web UI
4. 学习查看集群健康状态
**产出**Hadoop服务操作手册
#### 任务2HDFS基础操作实践1小时
**学习途径**
- 学习HDFS shell命令使用
- 研究文件系统操作权限
- 分析HDFS存储机制
**具体方法**
1. 练习hdfs dfs -ls/-mkdir/-put/-get等命令
2. 测试文件上传下载功能
3. 验证目录权限设置
4. 查看数据块分布情况
**产出**HDFS操作实践报告
#### 任务3环境问题排查0.5小时)
**具体方法**
1. 记录操作中遇到的问题
2. 分析日志定位问题原因
3. 整理常见问题解决方案
4. 优化环境配置
**产出**:环境问题排查指南
---
### 周二Hadoop核心功能测试
**时间**19:00-22:00
#### 任务1MapReduce程序运行测试1.5小时)
**学习途径**
- 学习MapReduce编程模型
- 研究示例程序运行方法
- 分析任务执行流程
**具体方法**
1. 运行WordCount等内置示例
2. 监控任务执行进度
3. 分析任务执行日志
4. 测试任务资源调配
**产出**MapReduce运行测试报告
#### 任务2YARN资源管理测试1小时
**学习途径**
- 学习YARN资源调度原理
- 研究应用程序管理
- 分析资源使用监控
**具体方法**
1. 测试应用程序提交和管理
2. 监控资源分配和使用情况
3. 验证队列资源限制
4. 测试应用程序优先级
**产出**YARN资源管理测试报告
#### 任务3性能基准测试0.5小时)
**具体方法**
1. 运行TestDFSIO等基准测试
2. 收集性能指标数据
3. 分析系统瓶颈
4. 建立性能基线
**产出**:集群性能基准报告
---
### 周三:运维测试实战开始
**时间**19:00-22:00
#### 任务1节点运维操作测试1.5小时)
**学习途径**
- 学习节点管理命令
- 研究故障模拟方法
- 分析集群恢复机制
**具体方法**
1. 测试DataNode节点启停
2. 模拟节点网络中断
3. 验证数据自动恢复
4. 监控集群状态变化
**产出**:节点运维测试报告
#### 任务2数据管理功能测试1小时
**学习途径**
- 学习数据平衡操作
- 研究快照管理功能
- 分析数据一致性保证
**具体方法**
1. 执行数据平衡操作
2. 测试HDFS快照功能
3. 验证数据一致性检查
4. 监控存储空间使用
**产出**:数据管理功能测试报告
#### 任务3运维问题总结0.5小时)
**具体方法**
1. 整理运维测试中的问题
2. 分析最佳实践方案
3. 制定运维操作规范
4. 更新测试知识库
**产出**:运维测试经验总结
---
### 周四:自动化测试与项目对接
**时间**19:00-22:00
#### 任务1集群API接口测试1.5小时)
**学习途径**
- 学习Hadoop REST API
- 研究WebHDFS使用
- 分析接口测试方法
**具体方法**
1. 编写集群状态查询测试
2. 实现文件操作接口测试
3. 添加服务健康检查
4. 完善测试断言验证
**产出**集群API测试脚本集
#### 任务2项目功能适配测试1小时
**具体方法**
1. 分析项目所需Hadoop功能
2. 设计针对性测试场景
3. 验证功能可用性
4. 建立功能验收标准
**产出**:项目功能适配测试方案
#### 任务3测试流程优化0.5小时)
**具体方法**
1. 评估现有测试覆盖度
2. 优化测试执行流程
3. 建立测试数据管理
4. 完善测试文档
**产出**:测试流程优化方案
---
### 周五:知识整合与迭代计划
**时间**19:00-22:00
#### 任务1学习成果整合1.5小时)
**具体方法**
1. 整理Hadoop操作经验
2. 更新测试知识体系
3. 总结最佳实践
4. 建立个人知识库
**产出**Hadoop实战知识体系
#### 任务2技能评估与提升1小时
**具体方法**
1. 评估Hadoop掌握程度
2. 识别技能短板
3. 制定针对性提升计划
4. 规划进阶学习路径
**产出**:技能评估与发展计划
#### 任务3下周计划制定0.5小时)
**具体方法**
1. 基于本周进展调整重点
2. 结合项目需求制定目标
3. 准备学习资源
4. 设定具体里程碑
**产出**第10周学习计划
## 学习策略重点
### 实操优先原则
- 以实际操作为主要学习方式
- 注重命令和工具的实际使用
- 建立"学以致用"的学习闭环
### 问题导向学习
- 通过实际操作发现问题
- 在解决问题中深化理解
- 积累实战经验和技巧
### 循序渐进实践
- 从基础操作向高级功能过渡
- 逐步建立系统化知识体系
- 注重学习效果的可持续性
## 成功标准
- ✅ 熟练掌握Hadoop集群基本操作
- ✅ 完成核心功能的实战测试
- ✅ 建立项目相关的测试方案
- ✅ 形成系统的操作知识体系
- ✅ 具备独立运维测试能力
## 预期产出物
1. Hadoop操作手册和测试报告
2. 核心功能验证文档
3. 自动化测试脚本集
4. 项目适配测试方案
5. 实战知识体系文档
6. 第10周学习计划

@ -0,0 +1,131 @@
# 邹佳轩第9周详细工作计划
## 基本信息
- **姓名**: 邹佳轩
- **计划周期**: 第9周2025-11-17 至 2025-11-23
- **项目**: 基于Hadoop的故障检测与自动恢复项目
- **计划制定时间**: 2025-11-17
- **工作时间**: 每天20:00-21:301.5小时/天共10.5小时)
## 本周核心目标(第六层:容器化层)
- 技术栈聚焦:**Docker | Docker Compose | Kubernetes本地**
### 主要任务概览
本周,围绕后端应用的容器化与本地编排进行系统性学习与落地:从镜像构建与规范,到 Compose 多服务编排,再到本地 K8s 部署与健康检查、资源配额与配置管理最后输出部署与联调指南与CI/CD构建脚本草案。
### 核心目标
1. **Docker 基础与镜像构建(周一)**:掌握镜像/容器/网络/卷,完成后端服务的 Dockerfile 与镜像构建。
2. **Compose 本地编排(周二)**:完成多服务开发环境(后端+依赖)的 docker-compose.yml 与 .env 管理。
3. **Kubernetes 本地部署(周三)**:使用 kind/minikube 部署 Deployment/Service配置 Readiness/Liveness 与资源配额。
4. **容器化规范与会议(周四)**:与团队统一镜像标签、环境变量、日志与监控约定,形成规范文档。
5. **部署验证与文档(周五)**:完成端到端部署验证与故障注入测试,输出部署与联调指南。
6. **CI/CD 构建(周六)**:编写镜像构建与推送的脚本或流水线草案(本地/平台均可)。
7. **演示与复盘(周日)**:演示容器化部署效果与联调流程,整理问题清单与下周计划。
### 质量目标
- 镜像符合最佳实践(分层、缓存、最小基础镜像),可重复构建与快速启动。
- Compose 与 K8s 清单规范统一,环境变量/配置管理清晰,健康检查与资源约束明确。
- 部署与联调指南完整可用,具备最小可运行演示能力(本地环境)。
---
## 周一2025-11-17
**主题Docker 基础与镜像构建**
### 20:00-21:30镜像与 Dockerfile
- **学习任务**:理解镜像/容器/网络/卷;为 FastAPI 后端编写 Dockerfile基础镜像、依赖、启动命令
- **具体方法**:多阶段构建/分层缓存、避免过大镜像;本地构建与运行测试。
- **产出**`Dockerfile`、镜像构建与运行说明(含常见问题)。
---
## 周二2025-11-18
**主题Docker Compose 本地编排**
### 20:00-21:30多服务编排与环境管理
- **学习任务**:编写 `docker-compose.yml``.env`;定义服务依赖、网络、卷与重启策略。
- **具体方法**:后端服务与依赖服务(示例:数据库/消息队列占位)组合;统一环境变量与端口映射。
- **产出**`docker-compose.yml`、`.env`、启动/停止与日志查看脚本/说明。
---
## 周三2025-11-19
**主题Kubernetes 本地部署与健康检查**
### 20:00-21:30K8s 清单与验证
- **学习任务**:在 kind/minikube 部署 `Deployment``Service`;配置 `Readiness/Liveness`、资源配额CPU/内存)、限流占位策略。
- **具体方法**:编写 `deployment.yaml`、`service.yaml`、`configmap.yaml`;通过 `kubectl` 验证状态与事件。
- **产出**K8s 清单与部署脚本/说明(含常用命令与验证步骤)。
---
## 周四2025-11-20
**主题:容器化规范会议与纪要**
### 20:00-21:30与团队对齐容器化规范
- **会议议题**:镜像命名与标签策略;环境变量与配置管理;日志/监控接入约定;健康检查与资源配额标准。
- **产出**:会议纪要与规范文档(镜像/Compose/K8s 清单规范与示例)。
---
## 周五2025-11-21
**主题:部署与联调验证**
### 20:00-21:30端到端验证与故障注入
- **任务**:完成部署验证(启动与访问接口);执行故障注入(模拟容器重启/资源紧张/Pod 不就绪)并记录现象。
- **产出**:部署验证报告(截图/日志/命令)、问题与对策记录、联调步骤与注意事项。
---
## 周六2025-11-22
**主题CI/CD 构建与推送**
### 20:00-21:30构建脚本与流水线草案
- **任务**:编写镜像构建与推送脚本(本地/平台);设计 CI/CD 流程(构建/测试/推送)。
- **产出**:构建脚本或流水线配置草案(如 GitHub Actions/平台 YAML镜像仓库对接说明。
---
## 周日2025-11-23
**主题:演示与复盘**
### 20:00-21:30演示与总结
- **任务**完成容器化部署演示Docker/Compose/K8s 任一方案),整理本周产出与问题,制定下周计划(持久化接入、监控与告警细化)。
- **产出**:演示记录、测试报告、周报与下周计划草案。
---
## 风险评估与应对策略
- **镜像体积与启动性能**:镜像过大或启动慢 → 采用最小基础镜像与多阶段构建;优化依赖与启动参数。
- **K8s 环境与清单适配**:本地 K8s 配置差异 → 使用 kind/minikube 标准环境,明确版本与 apiVersion逐步增加探针与资源约束。
- **时间管理**:学习与实践并行 → 先确保 Docker/Compose 闭环K8s 以最小演示为目标,逐步完善。
## 学习资源与参考资料
- Docker 官方文档https://docs.docker.com/
- Docker Compose 文档https://docs.docker.com/compose/
- Kubernetes 文档https://kubernetes.io/docs/home/
- kind 文档https://kind.sigs.k8s.io/
- Minikube 文档https://minikube.sigs.k8s.io/docs/
- 容器最佳实践(镜像分层/缓存/安全):社区与官方指南
## 预期成果与交付物
### 主要交付物
| 类别 | 交付物 | 具体内容 |
|------|--------|----------|
| **容器镜像** | Dockerfile 与镜像 | 最小基础镜像、多阶段构建、启动说明 |
| **本地编排** | docker-compose.yml 与 .env | 多服务编排、环境变量管理、启动/停止脚本 |
| **K8s 部署** | 清单与部署说明 | Deployment/Service/ConfigMap、探针与资源约束 |
| **规范与文档** | 容器化规范与部署指南 | 镜像标签、变量约定、验证与联调步骤 |
| **CI/CD** | 构建与推送脚本/配置 | 本地/平台流水线草案、仓库对接说明 |
| **验证报告** | 部署与故障注入报告 | 截图/日志/命令记录与问题清单 |
### 质量标准
- 可复现:镜像构建与环境启动稳定可复现
- 可维护:清单与脚本结构清晰、参数化管理规范
- 可观测:健康检查与日志/事件可用,资源约束合理
---
**计划制定时间**: 2025-11-17
**计划执行周期**: 2025-11-17 至 2025-11-23
**个人目标**: 完成从镜像构建到本地编排与基本 K8s 部署的闭环,形成标准化容器化实践与部署文档输出能力。
Loading…
Cancel
Save