周总结 #16

Merged
hnu202326010117 merged 2 commits from wangzuwang_branch into develop 3 months ago

@ -0,0 +1,57 @@
# 王祖旺第四周周总结
## 一、核心任务完成情况
### 1. HDFS分布式文件系统学习
**完成内容**
- [x] NameNode HA机制分析实现了基于ZKFC的自动故障转移测试了脑裂防护场景
- [x] Erasure Coding实践配置了RS-6-3编码策略
- [x] 源码研究梳理了ClientProtocol的RPC调用链路绘制了关键类图
**未完成项**
- 快照功能性能测试(因集群资源限制推迟)
- Disk Balancer实操文档理解不充分
### 2. Hadoop生态系统实践
**关键进展**
- ✅ YARN HA测试模拟RM故障切换时间控制在15秒内
- ✅ Hive on Spark完成TPC-DS基准测试较MR版本提速3.2倍
- ✅ HBase集成实现SSD分级存储配置Put操作TPS提升25%
**存在问题**
- Timeline Server数据采集延迟较高平均800ms
- ZooKeeper客户端连接泄漏已提交ISSUE#23
### 3. Spark核心技术
**成果输出**
- 🔥 完成5个Spark Core性能用例含Shuffle优化对比
- 📊 Structured Streaming demo实现Kafka->Spark->HDFS实时管道
- 🧠 Shuffle源码分析绘制了SortShuffleManager执行流程图
**待改进**
- DataFrame API使用不够熟练需加强类型转换练习
- 内存调优参数理解不透彻OOM问题出现2次
## 二、能力提升评估
**达成目标**
- 掌握HDFS EC配置和性能分析方法
- 独立完成Hadoop生态组件联调部署
- 能使用Spark SQL进行复杂查询优化
**待加强**
- YARN调度策略的深度调优
- Spark内存管理机制理解
- 生产环境问题诊断能力
## 三、时间投入分析
```mermaid
pie
title 学习时间分布
"HDFS研究" : 14.5
"Hadoop生态" : 12
"Spark开发" : 10
"环境调试" : 5
"文档整理" : 3.5

@ -0,0 +1,111 @@
# 王祖旺第5周个人学习计划
## 个人基本信息
- **姓名**: 王祖旺
- **周次**: 第5周
- **学习时间**: 每日19:00-22:003小时/天)
- **项目**: 大模型数据平台故障检测项目
## 本周核心目标
### 优先级排序
- 【高优先级】 对Hadoop生态系统更进一步掌握并熟练Hdfs命令
- 【高优先级】 学习Hive并了解数据仓库概念
- 【中优先级】 学习分布式系统故障检测理论基础
- 【中优先级】 了解大模型在运维以及修复方面的应用
- 【低优先级】 学习并掌握大模型的IAG指令跟随、提示词优化等相关技术
## 每日计划分解
### 周一Day 1- Hadoop进阶与HDFS命令
**时间**: 19:00-22:00
**主要任务**
1. **任务1**: HDFS高级命令实践
- 预期产出: 常用HDFS命令手册上传/下载/权限管理等)
- 时间分配: 1.5小时
- 依赖资源: Hadoop官方文档、实操环境
2. **任务2**: Hive基础概念学习
- 预期产出: Hive架构图及与Hadoop的关系总结
- 时间分配: 1小时
- 依赖资源: 《Hive编程指南》第1-2章
3. **任务3**: 数据仓库基础
- 预期产出: 数据仓库核心概念笔记ETL、OLAP等
- 时间分配: 0.5小时
- 依赖资源: 数据仓库技术博客
---
### 周二Day 2- Hive实践与故障检测理论
**时间**: 19:00-22:00
**主要任务**
1. **任务1**: Hive环境搭建与基础SQL
- 预期产出: 完成Hive安装并运行示例查询
- 时间分配: 2小时
- 依赖资源: Hive安装指南、测试数据集
2. **任务2**: 分布式故障检测基础
- 预期产出: 心跳检测、超时机制等方法的对比分析
- 时间分配: 1小时
- 依赖资源: 《分布式系统:概念与设计》
---
### 周三Day 3- 大模型运维应用
**时间**: 19:00-22:00
**主要任务**
1. **任务1**: 大模型运维案例研究
- 预期产出: 大模型在日志分析、故障预测中的应用场景总结
- 时间分配: 2小时
- 依赖资源: 行业白皮书、AI运维论文
2. **任务2**: IAG技术初探
- 预期产出: 指令跟随技术的简单示例代码
- 时间分配: 1小时
- 依赖资源: OpenAI文档、LangChain教程
---
### 周四Day 4- 分布式系统深入
**时间**: 19:00-22:00
**主要任务**
1. **任务1**: CAP定理与一致性算法
- 预期产出: 不同场景下的权衡策略分析表
- 时间分配: 2小时
- 依赖资源: 分布式系统论文
2. **任务2**: 提示词优化基础
- 预期产出: 针对运维场景的提示词模板
- 时间分配: 1小时
- 依赖资源: Prompt Engineering指南
---
### 周五Day 5- 综合实践与总结
**时间**: 19:00-22:00
**主要任务**
1. **任务1**: Hadoop+Hive综合练习
- 预期产出: 完成从HDFS到Hive的数据处理流水线
- 时间分配: 2小时
- 依赖资源: 实战项目案例
2. **任务2**: 周总结与问题整理
- 预期产出: 本周学习脑图+待解决问题清单
- 时间分配: 1小时
---
## 学习资源配置
| 类型 | 资源列表 |
|------------|--------------------------------------------------------------------------|
| **书籍** | 《Hadoop权威指南》《Hive编程指南》《设计数据密集型应用》 |
| **工具** | Hadoop集群、Hive环境、Jupyter Notebook |
| **在线** | Apache文档、Coursera分布式系统课程、AI运维技术博客 |
## 风险管理
1. **Hive环境兼容性问题**
- 预案: 准备Docker镜像作为备用环境
2. **理论理解瓶颈**
- 预案: 使用可视化工具辅助理解分布式算法
3. **时间不足**
- 预案: 将低优先级任务移至周末弹性时间
Loading…
Cancel
Save