|
|
|
|
@ -0,0 +1,111 @@
|
|
|
|
|
# 王祖旺第5周个人学习计划
|
|
|
|
|
|
|
|
|
|
## 个人基本信息
|
|
|
|
|
- **姓名**: 王祖旺
|
|
|
|
|
- **周次**: 第5周
|
|
|
|
|
- **学习时间**: 每日19:00-22:00(3小时/天)
|
|
|
|
|
- **项目**: 大模型数据平台故障检测项目
|
|
|
|
|
|
|
|
|
|
## 本周核心目标
|
|
|
|
|
### 优先级排序
|
|
|
|
|
- 【高优先级】 对Hadoop生态系统更进一步掌握并熟练Hdfs命令
|
|
|
|
|
- 【高优先级】 学习Hive并了解数据仓库概念
|
|
|
|
|
- 【中优先级】 学习分布式系统故障检测理论基础
|
|
|
|
|
- 【中优先级】 了解大模型在运维以及修复方面的应用
|
|
|
|
|
- 【低优先级】 学习并掌握大模型的IAG(指令跟随)、提示词优化等相关技术
|
|
|
|
|
|
|
|
|
|
## 每日计划分解
|
|
|
|
|
|
|
|
|
|
### 周一(Day 1)- Hadoop进阶与HDFS命令
|
|
|
|
|
**时间**: 19:00-22:00
|
|
|
|
|
**主要任务**
|
|
|
|
|
1. **任务1**: HDFS高级命令实践
|
|
|
|
|
- 预期产出: 常用HDFS命令手册(上传/下载/权限管理等)
|
|
|
|
|
- 时间分配: 1.5小时
|
|
|
|
|
- 依赖资源: Hadoop官方文档、实操环境
|
|
|
|
|
|
|
|
|
|
2. **任务2**: Hive基础概念学习
|
|
|
|
|
- 预期产出: Hive架构图及与Hadoop的关系总结
|
|
|
|
|
- 时间分配: 1小时
|
|
|
|
|
- 依赖资源: 《Hive编程指南》第1-2章
|
|
|
|
|
|
|
|
|
|
3. **任务3**: 数据仓库基础
|
|
|
|
|
- 预期产出: 数据仓库核心概念笔记(ETL、OLAP等)
|
|
|
|
|
- 时间分配: 0.5小时
|
|
|
|
|
- 依赖资源: 数据仓库技术博客
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
### 周二(Day 2)- Hive实践与故障检测理论
|
|
|
|
|
**时间**: 19:00-22:00
|
|
|
|
|
**主要任务**
|
|
|
|
|
1. **任务1**: Hive环境搭建与基础SQL
|
|
|
|
|
- 预期产出: 完成Hive安装并运行示例查询
|
|
|
|
|
- 时间分配: 2小时
|
|
|
|
|
- 依赖资源: Hive安装指南、测试数据集
|
|
|
|
|
|
|
|
|
|
2. **任务2**: 分布式故障检测基础
|
|
|
|
|
- 预期产出: 心跳检测、超时机制等方法的对比分析
|
|
|
|
|
- 时间分配: 1小时
|
|
|
|
|
- 依赖资源: 《分布式系统:概念与设计》
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
### 周三(Day 3)- 大模型运维应用
|
|
|
|
|
**时间**: 19:00-22:00
|
|
|
|
|
**主要任务**
|
|
|
|
|
1. **任务1**: 大模型运维案例研究
|
|
|
|
|
- 预期产出: 大模型在日志分析、故障预测中的应用场景总结
|
|
|
|
|
- 时间分配: 2小时
|
|
|
|
|
- 依赖资源: 行业白皮书、AI运维论文
|
|
|
|
|
|
|
|
|
|
2. **任务2**: IAG技术初探
|
|
|
|
|
- 预期产出: 指令跟随技术的简单示例代码
|
|
|
|
|
- 时间分配: 1小时
|
|
|
|
|
- 依赖资源: OpenAI文档、LangChain教程
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
### 周四(Day 4)- 分布式系统深入
|
|
|
|
|
**时间**: 19:00-22:00
|
|
|
|
|
**主要任务**
|
|
|
|
|
1. **任务1**: CAP定理与一致性算法
|
|
|
|
|
- 预期产出: 不同场景下的权衡策略分析表
|
|
|
|
|
- 时间分配: 2小时
|
|
|
|
|
- 依赖资源: 分布式系统论文
|
|
|
|
|
|
|
|
|
|
2. **任务2**: 提示词优化基础
|
|
|
|
|
- 预期产出: 针对运维场景的提示词模板
|
|
|
|
|
- 时间分配: 1小时
|
|
|
|
|
- 依赖资源: Prompt Engineering指南
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
### 周五(Day 5)- 综合实践与总结
|
|
|
|
|
**时间**: 19:00-22:00
|
|
|
|
|
**主要任务**
|
|
|
|
|
1. **任务1**: Hadoop+Hive综合练习
|
|
|
|
|
- 预期产出: 完成从HDFS到Hive的数据处理流水线
|
|
|
|
|
- 时间分配: 2小时
|
|
|
|
|
- 依赖资源: 实战项目案例
|
|
|
|
|
|
|
|
|
|
2. **任务2**: 周总结与问题整理
|
|
|
|
|
- 预期产出: 本周学习脑图+待解决问题清单
|
|
|
|
|
- 时间分配: 1小时
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
## 学习资源配置
|
|
|
|
|
| 类型 | 资源列表 |
|
|
|
|
|
|------------|--------------------------------------------------------------------------|
|
|
|
|
|
| **书籍** | 《Hadoop权威指南》《Hive编程指南》《设计数据密集型应用》 |
|
|
|
|
|
| **工具** | Hadoop集群、Hive环境、Jupyter Notebook |
|
|
|
|
|
| **在线** | Apache文档、Coursera分布式系统课程、AI运维技术博客 |
|
|
|
|
|
|
|
|
|
|
## 风险管理
|
|
|
|
|
1. **Hive环境兼容性问题**
|
|
|
|
|
- 预案: 准备Docker镜像作为备用环境
|
|
|
|
|
2. **理论理解瓶颈**
|
|
|
|
|
- 预案: 使用可视化工具辅助理解分布式算法
|
|
|
|
|
3. **时间不足**
|
|
|
|
|
- 预案: 将低优先级任务移至周末弹性时间
|