From eb2257ed0f311e8e6df9cd0c1a2a1d7b852b5fed Mon Sep 17 00:00:00 2001 From: xingyuanxin Date: Mon, 20 Oct 2025 21:24:16 +0800 Subject: [PATCH] =?UTF-8?q?=E6=B7=BB=E5=8A=A0=E9=82=B9=E4=BD=B3=E8=BD=A9?= =?UTF-8?q?=E7=AC=AC=E5=9B=9B=E5=91=A8=E4=B8=AA=E4=BA=BA=E5=B7=A5=E4=BD=9C?= =?UTF-8?q?=E6=80=BB=E7=BB=93=E5=92=8C=E7=AC=AC=E4=BA=94=E5=91=A8=E4=B8=AA?= =?UTF-8?q?=E4=BA=BA=E5=AD=A6=E4=B9=A0=E8=AE=A1=E5=88=92?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../members/zoujiaxuan-weekly-summary-4.md | 118 +++++++++ .../members/zoujiaxuan-weekly-plan-5.md | 230 ++++++++++++++++++ 2 files changed, 348 insertions(+) create mode 100644 doc/process/weekly/week-4/members/zoujiaxuan-weekly-summary-4.md create mode 100644 doc/process/weekly/week-5/members/zoujiaxuan-weekly-plan-5.md diff --git a/doc/process/weekly/week-4/members/zoujiaxuan-weekly-summary-4.md b/doc/process/weekly/week-4/members/zoujiaxuan-weekly-summary-4.md new file mode 100644 index 0000000..b581136 --- /dev/null +++ b/doc/process/weekly/week-4/members/zoujiaxuan-weekly-summary-4.md @@ -0,0 +1,118 @@ +# 邹佳轩第四周个人工作总结 + +## 基本信息 +- **姓名：** 邹佳轩 +- **总结周期：** 第四周（2025-10-12 至 2025-10-18） +- **主要任务：** Linux 虚拟机环境搭建与 Hadoop 分布式系统部署 +- **总结时间：** 2025-10-19 + +## 任务完成情况 + +### 完成情况统计表 +| 任务项目 | 目标 | 实际完成 | 完成状态 | 完成度 | +|----------|------|----------|----------|--------| +| Linux虚拟机搭建 | 5台 | 5台 | ✅ 已完成 | 100% | +| HDFS部署 | 完成部署 | 已完成 | ✅ 已完成 | 100% | +| Hadoop部署 | 完成部署 | 调试中 | 🔄 进行中 | 80% | +| 截图记录 | 完整记录 | 部分完成 | ⚠️ 部分 | 70% | +| 个人周总结 | 按时提交 | 按时完成 | ✅ 已完成 | 100% | + +**个人整体完成度：60%** + +## 具体完成任务 + +### 1. Linux 虚拟机环境搭建 +- **完成情况：** 成功搭建 5 台非桌面版 Linux 虚拟机 +- **配置规格：** 每台虚拟机配置 1G 内存、20G 磁盘空间 +- **技术要点：** + - 掌握了虚拟机基础配置和网络设置 + - 完成了系统基础环境的标准化配置 + - 实现了多台虚拟机之间的网络连通性测试 + +### 2. HDFS 分布式文件系统部署 +- **完成情况：** 成功完成 HDFS 部署，是团队中较早完成此项任务的成员 +- **技术成果：** + - 成功配置了 NameNode 和 DataNode + - 完成了 HDFS 基础功能验证 + - 解决了多个配置相关的技术问题 + +### 3. Hadoop 集群部署 +- **当前状态：** 正在调试中，已完成 80% 的部署工作 +- **遇到挑战：** 在集群多节点配置方面遇到一些技术难点 +- **解决进展：** 正在逐步排查和解决配置问题 + +## 遇到的问题及解决方案 + +### 主要技术问题 + +#### 问题1：DataNode 连接 NameNode 失败 +- **问题描述：** 初期部署时 DataNode 无法正常连接到 NameNode +- **根本原因：** `/etc/hosts` 文件未正确配置节点映射关系 +- **解决方案：** + - 在 `/etc/hosts` 文件中添加了所有节点的 IP 与主机名映射 + - 检查并关闭了防火墙服务 + - 验证了 `hdfs-site.xml` 中的端口配置 +- **解决状态：** ✅ 已解决 +- **经验总结：** 分布式系统部署中网络配置和主机名解析至关重要 + +#### 问题2：内存配置优化 +- **问题描述：** 在 1G 内存限制下，默认 Hadoop 配置导致服务不稳定 +- **解决方案：** + - 调整 `hadoop-env.sh` 中的 `HADOOP_HEAPSIZE` 为 512M + - 优化 JVM 参数配置 + - 按需启停服务组件 +- **解决状态：** ✅ 已解决 +- **经验总结：** 在资源受限环境下需要合理配置系统参数 + +## 学习收获 + +### 技术能力提升 +1. **Linux 系统管理：** 深入了解了 Linux 系统的基础操作和配置管理 +2. **分布式系统理解：** 初步理解了分布式文件系统的基本概念和架构 +3. **Hadoop 生态系统：** 开始掌握 Hadoop 核心组件的部署和配置 +4. **问题排查能力：** 提升了系统问题诊断和解决的能力 + +### 项目管理经验 +1. **任务规划：** 学会了将复杂任务分解为可管理的小步骤 +2. **文档记录：** 养成了详细记录部署过程和问题解决方案的习惯 +3. **团队协作：** 在遇到问题时主动寻求帮助并分享解决方案 + +## 下周工作计划 + +### 主要任务 +1. **完成 Hadoop 部署调试：** 解决剩余的配置问题，确保集群稳定运行 +2. **HDFS 稳定性测试：** 对已部署的 HDFS 进行全面的功能和稳定性测试 +3. **HDFS 命令操作实践：** 学习和练习 HDFS 的基本命令操作 +4. **MapReduce 原理学习：** 深入学习 MapReduce 的工作流程和原理机制 + +### 具体安排 +- **周一-周二：** 完成 Hadoop 集群部署的最后调试工作 +- **周三-周四：** 进行 HDFS 稳定性测试和基本操作练习 +- **周五-周日：** 专注于 MapReduce 原理的学习和文档整理 + +### 学习目标 +- 掌握 MapReduce 的完整工作流程 +- 理解 Map 和 Reduce 阶段的具体实现机制 +- 能够解释 MapReduce 的数据处理过程 + +## 自我评价 + +### 优势表现 +1. **学习能力强：** 能够快速掌握新技术和解决遇到的问题 +2. **执行力好：** 在团队中较早完成了 HDFS 部署任务 +3. **问题解决能力：** 遇到技术问题时能够系统性地分析和解决 +4. **团队合作：** 积极参与团队讨论，主动分享经验和解决方案 + +### 需要改进的方面 +1. **文档记录：** 截图记录工作需要更加完整和系统 +2. **时间管理：** 需要更好地平衡各项任务的时间分配 +3. **深度学习：** 在掌握操作的基础上，需要更深入理解技术原理 + +### 整体评价 +第四周的工作中，我在 Linux 虚拟机搭建和 HDFS 部署方面取得了较好的成果，个人完成度达到 60%，在团队中处于中上水平。虽然 Hadoop 集群部署还在调试中，但通过这周的实践，我对分布式系统有了更深入的理解，问题解决能力也得到了显著提升。 + +下周将重点完成剩余的部署工作，并开始深入学习 MapReduce 原理，为后续的技术分享和文档撰写做好准备。 + +--- +**总结完成时间：** 2025-10-19 +**下周重点任务：** MapReduce 流程原理学习与文档整理 \ No newline at end of file diff --git a/doc/process/weekly/week-5/members/zoujiaxuan-weekly-plan-5.md b/doc/process/weekly/week-5/members/zoujiaxuan-weekly-plan-5.md new file mode 100644 index 0000000..f6ce3d4 --- /dev/null +++ b/doc/process/weekly/week-5/members/zoujiaxuan-weekly-plan-5.md @@ -0,0 +1,230 @@ +# 邹佳轩第五周个人工作计划（Week 5 Plan） + +## 一、个人计划概述 +- **姓名：** 邹佳轩 +- **计划周期：** 第五周（2025-10-19 至 2025-10-25） +- **主要目标：** 基于上周 Hadoop 部署经验，进行集群稳定性测试和基础应用实践，重点准备 MapReduce 流程原理学习 +- **个人职责：** 团队会议记录员，下周负责 MapReduce 流程原理文档撰写 + +## 二、个人主要任务 + +### 2.1 第一阶段：部署巩固（周一至周二） +**个人目标：** 确保个人已部署的 Hadoop 集群稳定可用，解决第四周遗留问题 + +#### 周一任务（10月21日） +**上午（9:00-12:00）** +- [ ] 检查个人5台虚拟机的运行状态 +- [ ] 验证 Hadoop 集群各组件服务状态 +- [ ] 解决第四周调试中的遗留问题 + +**下午（14:00-18:00）** +- [ ] 对已部署集群进行 HDFS 稳定性测试 + - 上传 1G 测试文件到 HDFS + - 验证文件副本数量设置是否正确（默认3个副本） + - 检查集群各节点运行状态 +- [ ] 记录测试过程和结果 + +**晚上（19:00-21:00）** +- [ ] 18:00前在群内同步当日任务进度 +- [ ] 整理测试记录和截图 +- [ ] 准备次日工作计划 + +#### 周二任务（10月22日） +**上午（9:00-12:00）** +- [ ] 继续 HDFS 稳定性测试 +- [ ] 确保集群在负载下的稳定性 +- [ ] 测试不同大小文件的上传下载性能 + +**下午（14:00-18:00）** +- [ ] 完成集群稳定性测试报告 +- [ ] 补充第四周未完成的截图记录 +- [ ] 为第二阶段做准备 + +**完成标准：** 周二 18:00 前完成所有稳定性测试 + +### 2.2 第二阶段：简单应用实践（周三至周五） +**个人目标：** 熟练掌握 HDFS 基本操作和 MapReduce 应用，为原理学习打基础 + +#### 周三任务（10月23日） +**上午（9:00-12:00）** +- [ ] HDFS 命令操作练习 + - 学习和练习基本命令：`hdfs dfs -ls`, `-mkdir`, `-put`, `-get` + - 创建个人测试目录结构 + - 练习文件权限管理命令 + +**下午（14:00-18:00）** +- [ ] 深入练习 HDFS 操作 + - 上传/下载不同类型文件 + - 目录浏览和文件查看操作 + - 测试文件删除和恢复功能 +- [ ] 记录所有操作命令和结果 + +#### 周四任务（10月24日） +**上午（9:00-12:00）** +- [ ] 获取沈永佳发布的配置文件模板 +- [ ] 对比个人配置，应用标准化模板 +- [ ] 优化个人集群配置 + +**下午（14:00-18:00）** +- [ ] 准备 MapReduce 应用实践 + - 准备 WordCount 示例的输入数据 + - 学习 MapReduce 作业提交命令 + - 了解作业监控和日志查看方法 + +#### 周五任务（10月25日） +**上午（9:00-12:00）** +- [ ] MapReduce 应用实践 + - 运行 WordCount 示例程序 + - 验证 MapReduce 完整流程 + - 观察作业执行过程 + +**下午（14:00-18:00）** +- [ ] 深入分析 MapReduce 执行 + - 分析作业执行日志 + - 理解 Map 和 Reduce 阶段的执行过程 + - 记录关键执行参数和性能指标 +- [ ] 完成 MapReduce 应用运行记录 + +**完成标准：** 周五 18:00 前完成所有 HDFS 操作和 MapReduce 实践 + +## 三、个人配置优化任务 + +### 3.1 应用配置模板 +**任务：** 应用沈永佳发布的标准化配置文件模板 +**完成时间：** 周四获取模板后立即应用 +**具体行动：** +- [ ] 下载并学习配置模板 +- [ ] 对比个人现有配置文件 +- [ ] 应用新的配置参数 +- [ ] 测试配置优化效果 + +### 3.2 内存优化配置 +**任务：** 针对个人1G内存环境优化 Hadoop 配置 +**配置要点：** +- [ ] 调整 `hadoop-env.sh` 中的 `HADOOP_HEAPSIZE` 为 512M +- [ ] 调整 `yarn-env.sh` 中的 `YARN_HEAPSIZE` 为 512M +- [ ] 按需停用不使用的组件以节省内存 +- [ ] 监控内存使用情况 + +## 四、个人问题解决重点 + +### 4.1 第四周遗留问题处理 +基于第四周60%的完成度，重点解决： +- [ ] 完善截图记录（⚠️ 部分完成 → ✅ 完成） +- [ ] 解决调试中的技术问题（🔄 调试中 → ✅ 完成） +- [ ] 补充未完成的文档工作（❌ 未完成 → ✅ 完成） + +### 4.2 常见问题预防 +**DataNode 连接问题：** +- [ ] 检查 `/etc/hosts` 文件配置 +- [ ] 确认防火墙和 SELinux 状态 +- [ ] 验证 `hdfs-site.xml` 端口配置 + +**内存不足问题：** +- [ ] 监控 JVM 堆内存使用 +- [ ] 合理安排服务启动顺序 +- [ ] 及时释放不必要的资源 + +## 五、个人进度跟踪 + +### 5.1 日常自我管理 +- **每日18:00前：** 在群内同步当日任务进度 +- **每日21:00前：** 完成个人学习日志记录 +- **每日计划：** 次日上午制定详细任务清单 + +### 5.2 个人检查点 +- **周二检查点：** 集群稳定性测试完成，第四周遗留问题解决 +- **周四检查点：** HDFS操作熟练掌握，配置优化完成 +- **周五检查点：** MapReduce实践完成，为下周原理学习做好准备 + +### 5.3 学习记录要求 +- [ ] 每日记录技术学习要点 +- [ ] 整理操作命令和参数说明 +- [ ] 收集 MapReduce 相关资料 +- [ ] 准备原理文档写作素材 + +## 六、个人预期成果 + +### 6.1 技术成果 +- [ ] 个人 Hadoop 集群稳定运行（提升至90%+可用性） +- [ ] 熟练掌握 HDFS 基本操作命令 +- [ ] 成功运行 MapReduce 应用并理解执行流程 +- [ ] 完成第四周遗留任务，整体完成度达到95%+ + +### 6.2 文档成果 +- [ ] 个人集群稳定性测试报告 +- [ ] HDFS 操作实践总结和命令手册 +- [ ] MapReduce 应用运行记录和分析报告 +- [ ] 第四周补充文档和截图记录 + +### 6.3 学习准备成果 +- [ ] MapReduce 原理学习资料收集 +- [ ] 下周文档写作大纲和框架 +- [ ] 技术验证实验设计 + +## 七、个人风险管理 + +### 7.1 技术风险识别 +- **高风险：** 集群不稳定影响后续学习进度 +- **中风险：** MapReduce 应用运行失败 +- **低风险：** 配置优化导致系统异常 + +### 7.2 个人应对策略 +- [ ] 建立配置文件备份机制 +- [ ] 准备多套测试数据和方案 +- [ ] 及时向团队寻求技术支持 +- [ ] 保持学习进度的灵活调整 + +## 八、下周个人准备 + +### 8.1 MapReduce 原理文档准备 +**个人任务：** 撰写 MapReduce 流程原理文档 +**准备工作：** +- [ ] 收集 MapReduce 相关技术资料和官方文档 +- [ ] 整理本周实践中的关键发现和问题 +- [ ] 设计文档结构：核心逻辑 + 关键参数说明 +- [ ] 准备技术图表和流程示意图 + +### 8.2 个人学习计划 +- [ ] 制定下周详细的学习时间表 +- [ ] 确定 MapReduce 原理的重点研究方向 +- [ ] 准备技术验证实验和代码示例 +- [ ] 设定文档质量标准和完成时间节点 + +### 8.3 团队协作准备 +- [ ] 了解其他成员的原理文档主题 +- [ ] 准备技术交流和互相学习计划 +- [ ] 制定文档互审和质量保证机制 + +## 九、个人时间管理 + +### 9.1 每日时间分配 +- **上午（9:00-12:00）**：核心技术学习和实践（3小时） +- **下午（14:00-18:00）**：项目实施和问题解决（4小时） +- **晚上（19:00-21:00）**：总结反思和计划准备（2小时） +- **总计：** 每日9小时专注学习时间 + +### 9.2 周时间规划 +- **周一-周二：** 集群稳定性测试和问题解决（40%时间） +- **周三-周五：** HDFS操作和MapReduce实践（50%时间） +- **周末：** 总结整理和下周准备（10%时间） + +## 十、成功标准 + +### 10.1 量化指标 +- [ ] 集群稳定性测试通过率：100% +- [ ] HDFS操作命令掌握：20+个常用命令 +- [ ] MapReduce应用成功运行：WordCount + 1个自定义示例 +- [ ] 文档完成度：95%+（包括第四周补充） + +### 10.2 质量标准 +- [ ] 技术操作准确无误 +- [ ] 文档记录详细完整 +- [ ] 问题解决思路清晰 +- [ ] 学习成果可复现 + +--- +**个人计划制定时间：** 2025-10-20 +**计划执行周期：** 2025-10-21 至 2025-10-27 +**个人负责人：** 邹佳轩 +**下周重点任务：** MapReduce 流程原理文档撰写 \ No newline at end of file -- 2.34.1