From b29fd79e549e309a4fd826ae349e2fcbcd0600ad Mon Sep 17 00:00:00 2001 From: xingyuanxin Date: Mon, 20 Oct 2025 20:33:37 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=E7=AC=AC=E4=BA=94=E5=91=A8?= =?UTF-8?q?=E5=9B=A2=E9=98=9F=E4=BC=9A=E8=AE=AE=E7=BA=AA=E8=A6=81=EF=BC=9A?= =?UTF-8?q?=E5=AE=8C=E5=96=84Hadoop=E9=83=A8=E7=BD=B2=E5=A4=8D=E7=9B=98?= =?UTF-8?q?=E5=92=8C=E5=90=8E=E7=BB=AD=E5=AD=A6=E4=B9=A0=E8=A7=84=E5=88=92?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../weekly/week-5/group/meeting-minutes-5.md | 51 +++++++++++++++++++ 1 file changed, 51 insertions(+) diff --git a/doc/process/weekly/week-5/group/meeting-minutes-5.md b/doc/process/weekly/week-5/group/meeting-minutes-5.md index e69de29..0955d8a 100644 --- a/doc/process/weekly/week-5/group/meeting-minutes-5.md +++ b/doc/process/weekly/week-5/group/meeting-minutes-5.md @@ -0,0 +1,51 @@ +# Hadoop 部署任务复盘与后续学习规划会议纪要（精简润色） + +## 一、会议基本信息 +- 会议时间：2025-10-19 09:00–10:00 +- 参会人员：沈永佳、李涛、邹佳轩、邢远鑫、王祖旺 +- 会议主题：复盘上周 Linux 虚拟机与 Hadoop 部署硬指标、讨论共性问题、规划后续学习路径 +- 记录人：邹佳轩 + +## 二、上周硬指标任务完成情况 +- 全员完成：每人 5 台非桌面版 Linux 虚拟机（1G 内存、20G 磁盘），完成 HDFS 与 Hadoop 部署、截图记录与周总结；整体质量达标、无未收尾事项。 +- 问题与处理： + - 邢远鑫：1G 内存导致 `NameNode` 崩溃；通过调整 Hadoop JVM 堆内存至 `512M` 已解决。 + - 王祖旺：配置文件参数拼写错误；已整理配置易错清单并同步至周总结。 + +## 三、上周共性问题与统一方案（三类高频） +### 问题 1：DataNode 无法连接 NameNode +- 核心原因：`/etc/hosts` 未配置节点映射；或防火墙、`SELinux` 未关闭；`hdfs-site.xml` 端口配置有误。 +- 统一方案： + - 在所有虚拟机的 `/etc/hosts` 添加 NameNode、DataNode 的 IP 与主机名映射（示例：`192.168.1.100 namenode`）。 + - 关闭防火墙与 `SELinux`，确保网络端口可达。 + - 校验 `hdfs-site.xml` 中的端口参数与服务一致。 + +### 问题 2：1G 内存导致 Hadoop 进程不稳定 +- 调整 `hadoop-env.sh` 的 `HADOOP_HEAPSIZE` 与 `yarn-env.sh` 的 `YARN_HEAPSIZE`，从默认 `1024M` 改为 `512M`。 +- 如需同时启动多服务，按需临时停用不使用的组件（例：进行 HDFS 测试时暂停 `YARN`）。 + +### 问题 3：配置文件参数错误（拼写、路径） +- 由沈永佳整理核心配置模板（`core-site.xml`、`hdfs-site.xml` 等），标注必填参数与注释；本周四在群内发布。 +- 后续部署直接按模板填写 IP 等关键项，降低拼写失误。 + +## 四、后续安排：从部署到深入理解（三阶段） +### 第一阶段：部署巩固（本周 1–2） +- 对已部署集群进行 HDFS 稳定性测试：上传 1G 文件、验证副本数量，确保集群可用。 + +### 第二阶段：简单应用实践（本周 3–5） +- 完成 HDFS 命令操作：创建目录、上传/下载文件。 +- 运行 `WordCount` 示例，验证 MapReduce 流程。 + +### 第三阶段：原理深入（下周 1–7） +- 每人负责 1 个核心组件原理文档，需包含核心逻辑与关键参数说明： + - 李涛：NameNode 机制 + - 沈永佳：DataNode 副本策略 + - 邹佳轩：MapReduce 流程 + - 邢远鑫：YARN 调度 + - 王祖旺：HDFS 安全模式 +- 提交时间：下周日 18:00 前，同步至共享目录。 + +## 五、会议决议与行动项 +- 全员：每日 18:00 前在群内同步当日任务进度。 +- 沈永佳：本周四前发布核心配置文件模板。 +- 其他：按三阶段执行，遇到问题及时在群内同步。 \ No newline at end of file