更新第五周团队会议纪要:完善Hadoop部署复盘和后续学习规划

pull/15/head
xingyuanxin 4 months ago
parent 9b2e18aefb
commit b29fd79e54

@ -0,0 +1,51 @@
# Hadoop 部署任务复盘与后续学习规划会议纪要(精简润色)
## 一、会议基本信息
- 会议时间2025-10-19 09:0010:00
- 参会人员:沈永佳、李涛、邹佳轩、邢远鑫、王祖旺
- 会议主题:复盘上周 Linux 虚拟机与 Hadoop 部署硬指标、讨论共性问题、规划后续学习路径
- 记录人:邹佳轩
## 二、上周硬指标任务完成情况
- 全员完成:每人 5 台非桌面版 Linux 虚拟机1G 内存、20G 磁盘),完成 HDFS 与 Hadoop 部署、截图记录与周总结;整体质量达标、无未收尾事项。
- 问题与处理:
- 邢远鑫1G 内存导致 `NameNode` 崩溃;通过调整 Hadoop JVM 堆内存至 `512M` 已解决。
- 王祖旺:配置文件参数拼写错误;已整理配置易错清单并同步至周总结。
## 三、上周共性问题与统一方案(三类高频)
### 问题 1DataNode 无法连接 NameNode
- 核心原因:`/etc/hosts` 未配置节点映射;或防火墙、`SELinux` 未关闭;`hdfs-site.xml` 端口配置有误。
- 统一方案:
- 在所有虚拟机的 `/etc/hosts` 添加 NameNode、DataNode 的 IP 与主机名映射(示例:`192.168.1.100 namenode`)。
- 关闭防火墙与 `SELinux`,确保网络端口可达。
- 校验 `hdfs-site.xml` 中的端口参数与服务一致。
### 问题 21G 内存导致 Hadoop 进程不稳定
- 调整 `hadoop-env.sh``HADOOP_HEAPSIZE``yarn-env.sh``YARN_HEAPSIZE`,从默认 `1024M` 改为 `512M`
- 如需同时启动多服务,按需临时停用不使用的组件(例:进行 HDFS 测试时暂停 `YARN`)。
### 问题 3配置文件参数错误拼写、路径
- 由沈永佳整理核心配置模板(`core-site.xml`、`hdfs-site.xml` 等),标注必填参数与注释;本周四在群内发布。
- 后续部署直接按模板填写 IP 等关键项,降低拼写失误。
## 四、后续安排:从部署到深入理解(三阶段)
### 第一阶段:部署巩固(本周 12
- 对已部署集群进行 HDFS 稳定性测试:上传 1G 文件、验证副本数量,确保集群可用。
### 第二阶段:简单应用实践(本周 35
- 完成 HDFS 命令操作:创建目录、上传/下载文件。
- 运行 `WordCount` 示例,验证 MapReduce 流程。
### 第三阶段:原理深入(下周 17
- 每人负责 1 个核心组件原理文档,需包含核心逻辑与关键参数说明:
- 李涛NameNode 机制
- 沈永佳DataNode 副本策略
- 邹佳轩MapReduce 流程
- 邢远鑫YARN 调度
- 王祖旺HDFS 安全模式
- 提交时间:下周日 18:00 前,同步至共享目录。
## 五、会议决议与行动项
- 全员:每日 18:00 前在群内同步当日任务进度。
- 沈永佳:本周四前发布核心配置文件模板。
- 其他:按三阶段执行,遇到问题及时在群内同步。
Loading…
Cancel
Save