|
|
|
|
@ -0,0 +1,51 @@
|
|
|
|
|
# Hadoop 部署任务复盘与后续学习规划会议纪要(精简润色)
|
|
|
|
|
|
|
|
|
|
## 一、会议基本信息
|
|
|
|
|
- 会议时间:2025-10-19 09:00–10:00
|
|
|
|
|
- 参会人员:沈永佳、李涛、邹佳轩、邢远鑫、王祖旺
|
|
|
|
|
- 会议主题:复盘上周 Linux 虚拟机与 Hadoop 部署硬指标、讨论共性问题、规划后续学习路径
|
|
|
|
|
- 记录人:邹佳轩
|
|
|
|
|
|
|
|
|
|
## 二、上周硬指标任务完成情况
|
|
|
|
|
- 全员完成:每人 5 台非桌面版 Linux 虚拟机(1G 内存、20G 磁盘),完成 HDFS 与 Hadoop 部署、截图记录与周总结;整体质量达标、无未收尾事项。
|
|
|
|
|
- 问题与处理:
|
|
|
|
|
- 邢远鑫:1G 内存导致 `NameNode` 崩溃;通过调整 Hadoop JVM 堆内存至 `512M` 已解决。
|
|
|
|
|
- 王祖旺:配置文件参数拼写错误;已整理配置易错清单并同步至周总结。
|
|
|
|
|
|
|
|
|
|
## 三、上周共性问题与统一方案(三类高频)
|
|
|
|
|
### 问题 1:DataNode 无法连接 NameNode
|
|
|
|
|
- 核心原因:`/etc/hosts` 未配置节点映射;或防火墙、`SELinux` 未关闭;`hdfs-site.xml` 端口配置有误。
|
|
|
|
|
- 统一方案:
|
|
|
|
|
- 在所有虚拟机的 `/etc/hosts` 添加 NameNode、DataNode 的 IP 与主机名映射(示例:`192.168.1.100 namenode`)。
|
|
|
|
|
- 关闭防火墙与 `SELinux`,确保网络端口可达。
|
|
|
|
|
- 校验 `hdfs-site.xml` 中的端口参数与服务一致。
|
|
|
|
|
|
|
|
|
|
### 问题 2:1G 内存导致 Hadoop 进程不稳定
|
|
|
|
|
- 调整 `hadoop-env.sh` 的 `HADOOP_HEAPSIZE` 与 `yarn-env.sh` 的 `YARN_HEAPSIZE`,从默认 `1024M` 改为 `512M`。
|
|
|
|
|
- 如需同时启动多服务,按需临时停用不使用的组件(例:进行 HDFS 测试时暂停 `YARN`)。
|
|
|
|
|
|
|
|
|
|
### 问题 3:配置文件参数错误(拼写、路径)
|
|
|
|
|
- 由沈永佳整理核心配置模板(`core-site.xml`、`hdfs-site.xml` 等),标注必填参数与注释;本周四在群内发布。
|
|
|
|
|
- 后续部署直接按模板填写 IP 等关键项,降低拼写失误。
|
|
|
|
|
|
|
|
|
|
## 四、后续安排:从部署到深入理解(三阶段)
|
|
|
|
|
### 第一阶段:部署巩固(本周 1–2)
|
|
|
|
|
- 对已部署集群进行 HDFS 稳定性测试:上传 1G 文件、验证副本数量,确保集群可用。
|
|
|
|
|
|
|
|
|
|
### 第二阶段:简单应用实践(本周 3–5)
|
|
|
|
|
- 完成 HDFS 命令操作:创建目录、上传/下载文件。
|
|
|
|
|
- 运行 `WordCount` 示例,验证 MapReduce 流程。
|
|
|
|
|
|
|
|
|
|
### 第三阶段:原理深入(下周 1–7)
|
|
|
|
|
- 每人负责 1 个核心组件原理文档,需包含核心逻辑与关键参数说明:
|
|
|
|
|
- 李涛:NameNode 机制
|
|
|
|
|
- 沈永佳:DataNode 副本策略
|
|
|
|
|
- 邹佳轩:MapReduce 流程
|
|
|
|
|
- 邢远鑫:YARN 调度
|
|
|
|
|
- 王祖旺:HDFS 安全模式
|
|
|
|
|
- 提交时间:下周日 18:00 前,同步至共享目录。
|
|
|
|
|
|
|
|
|
|
## 五、会议决议与行动项
|
|
|
|
|
- 全员:每日 18:00 前在群内同步当日任务进度。
|
|
|
|
|
- 沈永佳:本周四前发布核心配置文件模板。
|
|
|
|
|
- 其他:按三阶段执行,遇到问题及时在群内同步。
|