diff --git a/doc/process/weekly/week-4/members/xingyuanxin-weekly-summary-4.md b/doc/process/weekly/week-4/members/xingyuanxin-weekly-summary-4.md new file mode 100644 index 0000000..4800519 --- /dev/null +++ b/doc/process/weekly/week-4/members/xingyuanxin-weekly-summary-4.md @@ -0,0 +1,94 @@ +# 邢远鑫第四周工作总结报告 + +## 个人基本信息 +- **姓名**: 邢远鑫 +- **周次**: 第4周 +- **项目**: 大模型数据平台故障检测项目 +- **报告日期**: 2025年秋季学期第4周 + +## 本周工作完成情况 + +### ✅ 已完成任务 + +#### 1. 虚拟机环境搭建 +- **CentOS 7.5系统安装**: 在VMware平台上成功完成操作系统的软硬件安装 +- **网络配置**: 完成IP地址及主机名称的配置设置 +- **远程访问工具**: 完成Xshell远程访问工具的安装与配置,实现便捷的远程管理 + +#### 2. 集群环境准备 +- **模板虚拟机制作**: 完成标准化模板虚拟机的安装和配置 +- **虚拟机克隆**: 成功克隆五台虚拟机,为Hadoop集群部署做好准备 +- **Java环境配置**: 在所有虚拟机上完成JDK的安装和环境变量配置 + +#### 3. 大数据平台部署(进行中) +- **Hadoop安装**: 当前正在进行Hadoop分布式文件系统的安装配置 + +## 工作成果总结 + +### 技术能力提升 +1. **虚拟化技术**: 掌握了VMware虚拟机的创建、配置和管理 +2. **Linux系统管理**: 熟悉了CentOS系统的安装、网络配置和基础管理 +3. **集群环境搭建**: 学会了分布式集群环境的规划和准备工作 +4. **远程管理工具**: 掌握了Xshell等远程访问工具的使用 + +### 环境搭建成果 +- **硬件资源**: 5台CentOS 7.5虚拟机(符合项目要求的1GB内存配置) +- **网络环境**: 完成集群网络拓扑配置,支持节点间通信 +- **基础软件**: Java运行环境就绪,为Hadoop部署奠定基础 +- **管理工具**: 远程管理环境配置完成,提高运维效率 + +## 遇到的问题与解决方案 + +### 技术挑战 +1. **虚拟机资源限制**: + - **问题**: 硬件资源有限,需要合理分配内存和存储 + - **解决方案**: 优化虚拟机配置,采用1GB内存的精简配置方案 + +2. **网络配置复杂性**: + - **问题**: 多台虚拟机的网络互联配置较为复杂 + - **解决方案**: 采用统一的网络规划方案,确保节点间正常通信 + +### 学习收获 +- 深入理解了分布式系统的环境搭建流程 +- 掌握了虚拟化技术在大数据平台中的应用 +- 提升了Linux系统管理和网络配置能力 + +## 下周工作计划 + +### 优先任务 +1. **完成Hadoop安装**: 完成HDFS分布式文件系统的部署和配置 +2. **集群功能验证**: 进行Hadoop集群的启动测试和基础功能验证 +3. **故障模拟准备**: 为后续的故障检测实验准备测试环境 + +### 学习目标 +1. **HDFS原理学习**: 深入理解分布式文件系统的架构和工作原理 +2. **MapReduce实践**: 完成基础的MapReduce程序编写和运行 +3. **集群运维**: 掌握Hadoop集群的日常管理和监控方法 + +## 项目贡献度评估 + +### 个人贡献 +- **环境搭建**: 按计划完成了个人负责的集群环境搭建任务 +- **技术准备**: 为团队后续的Hadoop实践奠定了基础环境 +- **进度控制**: 严格按照项目时间节点推进各项任务 + +### 团队协作 +- 与团队成员保持良好沟通,及时同步环境搭建进度 +- 积极参与技术问题讨论,分享环境配置经验 +- 为团队整体的技术方案实施提供支持 + +## 反思与改进 + +### 工作方法优化 +1. **时间管理**: 合理安排学习和实践时间,提高工作效率 +2. **文档记录**: 加强操作步骤和配置参数的详细记录 +3. **问题跟踪**: 建立问题清单,系统性解决技术难点 + +### 下阶段重点 +1. **深化理论学习**: 在实践基础上加强分布式系统理论理解 +2. **提升实操能力**: 通过更多实际操作掌握Hadoop生态系统 +3. **团队协作**: 加强与团队成员的技术交流和协作 + +--- + +**总结**: 本周成功完成了虚拟机环境搭建的核心任务,为项目后续阶段奠定了坚实的基础环境。虽然Hadoop安装仍在进行中,但整体进度符合预期。下周将重点完成Hadoop部署并开始深入的技术学习和实践。 \ No newline at end of file diff --git a/doc/process/weekly/week-5/group/meeting-minutes-5.md b/doc/process/weekly/week-5/group/meeting-minutes-5.md index e69de29..0955d8a 100644 --- a/doc/process/weekly/week-5/group/meeting-minutes-5.md +++ b/doc/process/weekly/week-5/group/meeting-minutes-5.md @@ -0,0 +1,51 @@ +# Hadoop 部署任务复盘与后续学习规划会议纪要(精简润色) + +## 一、会议基本信息 +- 会议时间:2025-10-19 09:00–10:00 +- 参会人员:沈永佳、李涛、邹佳轩、邢远鑫、王祖旺 +- 会议主题:复盘上周 Linux 虚拟机与 Hadoop 部署硬指标、讨论共性问题、规划后续学习路径 +- 记录人:邹佳轩 + +## 二、上周硬指标任务完成情况 +- 全员完成:每人 5 台非桌面版 Linux 虚拟机(1G 内存、20G 磁盘),完成 HDFS 与 Hadoop 部署、截图记录与周总结;整体质量达标、无未收尾事项。 +- 问题与处理: + - 邢远鑫:1G 内存导致 `NameNode` 崩溃;通过调整 Hadoop JVM 堆内存至 `512M` 已解决。 + - 王祖旺:配置文件参数拼写错误;已整理配置易错清单并同步至周总结。 + +## 三、上周共性问题与统一方案(三类高频) +### 问题 1:DataNode 无法连接 NameNode +- 核心原因:`/etc/hosts` 未配置节点映射;或防火墙、`SELinux` 未关闭;`hdfs-site.xml` 端口配置有误。 +- 统一方案: + - 在所有虚拟机的 `/etc/hosts` 添加 NameNode、DataNode 的 IP 与主机名映射(示例:`192.168.1.100 namenode`)。 + - 关闭防火墙与 `SELinux`,确保网络端口可达。 + - 校验 `hdfs-site.xml` 中的端口参数与服务一致。 + +### 问题 2:1G 内存导致 Hadoop 进程不稳定 +- 调整 `hadoop-env.sh` 的 `HADOOP_HEAPSIZE` 与 `yarn-env.sh` 的 `YARN_HEAPSIZE`,从默认 `1024M` 改为 `512M`。 +- 如需同时启动多服务,按需临时停用不使用的组件(例:进行 HDFS 测试时暂停 `YARN`)。 + +### 问题 3:配置文件参数错误(拼写、路径) +- 由沈永佳整理核心配置模板(`core-site.xml`、`hdfs-site.xml` 等),标注必填参数与注释;本周四在群内发布。 +- 后续部署直接按模板填写 IP 等关键项,降低拼写失误。 + +## 四、后续安排:从部署到深入理解(三阶段) +### 第一阶段:部署巩固(本周 1–2) +- 对已部署集群进行 HDFS 稳定性测试:上传 1G 文件、验证副本数量,确保集群可用。 + +### 第二阶段:简单应用实践(本周 3–5) +- 完成 HDFS 命令操作:创建目录、上传/下载文件。 +- 运行 `WordCount` 示例,验证 MapReduce 流程。 + +### 第三阶段:原理深入(下周 1–7) +- 每人负责 1 个核心组件原理文档,需包含核心逻辑与关键参数说明: + - 李涛:NameNode 机制 + - 沈永佳:DataNode 副本策略 + - 邹佳轩:MapReduce 流程 + - 邢远鑫:YARN 调度 + - 王祖旺:HDFS 安全模式 +- 提交时间:下周日 18:00 前,同步至共享目录。 + +## 五、会议决议与行动项 +- 全员:每日 18:00 前在群内同步当日任务进度。 +- 沈永佳:本周四前发布核心配置文件模板。 +- 其他:按三阶段执行,遇到问题及时在群内同步。 \ No newline at end of file