|
|
|
|
@ -0,0 +1,118 @@
|
|
|
|
|
# 邹佳轩第四周个人工作总结
|
|
|
|
|
|
|
|
|
|
## 基本信息
|
|
|
|
|
- **姓名：** 邹佳轩
|
|
|
|
|
- **总结周期：** 第四周（2025-10-12 至 2025-10-18）
|
|
|
|
|
- **主要任务：** Linux 虚拟机环境搭建与 Hadoop 分布式系统部署
|
|
|
|
|
- **总结时间：** 2025-10-19
|
|
|
|
|
|
|
|
|
|
## 任务完成情况
|
|
|
|
|
|
|
|
|
|
### 完成情况统计表
|
|
|
|
|
| 任务项目 | 目标 | 实际完成 | 完成状态 | 完成度 |
|
|
|
|
|
|----------|------|----------|----------|--------|
|
|
|
|
|
| Linux虚拟机搭建 | 5台 | 5台 | ✅ 已完成 | 100% |
|
|
|
|
|
| HDFS部署 | 完成部署 | 已完成 | ✅ 已完成 | 100% |
|
|
|
|
|
| Hadoop部署 | 完成部署 | 调试中 | 🔄 进行中 | 80% |
|
|
|
|
|
| 截图记录 | 完整记录 | 部分完成 | ⚠️ 部分 | 70% |
|
|
|
|
|
| 个人周总结 | 按时提交 | 按时完成 | ✅ 已完成 | 100% |
|
|
|
|
|
|
|
|
|
|
**个人整体完成度：60%**
|
|
|
|
|
|
|
|
|
|
## 具体完成任务
|
|
|
|
|
|
|
|
|
|
### 1. Linux 虚拟机环境搭建
|
|
|
|
|
- **完成情况：** 成功搭建 5 台非桌面版 Linux 虚拟机
|
|
|
|
|
- **配置规格：** 每台虚拟机配置 1G 内存、20G 磁盘空间
|
|
|
|
|
- **技术要点：**
|
|
|
|
|
- 掌握了虚拟机基础配置和网络设置
|
|
|
|
|
- 完成了系统基础环境的标准化配置
|
|
|
|
|
- 实现了多台虚拟机之间的网络连通性测试
|
|
|
|
|
|
|
|
|
|
### 2. HDFS 分布式文件系统部署
|
|
|
|
|
- **完成情况：** 成功完成 HDFS 部署，是团队中较早完成此项任务的成员
|
|
|
|
|
- **技术成果：**
|
|
|
|
|
- 成功配置了 NameNode 和 DataNode
|
|
|
|
|
- 完成了 HDFS 基础功能验证
|
|
|
|
|
- 解决了多个配置相关的技术问题
|
|
|
|
|
|
|
|
|
|
### 3. Hadoop 集群部署
|
|
|
|
|
- **当前状态：** 正在调试中，已完成 80% 的部署工作
|
|
|
|
|
- **遇到挑战：** 在集群多节点配置方面遇到一些技术难点
|
|
|
|
|
- **解决进展：** 正在逐步排查和解决配置问题
|
|
|
|
|
|
|
|
|
|
## 遇到的问题及解决方案
|
|
|
|
|
|
|
|
|
|
### 主要技术问题
|
|
|
|
|
|
|
|
|
|
#### 问题1：DataNode 连接 NameNode 失败
|
|
|
|
|
- **问题描述：** 初期部署时 DataNode 无法正常连接到 NameNode
|
|
|
|
|
- **根本原因：** `/etc/hosts` 文件未正确配置节点映射关系
|
|
|
|
|
- **解决方案：**
|
|
|
|
|
- 在 `/etc/hosts` 文件中添加了所有节点的 IP 与主机名映射
|
|
|
|
|
- 检查并关闭了防火墙服务
|
|
|
|
|
- 验证了 `hdfs-site.xml` 中的端口配置
|
|
|
|
|
- **解决状态：** ✅ 已解决
|
|
|
|
|
- **经验总结：** 分布式系统部署中网络配置和主机名解析至关重要
|
|
|
|
|
|
|
|
|
|
#### 问题2：内存配置优化
|
|
|
|
|
- **问题描述：** 在 1G 内存限制下，默认 Hadoop 配置导致服务不稳定
|
|
|
|
|
- **解决方案：**
|
|
|
|
|
- 调整 `hadoop-env.sh` 中的 `HADOOP_HEAPSIZE` 为 512M
|
|
|
|
|
- 优化 JVM 参数配置
|
|
|
|
|
- 按需启停服务组件
|
|
|
|
|
- **解决状态：** ✅ 已解决
|
|
|
|
|
- **经验总结：** 在资源受限环境下需要合理配置系统参数
|
|
|
|
|
|
|
|
|
|
## 学习收获
|
|
|
|
|
|
|
|
|
|
### 技术能力提升
|
|
|
|
|
1. **Linux 系统管理：** 深入了解了 Linux 系统的基础操作和配置管理
|
|
|
|
|
2. **分布式系统理解：** 初步理解了分布式文件系统的基本概念和架构
|
|
|
|
|
3. **Hadoop 生态系统：** 开始掌握 Hadoop 核心组件的部署和配置
|
|
|
|
|
4. **问题排查能力：** 提升了系统问题诊断和解决的能力
|
|
|
|
|
|
|
|
|
|
### 项目管理经验
|
|
|
|
|
1. **任务规划：** 学会了将复杂任务分解为可管理的小步骤
|
|
|
|
|
2. **文档记录：** 养成了详细记录部署过程和问题解决方案的习惯
|
|
|
|
|
3. **团队协作：** 在遇到问题时主动寻求帮助并分享解决方案
|
|
|
|
|
|
|
|
|
|
## 下周工作计划
|
|
|
|
|
|
|
|
|
|
### 主要任务
|
|
|
|
|
1. **完成 Hadoop 部署调试：** 解决剩余的配置问题，确保集群稳定运行
|
|
|
|
|
2. **HDFS 稳定性测试：** 对已部署的 HDFS 进行全面的功能和稳定性测试
|
|
|
|
|
3. **HDFS 命令操作实践：** 学习和练习 HDFS 的基本命令操作
|
|
|
|
|
4. **MapReduce 原理学习：** 深入学习 MapReduce 的工作流程和原理机制
|
|
|
|
|
|
|
|
|
|
### 具体安排
|
|
|
|
|
- **周一-周二：** 完成 Hadoop 集群部署的最后调试工作
|
|
|
|
|
- **周三-周四：** 进行 HDFS 稳定性测试和基本操作练习
|
|
|
|
|
- **周五-周日：** 专注于 MapReduce 原理的学习和文档整理
|
|
|
|
|
|
|
|
|
|
### 学习目标
|
|
|
|
|
- 掌握 MapReduce 的完整工作流程
|
|
|
|
|
- 理解 Map 和 Reduce 阶段的具体实现机制
|
|
|
|
|
- 能够解释 MapReduce 的数据处理过程
|
|
|
|
|
|
|
|
|
|
## 自我评价
|
|
|
|
|
|
|
|
|
|
### 优势表现
|
|
|
|
|
1. **学习能力强：** 能够快速掌握新技术和解决遇到的问题
|
|
|
|
|
2. **执行力好：** 在团队中较早完成了 HDFS 部署任务
|
|
|
|
|
3. **问题解决能力：** 遇到技术问题时能够系统性地分析和解决
|
|
|
|
|
4. **团队合作：** 积极参与团队讨论，主动分享经验和解决方案
|
|
|
|
|
|
|
|
|
|
### 需要改进的方面
|
|
|
|
|
1. **文档记录：** 截图记录工作需要更加完整和系统
|
|
|
|
|
2. **时间管理：** 需要更好地平衡各项任务的时间分配
|
|
|
|
|
3. **深度学习：** 在掌握操作的基础上，需要更深入理解技术原理
|
|
|
|
|
|
|
|
|
|
### 整体评价
|
|
|
|
|
第四周的工作中，我在 Linux 虚拟机搭建和 HDFS 部署方面取得了较好的成果，个人完成度达到 60%，在团队中处于中上水平。虽然 Hadoop 集群部署还在调试中，但通过这周的实践，我对分布式系统有了更深入的理解，问题解决能力也得到了显著提升。
|
|
|
|
|
|
|
|
|
|
下周将重点完成剩余的部署工作，并开始深入学习 MapReduce 原理，为后续的技术分享和文档撰写做好准备。
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
**总结完成时间：** 2025-10-19
|
|
|
|
|
**下周重点任务：** MapReduce 流程原理学习与文档整理
|
