From 5af9fa432db0995a860d5c5a39c4416e7651ce5c Mon Sep 17 00:00:00 2001 From: xingyuanxin Date: Mon, 27 Oct 2025 20:14:23 +0800 Subject: [PATCH 1/2] =?UTF-8?q?=E6=B7=BB=E5=8A=A0=E9=82=A2=E8=BF=9C?= =?UTF-8?q?=E9=91=AB=E7=AC=AC=E4=BA=94=E5=91=A8=E4=B8=AA=E4=BA=BA=E5=B7=A5?= =?UTF-8?q?=E4=BD=9C=E6=80=BB=E7=BB=93?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../members/xingyuanxin-weekly-summary-5.md | 184 ++++++++++++++++++ 1 file changed, 184 insertions(+) create mode 100644 doc/process/weekly/week-5/members/xingyuanxin-weekly-summary-5.md diff --git a/doc/process/weekly/week-5/members/xingyuanxin-weekly-summary-5.md b/doc/process/weekly/week-5/members/xingyuanxin-weekly-summary-5.md new file mode 100644 index 0000000..06886ce --- /dev/null +++ b/doc/process/weekly/week-5/members/xingyuanxin-weekly-summary-5.md @@ -0,0 +1,184 @@ +# 邢远鑫第5周个人工作总结 + +## 基本信息 +- **姓名**: 邢远鑫 +- **总结周期**: 第5周(2025-10-19 至 2025-10-25) +- **项目**: 大模型数据平台故障检测项目 +- **总结时间**: 2025-10-26 + +## 本周工作完成情况 + +### 完成情况统计表 +| 任务项目 | 计划目标 | 实际完成 | 完成状态 | 完成度 | +|----------|----------|----------|----------|--------| +| Hadoop集群稳定性优化 | 解决内存不足问题 | 已完成 | ✅ 已完成 | 100% | +| HDFS基础操作实践 | 掌握常用命令 | 已完成 | ✅ 已完成 | 95% | +| MapReduce应用实践 | 运行WordCount示例 | 已完成 | ✅ 已完成 | 90% | +| YARN调度机制学习 | 深入理解调度原理 | 基本完成 | ⚠️ 部分完成 | 80% | +| 下周文档准备 | 制定文档大纲 | 已完成 | ✅ 已完成 | 100% | + +**个人整体完成度:93%** + +## 具体完成任务 + +### 1. Hadoop集群稳定性优化(周一) +- **完成情况**: 成功解决了1G内存环境下的Hadoop配置问题 +- **技术成果**: + - 优化了hadoop-env.sh配置,将HADOOP_HEAPSIZE调整为512M + - 优化了yarn-env.sh配置,将YARN_HEAPSIZE调整为512M + - 成功上传1G测试文件到HDFS,验证了副本数量设置 + - 建立了集群运行状态监控机制 +- **解决的关键问题**: 彻底解决了NameNode因内存不足导致的崩溃问题 + +### 2. HDFS基础操作实践(周二) +- **完成情况**: 熟练掌握了HDFS常用命令操作 +- **技术成果**: + - 创建了完整的HDFS命令操作手册,包含20+个常用命令 + - 成功完成文件上传/下载、目录管理、权限设置等操作 + - 进行了集群负载测试,验证了系统在并发操作下的稳定性 + - 整理了DataNode连接、权限管理等常见问题的解决方案 + +### 3. MapReduce应用实践(周三) +- **完成情况**: 成功运行MapReduce应用并理解执行流程 +- **技术成果**: + - 成功运行WordCount示例程序,分析了执行结果 + - 深入分析了MapReduce作业日志,理解了Map和Reduce阶段的执行过程 + - 学习了YARN基础概念,掌握了ResourceManager和NodeManager的作用 + - 记录了作业执行的关键性能指标 + +### 4. YARN调度机制学习(周四-周五) +- **完成情况**: 基本掌握了YARN调度器原理和配置方法 +- **技术成果**: + - 完成了FIFO、Fair、Capacity三种调度器的对比分析 + - 学习了YARN资源分配和回收机制 + - 实践了不同调度器的配置,测试了调度效果 + - 制定了下周YARN调度机制原理文档的详细大纲 + +## 遇到的问题及解决方案 + +### 主要技术问题 + +#### 问题1: 内存配置优化后系统启动缓慢 +- **问题描述**: 调整内存配置后,Hadoop集群启动时间明显延长 +- **根本原因**: JVM垃圾回收频率增加,启动过程中内存分配不够优化 +- **解决方案**: + - 调整了JVM启动参数,优化了垃圾回收策略 + - 按照服务依赖关系调整了启动顺序 + - 增加了启动过程的监控和日志记录 +- **解决状态**: ✅ 已解决 +- **经验总结**: 在资源受限环境下,需要平衡内存使用和系统性能 + +#### 问题2: MapReduce作业执行效率较低 +- **问题描述**: WordCount作业在小数据集上执行时间过长 +- **根本原因**: 默认配置下Map和Reduce任务数量设置不合理 +- **解决方案**: + - 调整了mapreduce.job.maps和mapreduce.job.reduces参数 + - 优化了输入数据的分片大小 + - 调整了任务并发度配置 +- **解决状态**: ✅ 已解决 +- **经验总结**: MapReduce性能优化需要根据数据特点和集群资源进行调整 + +#### 问题3: YARN调度器配置理解困难 +- **问题描述**: Fair Scheduler和Capacity Scheduler的配置参数复杂 +- **根本原因**: 缺乏实际应用场景的理解,理论知识不够深入 +- **解决方案**: + - 通过实际配置测试加深理解 + - 参考了官方文档和最佳实践案例 + - 与团队成员交流讨论,获得了有价值的建议 +- **解决状态**: 🔄 持续改进中 +- **经验总结**: 复杂技术需要理论学习与实践操作相结合 + +## 未完成任务及原因分析 + +### 1. YARN调度机制深度学习(完成度80%) +- **未完成部分**: + - 高级调度策略的配置和优化 + - 多租户环境下的资源隔离机制 + - 动态资源调整和弹性伸缩 +- **原因分析**: + - 时间分配不够充分,前期问题解决耗时较多 + - 技术复杂度超出预期,需要更多实践验证 + - 缺乏多节点环境进行复杂场景测试 +- **改进措施**: 下周将重点补充这部分内容,为文档撰写做好准备 + +### 2. 大模型应用场景学习(完成度20%) +- **未完成部分**: + - 大模型在集群资源管理中的应用 + - AI驱动的故障检测机制 +- **原因分析**: + - 优先级设置为低,时间主要投入到核心技术学习 + - 需要更多背景知识支撑 +- **改进措施**: 将在后续周次中逐步补充相关知识 + +## 学习收获与个人成长 + +### 技术能力提升 +1. **分布式系统理解**: 通过实际部署和配置,深入理解了Hadoop生态系统的架构和组件关系 +2. **问题解决能力**: 在解决内存配置、性能优化等问题过程中,提升了系统性分析和解决问题的能力 +3. **YARN调度机制**: 掌握了资源调度的基本原理,为后续深入学习奠定了基础 +4. **实践操作技能**: 熟练掌握了HDFS命令操作和MapReduce应用部署 + +### 项目管理经验 +1. **任务规划**: 学会了根据技术难度和依赖关系合理安排学习进度 +2. **时间管理**: 在有限的时间内优先完成核心任务,提高了学习效率 +3. **文档记录**: 养成了详细记录学习过程和问题解决方案的习惯 +4. **团队协作**: 主动与团队成员交流,分享经验并寻求帮助 + +### 个人反思与改进 +1. **优势表现**: + - 学习能力强,能够快速掌握新技术 + - 问题解决思路清晰,善于总结经验 + - 执行力好,按计划完成了大部分任务 + +2. **需要改进的方面**: + - 时间估算需要更加准确,复杂任务预留更多时间 + - 理论学习需要与实践更好结合 + - 需要提前了解技术难点,做好充分准备 + +## 下周工作计划 + +### 主要任务 +1. **YARN调度机制原理文档撰写**: 基于本周学习成果,撰写高质量的技术文档 +2. **补充未完成的学习内容**: 深入学习高级调度策略和资源隔离机制 +3. **团队技术分享**: 准备YARN调度机制的技术分享材料 +4. **下阶段学习规划**: 制定后续学习计划,为项目实施做准备 + +### 具体安排 +- **周一-周二**: 完成YARN调度机制原理文档的核心内容撰写 +- **周三-周四**: 补充高级特性学习,完善文档技术细节 +- **周五**: 文档审核完善,准备团队分享材料 + +### 质量目标 +- 文档内容准确完整,包含核心逻辑和关键参数说明 +- 提供实际应用案例和最佳实践经验 +- 确保文档对团队成员具有实际指导价值 + +## 团队协作表现 + +### 积极贡献 +1. **技术交流**: 每日按时在群内同步学习进度,分享技术心得 +2. **问题求助**: 遇到技术难点时主动寻求团队帮助,获得了有效支持 +3. **经验分享**: 主动分享内存优化和HDFS操作的解决方案 +4. **配合协作**: 积极配合沈永佳的配置模板工作,应用标准化配置 + +### 团队学习 +1. 从王祖旺的学习方法中学到了系统性规划的重要性 +2. 从邹佳轩的问题解决经验中获得了实用的技术技巧 +3. 通过团队讨论加深了对分布式系统的理解 + +## 下周重点关注 + +### 技术重点 +1. **文档质量**: 确保YARN调度机制文档的技术准确性和实用性 +2. **知识深度**: 补充高级调度策略和性能优化相关知识 +3. **实践验证**: 通过更多实际操作验证理论学习成果 + +### 个人发展 +1. **技术写作能力**: 通过文档撰写提升技术表达和总结能力 +2. **深度学习**: 从广度学习转向深度钻研,提高专业水平 +3. **团队贡献**: 通过高质量文档为团队学习提供有价值的参考 + +--- +**总结完成时间**: 2025-10-26 +**下周重点任务**: YARN调度机制原理文档撰写 +**个人评价**: 本周在Hadoop集群优化和YARN学习方面取得了显著进展,为下周的文档撰写工作奠定了坚实基础 \ No newline at end of file -- 2.34.1 From baa09af8321afe23d2915055e88782c10d6eb06b Mon Sep 17 00:00:00 2001 From: xingyuanxin Date: Mon, 27 Oct 2025 20:17:37 +0800 Subject: [PATCH 2/2] =?UTF-8?q?=E6=B7=BB=E5=8A=A0=E7=AC=AC=E5=85=AD?= =?UTF-8?q?=E5=91=A8=E5=AD=A6=E4=B9=A0=E8=AE=A1=E5=88=92=E5=92=8C=E9=A1=B9?= =?UTF-8?q?=E7=9B=AE=E6=96=87=E6=A1=A3?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../members/xingyuanxin-weekly-plan-6.md | 320 ++++++++++++++++++ ...启动前交流确认清单(初稿).docx | Bin 0 -> 18006 bytes 2 files changed, 320 insertions(+) create mode 100644 doc/process/weekly/week-6/members/xingyuanxin-weekly-plan-6.md create mode 100644 doc/project/前后端启动前交流确认清单(初稿).docx diff --git a/doc/process/weekly/week-6/members/xingyuanxin-weekly-plan-6.md b/doc/process/weekly/week-6/members/xingyuanxin-weekly-plan-6.md new file mode 100644 index 0000000..b96852e --- /dev/null +++ b/doc/process/weekly/week-6/members/xingyuanxin-weekly-plan-6.md @@ -0,0 +1,320 @@ +# 第一周(每天19:00-22:00)详细计划 + +## 周一 +### 19:00-20:00:项目背景与需求边界理解 +1. 阅读《项目核心任务说明文档》中“前端任务5(交互式Web应用前端开发)”和《用例文档》,重点关注运维人员的核心操作场景(如集群状态查看、故障处理); +2. 梳理登录、集群监控、故障管理、日志分析四大模块的核心功能: + - 登录模块:账号密码验证、异常提示、页面跳转; + - 集群监控模块:节点状态展示(在线/离线)、CPU/磁盘使用率趋势图; + - 故障管理模块:故障列表筛选、故障详情查看、修复操作触发; + - 日志分析模块:日志筛选(时间/节点)、AI分析提交; +3. 用手绘或ProcessOn制作《前端功能模块思维导图》,标注每个模块的核心交互逻辑(如“集群监控页→点击刷新按钮→获取最新节点数据”)。 +- 交付物:个人版《前端功能模块思维导图》 + +### 20:00-21:00:用例场景拆解(聚焦登录) +1. 拆解“登录”用例完整交互流程: + - 第一步:运维人员访问登录地址,前端展示账号、密码输入框及“登录”按钮; + - 第二步:输入账号(如admin)、密码(如123456@abc),点击“登录”按钮; + - 第三步:前端做表单验证(账号非空、密码≥6位),验证不通过则提示对应错误; + - 第四步:验证通过后,前端携带账号密码调用后端`/api/user/login`接口; + - 第五步:接口返回成功→存储Token到localStorage,跳转至集群监控页; + - 第六步:接口返回失败→根据错误类型提示(如“账号或密码错误”“账号已禁用”); +2. 记录关键交互细节:Token有效期8小时,过期后前端自动清除Token并跳转登录页;密码输入框支持“显示/隐藏”密码功能; +3. 整理文字版《登录用例交互清单》,标注每个步骤的前端处理逻辑(如“步骤三:用Element Plus表单校验规则实现非空校验”)。 +- 交付物:登录用例交互清单(文字版) + +### 21:00-22:00:技术栈初步认知 +1. 浏览Vue 3官方文档“快速上手”章节: + - 理解Vue组件的基本结构(`