第十二周周计划 #45

Merged
hnu202326010130 merged 2 commits from zoujiaxuan_branch into develop 1 month ago

@ -0,0 +1,101 @@
# 项目会议纪要
- 会议主题项目第9周复盘与第10周计划
- 会议时间2025-11-23
- 参会人员:沈永佳、李涛、邹佳轩、王祖旺、邢远鑫
- 会议类型:周度例会(线上)
## 会议背景
- 对第9周工作进行总结明确第10周的技术路线与阶段目标。
- 聚焦前后端联调、Hadoop 环境熟悉、AI Agent 开发与集成等关键方向。
---
## 成员汇报要点
- 沈永佳
- 完成数据库从 MySQL 迁移至 PostgreSQL并搭建本地 PostgreSQL 环境
- 李涛
- 在 Hadoop 集群上初步部署 Fruit 组件
- 邹佳轩
- 了解 Docker 容器及 AI 模型集成相关知识,启动 PostgreSQL 数据库构建
- 王祖旺
- 研究 Hadoop 集群基础操作及自动化测试脚本,支撑后续测试工作
- 邢远鑫
- 学习前后端联调步骤,计划开展小范围实验性开发
---
## 项目整体规划与讨论
- 项目目标拆分以“外部应用开发”与“Hadoop 环境熟悉”两条线并行推进
- 焦点与优先级:
- 外部应用开发优先,从登录与注册界面入手,对接真实数据库,逐步迭代
- Hadoop 集群配置、熟悉与常见 Bug 排查为全员前置技能
- 后续技术方向:
- 多 Agent 架构,理解 Prompt、Agent、MCP 概念与关系
- UI 布局参考 VS Code规划读日志、AI 问答、执行远程命令等功能
---
## 技术资源
- 前端建议学习Vite
- 后端建议学习PHP
---
## 关键决策
- 初期工具与验证:系统初期将使用豆包或 D 等工具进行测试
- 日志技术方案:使用 Flume 采集日志,先写入 HDFS 节点磁盘以便后续分析
- 前端应用架构:构建 AI 前端应用,首页用于管理和配置大模型调用工具
---
## 任务与待办
1. 前后端接口定义规范问题(沈永佳 发起,团队共识)
- 解决“头歌”仓库中前后端接口定义规范问题,形成统一规范
2. MPC Service 功能确认(邹佳轩、沈永佳)
- 确认 MPC service 是否已正确配置并可用,各自环境检查保障完整
3. AI 大模型与 API 学习(沈永佳)
- 学习 GPT、Gemini、通义千问等 API 与相关 Fluent 技术,为后续集成做准备
4. 前后端联调开发(邢远鑫)
- 从登录/注册开始,实现对接真实数据库,完成最小功能闭环
5. Hadoop 集群熟悉(王祖旺)
- 学习并掌握基础操作,准备测试与维护所需的自动化脚本
6. Prompt/Agent/MCP 关系学习(全体成员)
- 观看并学习相关视频,统一认知与术语
7. 日志管理项目(邹佳轩、李涛、王祖旺)
- 下周尝试使用 Host Agreement 完成数据库配置(邹佳轩)
- 搭建驻场 Flume完成日志采集与存储周末前提供截图李涛
---
## 团队下周工作规划
- 核心目标:完成前后端对接,实现用户登录注册功能
- 日志处理:李涛 搭建 Flume 完成日志采集,周末前提交截图证明
---
## 验收标准与里程碑
- 登录/注册联调:能在真实数据库中完成注册与登录校验,接口返回规范化
- Flume 日志采集:采集链路稳定,截图与说明齐备,采集至 HDFS 可验证
- MPC service配置可用健康检查与基本调用通过
- 学习积累Prompt/Agent/MCP 学习整理成笔记或小结并归档
---
## 结论与安排
- 明确 AI 系统初步开发目标与技术路线,落实到个人具体任务
- 行动项按本纪要列出的负责人推进,周末前完成阶段验收与归档
**下次会议**
- 时间2025-11-30周度例会

@ -0,0 +1,48 @@
# 项目第12周会议纪要
## 摘要
- 本次会议回顾了团队近两周的工作进展,重点讨论并明确了下周阿尔法版本的交付计划与各模块分工。
## 与会人员
- 邢远鑫、王祖旺、邹佳轩、沈永佳
## 项目进展回顾
- 邢远鑫:成进 Voe 框架,并已完成部分前端与后端的联调工作。
- 王祖旺:近期主要着手学习 GAPI、AI 检测等相关测试能力,为后续测试工作做准备。
## 大模型与节点管理技术探讨
- 初步了解 Agent 技术的应用场景,主要用于日志查看与远程节点命令执行。
- 讨论了大模型接入的权限控制问题,特别是通过 SSH 登录远端节点执行修复命令所需的权限体系与安全边界。
## 后端部署与测试环境问题
- 当前后端服务FastAPI仅在开发者个人电脑上运行数据库为本地配置无法供测试人员远程使用。
- 需研究并制定可行的部署方案,确保测试人员在不同局域网环境下也能正常访问系统与数据库。
## 阿尔法版本交付计划(下周)
- 交付范围:在有限时间(距离周三交付 23 天)内,优先完成后台权限管理功能,并提供可登录的系统前端页面。
- 暂不包含:集群管理与日志分析的完整功能;例如集群的增删改操作与实时日志采集暂不在本次版本内。
## 待办与负责人
1. 前后端整体验收与部署方案
- 目标:明确跨局域网可用的后端与数据库访问方案,确保测试可行。
- 负责人:王祖旺(协调部署与测试需求)
2. 阿尔法版本规划与开发准备
- 目标:尽快敲定阿尔法版本的确切功能范围,确保登录与权限管理可用。
- 分工:
- flow负责日志采集与处理的准备工作为后续版本铺垫
- 一只酸菜鱼:负责后端流程(含前端页面)的重构与协同联调。
3. 日志测试数据准备
- 目标:准备若干 HDFS 的日志测试数据,用于后续日志查询与验证。
- 依赖:明确存储位置与访问路径,保证测试人员可读取。
## 风险与依赖
- 远程访问的网络与权限配置存在不确定性,需要尽快验证可达性与安全策略。
- 日志测试数据的来源与格式需统一规范,否则影响查询与验证效率。
## 结论与后续安排
- 明确阿尔法版本的最小可交付范围与各模块分工;优先保障登录与权限管理落地。
- 部署与远程访问方案需在交付前完成基本验证,确保测试顺利进行。
- 日志测试数据的准备与规范并行推进,为后续日志功能迭代提供支撑。

@ -0,0 +1,65 @@
# 邹佳轩第12周周计划
## 目标
- 在不同主机之间实现 PostgreSQL 的数据共享与访问,使测试与开发环境可在跨局域网条件下正常协作。
## 范围
- 单库远程访问与权限控制(基础共享)
- 逻辑共享:使用 `postgres_fdw` 建立跨主机只读/读写访问
- 数据同步逻辑复制Publisher/Subscriber在选定表进行增量同步
## 交付物
- 主机 A/B 的 PostgreSQL 安装与基础网络访问配置说明
- `pg_hba.conf``postgresql.conf` 配置文件变更清单
- FDW 访问示例创建扩展、Server、User Mapping、Foreign Table
- 逻辑复制示例(发布端/订阅端SQL与验证步骤
- 风险与回滚预案(含权限、网络与数据一致性)
## 任务拆解
- 环境与网络
- 在主机 A/B 安装并启动 PostgreSQL版本统一例如 15
- 配置 `postgresql.conf``listen_addresses='*'`,设置合理 `max_connections`
- 配置 `pg_hba.conf`:允许来自对端主机的 `host` 连接(限制 IP/网段、使用 `md5`
- 防火墙与路由:开放 `5432` 端口,仅允许指定来源 IP 访问
- 远程访问与权限
- 在主机 A 创建用于远程访问的角色与数据库:`CREATE ROLE remote_user LOGIN ENCRYPTED PASSWORD '***';`
- 赋予最小权限策略(只读或指定模式/表的读写)
- 使用 `psql` 或客户端从主机 B 验证连接与基本查询
- FDW 共享(主机 B 访问主机 A 数据)
- 安装/启用扩展:`CREATE EXTENSION postgres_fdw;`
- 创建 Server`CREATE SERVER host_a_srv FOREIGN DATA WRAPPER postgres_fdw OPTIONS (host 'A_IP', dbname 'db', port '5432');`
- 创建 User Mapping`CREATE USER MAPPING FOR current_user SERVER host_a_srv OPTIONS (user 'remote_user', password '***');`
- 导入或手动创建外部表:`IMPORT FOREIGN SCHEMA public FROM SERVER host_a_srv INTO foreign_public;`
- 验证:在主机 B 查询外部表,评估读写能力与性能
- 逻辑复制(选定表增量同步)
- 发布端(主机 A`CREATE PUBLICATION pub_demo FOR TABLE public.t_demo;`
- 订阅端(主机 B`CREATE SUBSCRIPTION sub_demo CONNECTION 'host=A_IP dbname=db user=remote_user password=***' PUBLICATION pub_demo;`
- 验证:在主机 A 向 `t_demo` 插入数据,确认主机 B 自动同步
- 文档与验收
- 输出配置变更清单与安全策略说明(包含 IP 白名单与角色权限)
- 提供操作脚本与回滚步骤(撤销订阅/发布、删除 FDW 对象)
- 验收:
- 跨主机远程连接稳定,权限符合最小化原则
- FDW 访问正常(至少 1 个模式被共享),逻辑复制在目标表生效
## 时间安排(预估)
- D1环境准备与网络打通安装、配置、端口放通
- D2远程访问与权限配置验证完成 FDW 读写演示
- D3搭建逻辑复制与同步验证补充安全与回滚方案
- D4完善文档与脚本交付验收
## 风险与应对
- 网络不通或端口受限:与网络管理员同步白名单与路由
- 权限过宽:采用最小权限、限制模式/表、分离读写账户
- 复制冲突或不一致:仅对单向写入表启用逻辑复制,必要时加行级约束
- 密码与凭据泄露:使用环境变量或受控配置文件,定期轮换密码
## 成功标准
- 主机 B 能稳定访问主机 A 的 PostgreSQL 数据FDW 与直接连接均验证)
- 至少 1 张目标表实现逻辑复制的增量同步
- 文档完整可复现,包含安全与回滚说明
Loading…
Cancel
Save