From c345dc1104b5a73901e23118241a3a4a7f3d7193 Mon Sep 17 00:00:00 2001 From: hnu202326010101 Date: Mon, 13 Oct 2025 13:58:19 +0800 Subject: [PATCH 01/12] Initial commit --- README.md | 2 ++ 1 file changed, 2 insertions(+) create mode 100644 README.md diff --git a/README.md b/README.md new file mode 100644 index 0000000..ec88a52 --- /dev/null +++ b/README.md @@ -0,0 +1,2 @@ +# ErrorDetecting + -- 2.34.1 From bc5c94bcbda21e5ab32e6608dd3b1b541de3bee4 Mon Sep 17 00:00:00 2001 From: hnu202326010101 Date: Mon, 13 Oct 2025 13:58:31 +0800 Subject: [PATCH 02/12] Delete 'README.md' --- README.md | 2 -- 1 file changed, 2 deletions(-) delete mode 100644 README.md diff --git a/README.md b/README.md deleted file mode 100644 index ec88a52..0000000 --- a/README.md +++ /dev/null @@ -1,2 +0,0 @@ -# ErrorDetecting - -- 2.34.1 From a2ec7559d7ac948c6745b9ebf900bce412d0c552 Mon Sep 17 00:00:00 2001 From: echo Date: Mon, 13 Oct 2025 17:18:21 +0800 Subject: [PATCH 03/12] init --- doc/process/weekly/week-10/group/meeting-minutes-10.md | 0 doc/process/weekly/week-10/group/weekly-plan-10.md | 0 doc/process/weekly/week-10/group/weekly-summary-10.md | 0 doc/process/weekly/week-10/members/shenyongjia-weekly-plan-10.md | 0 .../weekly/week-10/members/shenyongjia-weekly-summary-10.md | 0 doc/process/weekly/week-11/group/meeting-minutes-11.md | 0 doc/process/weekly/week-11/group/weekly-plan-11.md | 0 doc/process/weekly/week-11/group/weekly-summary-11.md | 0 doc/process/weekly/week-11/members/shenyongjia-weekly-plan-11.md | 0 .../weekly/week-11/members/shenyongjia-weekly-summary-11.md | 0 doc/process/weekly/week-12/group/meeting-minutes-12.md | 0 doc/process/weekly/week-12/group/weekly-plan-12.md | 0 doc/process/weekly/week-12/group/weekly-summary-12.md | 0 doc/process/weekly/week-12/members/shenyongjia-weekly-plan-12.md | 0 .../weekly/week-12/members/shenyongjia-weekly-summary-12.md | 0 doc/process/weekly/week-13/group/meeting-minutes-13.md | 0 doc/process/weekly/week-13/group/weekly-plan-13.md | 0 doc/process/weekly/week-13/group/weekly-summary-13.md | 0 doc/process/weekly/week-13/members/shenyongjia-weekly-plan-13.md | 0 .../weekly/week-13/members/shenyongjia-weekly-summary-13.md | 0 doc/process/weekly/week-14/group/meeting-minutes-14.md | 0 doc/process/weekly/week-14/group/weekly-plan-14.md | 0 doc/process/weekly/week-14/group/weekly-summary-14.md | 0 doc/process/weekly/week-14/members/shenyongjia-weekly-plan-14.md | 0 .../weekly/week-14/members/shenyongjia-weekly-summary-14.md | 0 doc/process/weekly/week-15/group/meeting-minutes-15.md | 0 doc/process/weekly/week-15/group/weekly-plan-15.md | 0 doc/process/weekly/week-15/group/weekly-summary-15.md | 0 doc/process/weekly/week-15/members/shenyongjia-weekly-plan-15.md | 0 .../weekly/week-15/members/shenyongjia-weekly-summary-15.md | 0 doc/process/weekly/week-4/group/meeting-minutes-4.md | 1 + doc/process/weekly/week-4/group/weekly-plan-4.md | 1 + doc/process/weekly/week-4/group/weekly-summary-4.md | 1 + doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md | 1 + .../weekly/week-4/members/shenyongjia-weekly-summary-4.md | 1 + doc/process/weekly/week-5/group/meeting-minutes-5.md | 0 doc/process/weekly/week-5/group/weekly-plan-5.md | 0 doc/process/weekly/week-5/group/weekly-summary-5.md | 0 doc/process/weekly/week-5/members/shenyongjia-weekly-plan-5.md | 0 .../weekly/week-5/members/shenyongjia-weekly-summary-5.md | 0 doc/process/weekly/week-6/group/meeting-minutes-6.md | 0 doc/process/weekly/week-6/group/weekly-plan-6.md | 0 doc/process/weekly/week-6/group/weekly-summary-6.md | 0 doc/process/weekly/week-6/members/shenyongjia-weekly-plan-6.md | 0 .../weekly/week-6/members/shenyongjia-weekly-summary-6.md | 0 doc/process/weekly/week-7/group/meeting-minutes-7.md | 0 doc/process/weekly/week-7/group/weekly-plan-7.md | 0 doc/process/weekly/week-7/group/weekly-summary-7.md | 0 doc/process/weekly/week-7/members/shenyongjia-weekly-plan-7.md | 0 .../weekly/week-7/members/shenyongjia-weekly-summary-7.md | 0 doc/process/weekly/week-8/group/meeting-minutes-8.md | 0 doc/process/weekly/week-8/group/weekly-plan-8.md | 0 doc/process/weekly/week-8/group/weekly-summary-8.md | 0 doc/process/weekly/week-8/members/shenyongjia-weekly-plan-8.md | 0 .../weekly/week-8/members/shenyongjia-weekly-summary-8.md | 0 doc/process/weekly/week-9/group/meeting-minutes-9.md | 0 doc/process/weekly/week-9/group/weekly-plan-9.md | 0 doc/process/weekly/week-9/group/weekly-summary-9.md | 0 doc/process/weekly/week-9/members/shenyongjia-weekly-plan-9.md | 0 .../weekly/week-9/members/shenyongjia-weekly-summary-9.md | 0 60 files changed, 5 insertions(+) create mode 100644 doc/process/weekly/week-10/group/meeting-minutes-10.md create mode 100644 doc/process/weekly/week-10/group/weekly-plan-10.md create mode 100644 doc/process/weekly/week-10/group/weekly-summary-10.md create mode 100644 doc/process/weekly/week-10/members/shenyongjia-weekly-plan-10.md create mode 100644 doc/process/weekly/week-10/members/shenyongjia-weekly-summary-10.md create mode 100644 doc/process/weekly/week-11/group/meeting-minutes-11.md create mode 100644 doc/process/weekly/week-11/group/weekly-plan-11.md create mode 100644 doc/process/weekly/week-11/group/weekly-summary-11.md create mode 100644 doc/process/weekly/week-11/members/shenyongjia-weekly-plan-11.md create mode 100644 doc/process/weekly/week-11/members/shenyongjia-weekly-summary-11.md create mode 100644 doc/process/weekly/week-12/group/meeting-minutes-12.md create mode 100644 doc/process/weekly/week-12/group/weekly-plan-12.md create mode 100644 doc/process/weekly/week-12/group/weekly-summary-12.md create mode 100644 doc/process/weekly/week-12/members/shenyongjia-weekly-plan-12.md create mode 100644 doc/process/weekly/week-12/members/shenyongjia-weekly-summary-12.md create mode 100644 doc/process/weekly/week-13/group/meeting-minutes-13.md create mode 100644 doc/process/weekly/week-13/group/weekly-plan-13.md create mode 100644 doc/process/weekly/week-13/group/weekly-summary-13.md create mode 100644 doc/process/weekly/week-13/members/shenyongjia-weekly-plan-13.md create mode 100644 doc/process/weekly/week-13/members/shenyongjia-weekly-summary-13.md create mode 100644 doc/process/weekly/week-14/group/meeting-minutes-14.md create mode 100644 doc/process/weekly/week-14/group/weekly-plan-14.md create mode 100644 doc/process/weekly/week-14/group/weekly-summary-14.md create mode 100644 doc/process/weekly/week-14/members/shenyongjia-weekly-plan-14.md create mode 100644 doc/process/weekly/week-14/members/shenyongjia-weekly-summary-14.md create mode 100644 doc/process/weekly/week-15/group/meeting-minutes-15.md create mode 100644 doc/process/weekly/week-15/group/weekly-plan-15.md create mode 100644 doc/process/weekly/week-15/group/weekly-summary-15.md create mode 100644 doc/process/weekly/week-15/members/shenyongjia-weekly-plan-15.md create mode 100644 doc/process/weekly/week-15/members/shenyongjia-weekly-summary-15.md create mode 100644 doc/process/weekly/week-4/group/meeting-minutes-4.md create mode 100644 doc/process/weekly/week-4/group/weekly-plan-4.md create mode 100644 doc/process/weekly/week-4/group/weekly-summary-4.md create mode 100644 doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md create mode 100644 doc/process/weekly/week-4/members/shenyongjia-weekly-summary-4.md create mode 100644 doc/process/weekly/week-5/group/meeting-minutes-5.md create mode 100644 doc/process/weekly/week-5/group/weekly-plan-5.md create mode 100644 doc/process/weekly/week-5/group/weekly-summary-5.md create mode 100644 doc/process/weekly/week-5/members/shenyongjia-weekly-plan-5.md create mode 100644 doc/process/weekly/week-5/members/shenyongjia-weekly-summary-5.md create mode 100644 doc/process/weekly/week-6/group/meeting-minutes-6.md create mode 100644 doc/process/weekly/week-6/group/weekly-plan-6.md create mode 100644 doc/process/weekly/week-6/group/weekly-summary-6.md create mode 100644 doc/process/weekly/week-6/members/shenyongjia-weekly-plan-6.md create mode 100644 doc/process/weekly/week-6/members/shenyongjia-weekly-summary-6.md create mode 100644 doc/process/weekly/week-7/group/meeting-minutes-7.md create mode 100644 doc/process/weekly/week-7/group/weekly-plan-7.md create mode 100644 doc/process/weekly/week-7/group/weekly-summary-7.md create mode 100644 doc/process/weekly/week-7/members/shenyongjia-weekly-plan-7.md create mode 100644 doc/process/weekly/week-7/members/shenyongjia-weekly-summary-7.md create mode 100644 doc/process/weekly/week-8/group/meeting-minutes-8.md create mode 100644 doc/process/weekly/week-8/group/weekly-plan-8.md create mode 100644 doc/process/weekly/week-8/group/weekly-summary-8.md create mode 100644 doc/process/weekly/week-8/members/shenyongjia-weekly-plan-8.md create mode 100644 doc/process/weekly/week-8/members/shenyongjia-weekly-summary-8.md create mode 100644 doc/process/weekly/week-9/group/meeting-minutes-9.md create mode 100644 doc/process/weekly/week-9/group/weekly-plan-9.md create mode 100644 doc/process/weekly/week-9/group/weekly-summary-9.md create mode 100644 doc/process/weekly/week-9/members/shenyongjia-weekly-plan-9.md create mode 100644 doc/process/weekly/week-9/members/shenyongjia-weekly-summary-9.md diff --git a/doc/process/weekly/week-10/group/meeting-minutes-10.md b/doc/process/weekly/week-10/group/meeting-minutes-10.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-10/group/weekly-plan-10.md b/doc/process/weekly/week-10/group/weekly-plan-10.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-10/group/weekly-summary-10.md b/doc/process/weekly/week-10/group/weekly-summary-10.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-10/members/shenyongjia-weekly-plan-10.md b/doc/process/weekly/week-10/members/shenyongjia-weekly-plan-10.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-10/members/shenyongjia-weekly-summary-10.md b/doc/process/weekly/week-10/members/shenyongjia-weekly-summary-10.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-11/group/meeting-minutes-11.md b/doc/process/weekly/week-11/group/meeting-minutes-11.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-11/group/weekly-plan-11.md b/doc/process/weekly/week-11/group/weekly-plan-11.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-11/group/weekly-summary-11.md b/doc/process/weekly/week-11/group/weekly-summary-11.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-11/members/shenyongjia-weekly-plan-11.md b/doc/process/weekly/week-11/members/shenyongjia-weekly-plan-11.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-11/members/shenyongjia-weekly-summary-11.md b/doc/process/weekly/week-11/members/shenyongjia-weekly-summary-11.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-12/group/meeting-minutes-12.md b/doc/process/weekly/week-12/group/meeting-minutes-12.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-12/group/weekly-plan-12.md b/doc/process/weekly/week-12/group/weekly-plan-12.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-12/group/weekly-summary-12.md b/doc/process/weekly/week-12/group/weekly-summary-12.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-12/members/shenyongjia-weekly-plan-12.md b/doc/process/weekly/week-12/members/shenyongjia-weekly-plan-12.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-12/members/shenyongjia-weekly-summary-12.md b/doc/process/weekly/week-12/members/shenyongjia-weekly-summary-12.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-13/group/meeting-minutes-13.md b/doc/process/weekly/week-13/group/meeting-minutes-13.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-13/group/weekly-plan-13.md b/doc/process/weekly/week-13/group/weekly-plan-13.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-13/group/weekly-summary-13.md b/doc/process/weekly/week-13/group/weekly-summary-13.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-13/members/shenyongjia-weekly-plan-13.md b/doc/process/weekly/week-13/members/shenyongjia-weekly-plan-13.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-13/members/shenyongjia-weekly-summary-13.md b/doc/process/weekly/week-13/members/shenyongjia-weekly-summary-13.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-14/group/meeting-minutes-14.md b/doc/process/weekly/week-14/group/meeting-minutes-14.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-14/group/weekly-plan-14.md b/doc/process/weekly/week-14/group/weekly-plan-14.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-14/group/weekly-summary-14.md b/doc/process/weekly/week-14/group/weekly-summary-14.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-14/members/shenyongjia-weekly-plan-14.md b/doc/process/weekly/week-14/members/shenyongjia-weekly-plan-14.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-14/members/shenyongjia-weekly-summary-14.md b/doc/process/weekly/week-14/members/shenyongjia-weekly-summary-14.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-15/group/meeting-minutes-15.md b/doc/process/weekly/week-15/group/meeting-minutes-15.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-15/group/weekly-plan-15.md b/doc/process/weekly/week-15/group/weekly-plan-15.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-15/group/weekly-summary-15.md b/doc/process/weekly/week-15/group/weekly-summary-15.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-15/members/shenyongjia-weekly-plan-15.md b/doc/process/weekly/week-15/members/shenyongjia-weekly-plan-15.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-15/members/shenyongjia-weekly-summary-15.md b/doc/process/weekly/week-15/members/shenyongjia-weekly-summary-15.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-4/group/meeting-minutes-4.md b/doc/process/weekly/week-4/group/meeting-minutes-4.md new file mode 100644 index 0000000..61312cf --- /dev/null +++ b/doc/process/weekly/week-4/group/meeting-minutes-4.md @@ -0,0 +1 @@ +小组会议纪要 \ No newline at end of file diff --git a/doc/process/weekly/week-4/group/weekly-plan-4.md b/doc/process/weekly/week-4/group/weekly-plan-4.md new file mode 100644 index 0000000..5959572 --- /dev/null +++ b/doc/process/weekly/week-4/group/weekly-plan-4.md @@ -0,0 +1 @@ +小组周计划 \ No newline at end of file diff --git a/doc/process/weekly/week-4/group/weekly-summary-4.md b/doc/process/weekly/week-4/group/weekly-summary-4.md new file mode 100644 index 0000000..e743ffa --- /dev/null +++ b/doc/process/weekly/week-4/group/weekly-summary-4.md @@ -0,0 +1 @@ +小组周总结 \ No newline at end of file diff --git a/doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md b/doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md new file mode 100644 index 0000000..e09b8e7 --- /dev/null +++ b/doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md @@ -0,0 +1 @@ +沈永佳个人周计划 \ No newline at end of file diff --git a/doc/process/weekly/week-4/members/shenyongjia-weekly-summary-4.md b/doc/process/weekly/week-4/members/shenyongjia-weekly-summary-4.md new file mode 100644 index 0000000..151ccc2 --- /dev/null +++ b/doc/process/weekly/week-4/members/shenyongjia-weekly-summary-4.md @@ -0,0 +1 @@ +沈永佳个人周总结 \ No newline at end of file diff --git a/doc/process/weekly/week-5/group/meeting-minutes-5.md b/doc/process/weekly/week-5/group/meeting-minutes-5.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-5/group/weekly-plan-5.md b/doc/process/weekly/week-5/group/weekly-plan-5.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-5/group/weekly-summary-5.md b/doc/process/weekly/week-5/group/weekly-summary-5.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-5/members/shenyongjia-weekly-plan-5.md b/doc/process/weekly/week-5/members/shenyongjia-weekly-plan-5.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-5/members/shenyongjia-weekly-summary-5.md b/doc/process/weekly/week-5/members/shenyongjia-weekly-summary-5.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-6/group/meeting-minutes-6.md b/doc/process/weekly/week-6/group/meeting-minutes-6.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-6/group/weekly-plan-6.md b/doc/process/weekly/week-6/group/weekly-plan-6.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-6/group/weekly-summary-6.md b/doc/process/weekly/week-6/group/weekly-summary-6.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-6/members/shenyongjia-weekly-plan-6.md b/doc/process/weekly/week-6/members/shenyongjia-weekly-plan-6.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-6/members/shenyongjia-weekly-summary-6.md b/doc/process/weekly/week-6/members/shenyongjia-weekly-summary-6.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-7/group/meeting-minutes-7.md b/doc/process/weekly/week-7/group/meeting-minutes-7.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-7/group/weekly-plan-7.md b/doc/process/weekly/week-7/group/weekly-plan-7.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-7/group/weekly-summary-7.md b/doc/process/weekly/week-7/group/weekly-summary-7.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-7/members/shenyongjia-weekly-plan-7.md b/doc/process/weekly/week-7/members/shenyongjia-weekly-plan-7.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-7/members/shenyongjia-weekly-summary-7.md b/doc/process/weekly/week-7/members/shenyongjia-weekly-summary-7.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-8/group/meeting-minutes-8.md b/doc/process/weekly/week-8/group/meeting-minutes-8.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-8/group/weekly-plan-8.md b/doc/process/weekly/week-8/group/weekly-plan-8.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-8/group/weekly-summary-8.md b/doc/process/weekly/week-8/group/weekly-summary-8.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-8/members/shenyongjia-weekly-plan-8.md b/doc/process/weekly/week-8/members/shenyongjia-weekly-plan-8.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-8/members/shenyongjia-weekly-summary-8.md b/doc/process/weekly/week-8/members/shenyongjia-weekly-summary-8.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-9/group/meeting-minutes-9.md b/doc/process/weekly/week-9/group/meeting-minutes-9.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-9/group/weekly-plan-9.md b/doc/process/weekly/week-9/group/weekly-plan-9.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-9/group/weekly-summary-9.md b/doc/process/weekly/week-9/group/weekly-summary-9.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-9/members/shenyongjia-weekly-plan-9.md b/doc/process/weekly/week-9/members/shenyongjia-weekly-plan-9.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-9/members/shenyongjia-weekly-summary-9.md b/doc/process/weekly/week-9/members/shenyongjia-weekly-summary-9.md new file mode 100644 index 0000000..e69de29 -- 2.34.1 From 19e3efab2ebade1ee095073a7be507601d9eae57 Mon Sep 17 00:00:00 2001 From: echo Date: Mon, 13 Oct 2025 17:20:30 +0800 Subject: [PATCH 04/12] init --- src/README.md | 0 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 src/README.md diff --git a/src/README.md b/src/README.md new file mode 100644 index 0000000..e69de29 -- 2.34.1 From 9630d77c1a4eb6366f81be41af4708747a721178 Mon Sep 17 00:00:00 2001 From: echo Date: Mon, 13 Oct 2025 17:48:29 +0800 Subject: [PATCH 05/12] =?UTF-8?q?=E6=B2=88=E6=B0=B8=E4=BD=B3=E6=8F=90?= =?UTF-8?q?=E4=BA=A4=E7=AC=AC=E5=9B=9B=E5=91=A8=E5=9B=A2=E9=98=9F=E8=AE=A1?= =?UTF-8?q?=E5=88=92,=E4=BC=9A=E8=AE=AE=E7=BA=AA=E8=A6=81=E5=92=8C?= =?UTF-8?q?=E4=B8=AA=E4=BA=BA=E8=AE=A1=E5=88=92?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../weekly/week-4/group/meeting-minutes-4.md | 94 +++++++++- .../weekly/week-4/group/weekly-plan-4.md | 170 ++++++++++++++++- .../members/shenyongjia-weekly-plan-4.md | 174 +++++++++++++++++- 3 files changed, 435 insertions(+), 3 deletions(-) diff --git a/doc/process/weekly/week-4/group/meeting-minutes-4.md b/doc/process/weekly/week-4/group/meeting-minutes-4.md index 61312cf..34a2dcf 100644 --- a/doc/process/weekly/week-4/group/meeting-minutes-4.md +++ b/doc/process/weekly/week-4/group/meeting-minutes-4.md @@ -1 +1,93 @@ -小组会议纪要 \ No newline at end of file +# 第四周小组会议纪要 + +## 会议基本信息 +- **会议时间**: 第四周 +- **会议主题**: 大模型数据平台故障检测项目启动会议 +- **参会人员**: 项目指导老师:李友焕、项目小组全体成员:沈永佳,邢远鑫,邹佳轩,王祖旺,李涛 + +## 会议内容 + +### 1. 项目背景介绍 + +本次会议正式启动了利用大模型进行数据平台故障检测的研究课题，明确了项目的核心目标和应用价值。 + +### 2. 核心项目背景与需求 + +#### 项目目标 +利用大模型技术对复杂的大数据平台进行故障检测与自动修复，提升运维效率和自动化水平。 + +#### 应用场景 +- **目标平台**: Hadoop、Spark等复杂分布式系统 +- **故障类型**: + - 磁盘损坏 + - 内存泄漏 + - 进程崩溃 + - 其他系统级故障 + +#### 核心价值 +通过大模型技术替代传统的"老师傅"式经验排查模式，实现： +- 更快速的问题发现 +- 自动化的故障诊断 +- 智能化的修复建议 +- 提高整体运维效率 + +### 3. 项目实现路径 + +#### 前期任务 +1. **技术储备**: 深入学习和实践Hadoop、Spark、Hive等大数据组件 +2. **环境搭建**: 自行部署测试环境 +3. **故障模拟**: 在环境中主动引发各类故障，积累真实案例作为训练样本 + +#### 模拟测试策略 +- 预设各类错误场景（如定时杀死进程、填满磁盘空间等） +- 验证大模型的监控能力 +- 测试故障分析和工具调用的有效性 +- 评估自动修复功能的可靠性 + +#### 前期准备工作 +- 学习大模型的IAG（指令跟随）技术 +- 掌握提示词优化相关技能 +- 熟悉RAG（检索增强生成）技术 + +## 行动计划 + +### 1. 大数据平台知识储备 +- 查阅项目文档中的相关资料链接 +- 自主学习HDFS、Hadoop等核心大数据组件 +- 深入理解分布式系统架构和常见故障模式 + +### 2. 实践环境搭建与故障演练 +- **硬件配置**: 准备3-5台虚拟机，每台配置1GB内存 +- **软件部署**: 搭建Hadoop/HDFS集群环境 +- **故障演练**: 手动制造或触发各类运行错误 +- **数据收集**: 为后续模型测试准备充足的故障案例 + +### 3. 技术学习重点 +- HDFS分布式文件系统 +- Hadoop生态系统 +- Spark计算引擎 +- Hive数据仓库 +- **分布式存储系统理论** + - 分布式一致性算法（Raft、Paxos） + - 数据分片和副本策略 + - 存储系统容错机制 +- **计算模式理论** + - 批处理计算模式（MapReduce） + - 流式计算模式（Storm、Flink） + - 内存计算模式（Spark） + - 混合计算模式和Lambda架构 +- **图数据库理论** + - 图数据模型和查询语言 + - 图算法和图计算框架 + - Neo4j、Apache Giraph等图数据库技术 + - 图数据在故障关联分析中的应用 +- 大模型RAG技术 +- 提示词工程优化 + +## 下周工作安排 + +第四周将根据既定学习计划进行自主学习，重点完成以上待办事项，为项目后续阶段奠定坚实基础。 + +## 会议总结 + +本次会议成功明确了项目方向和技术路线，为团队成员指明了学习重点和实践方向。通过系统性的准备工作，我们将为大模型在故障检测领域的应用探索奠定良好基础。 \ No newline at end of file diff --git a/doc/process/weekly/week-4/group/weekly-plan-4.md b/doc/process/weekly/week-4/group/weekly-plan-4.md index 5959572..41e3bad 100644 --- a/doc/process/weekly/week-4/group/weekly-plan-4.md +++ b/doc/process/weekly/week-4/group/weekly-plan-4.md @@ -1 +1,169 @@ -小组周计划 \ No newline at end of file +# 第四周小组周计划 + +## 计划概述 + +本周是大模型数据平台故障检测项目的启动周，主要任务是进行前期知识储备和技术准备，为后续的实践开发奠定坚实基础。 + +## 学习目标 + +### 主要目标 +1. **掌握大数据平台核心技术**: 深入理解Hadoop、Spark、Hive等关键组件 +2. **了解故障检测需求**: 明确分布式系统常见故障类型和检测方法 +3. **学习大模型相关技术**: 掌握RAG、提示词优化等核心技能 +4. **制定实践方案**: 为环境搭建和故障演练做好准备 + +### 具体学习内容 + +#### 1. 大数据平台技术栈 +- **HDFS (Hadoop分布式文件系统)** + - 架构原理和核心组件 + - 数据存储和副本机制 + - 常见故障模式分析 + +- **Hadoop生态系统** + - MapReduce计算框架 + - YARN资源管理 + - 集群部署和配置 + +- **Apache Spark** + - 内存计算原理 + - RDD和DataFrame操作 + - 性能优化策略 + +- **Apache Hive** + - 数据仓库架构 + - SQL查询引擎 + - 元数据管理 + +- **分布式存储系统理论** + - 分布式一致性算法（Raft、Paxos、PBFT） + - CAP定理和BASE理论 + - 数据分片策略（Range、Hash、Directory） + - 副本管理和数据同步机制 + - 存储系统容错和恢复机制 + - 分布式锁和事务处理 + +- **计算模式理论** + - 批处理计算模式（MapReduce、Hadoop） + - 流式计算模式（Storm、Flink、Kafka Streams） + - 内存计算模式（Spark、Hazelcast） + - 混合计算模式和Lambda架构 + - 边缘计算和雾计算模式 + - 无服务器计算（Serverless）模式 + +- **图数据库理论** + - 图数据模型和图论基础 + - 图查询语言（Cypher、Gremlin、SPARQL） + - 图算法（最短路径、社区发现、中心性分析） + - 图计算框架（Apache Giraph、GraphX、Pregel） + - 图数据库技术（Neo4j、ArangoDB、JanusGraph） + - 图数据在故障关联分析和根因分析中的应用 + +#### 2. 大模型技术学习 +- **RAG (检索增强生成)** + - 技术原理和应用场景 + - 向量数据库使用 + - 知识库构建方法 + +- **提示词工程** + - 提示词设计原则 + - 上下文优化技巧 + - 指令跟随(IAG)技术 + +- **模型调用和集成** + - API接口使用 + - 工具链集成方案 + - 自动化流程设计 + +## 本周具体任务 + +### 第一阶段：理论学习 (周一-周三) + +#### 任务1: 大数据平台基础学习 +- [ ] 阅读Hadoop官方文档，理解HDFS架构 +- [ ] 学习Spark核心概念和编程模型 +- [ ] 研究Hive数据仓库解决方案 +- [ ] 学习分布式存储系统理论（一致性算法、CAP定理、数据分片策略） +- [ ] 掌握各种计算模式（批处理、流式、内存计算、Lambda架构） +- [ ] 研究图数据库理论和图算法基础 +- [ ] 整理常见故障类型和解决方案 + +#### 任务2: 大模型技术研究 +- [ ] 学习RAG技术原理和实现方法 +- [ ] 研究提示词优化最佳实践 +- [ ] 了解大模型在运维领域的应用案例 +- [ ] 探索自动化故障诊断的可能性 +- [ ] 研究图数据库在故障关联分析中的应用 +- [ ] 学习分布式系统故障检测的理论基础 + +### 第二阶段：方案设计 (周四-周五) + +#### 任务3: 环境规划 +- [ ] 设计虚拟机集群架构（3-5台，每台1GB内存） +- [ ] 制定Hadoop/HDFS部署方案 +- [ ] 规划故障模拟测试场景 +- [ ] 准备环境搭建所需资源 + +#### 任务4: 项目方案制定 +- [ ] 设计故障检测系统架构 +- [ ] 制定数据收集和标注策略 +- [ ] 规划模型训练和测试流程 +- [ ] 确定技术选型和工具链 + +## 学习资源 + +### 官方文档 +- [Apache Hadoop官方文档](https://hadoop.apache.org/docs/) +- [Apache Spark官方指南](https://spark.apache.org/docs/latest/) +- [Apache Hive用户手册](https://hive.apache.org/docs/) + +### 推荐学习材料 +- 《Hadoop权威指南》 +- 《Spark快速大数据分析》 +- 《分布式系统概念与设计》 +- 《图数据库》（Ian Robinson著） +- 《设计数据密集型应用》（Martin Kleppmann著） +- 大模型RAG技术博客和论文 +- 提示词工程实践案例 +- Neo4j官方文档和图算法指南 +- 分布式一致性算法论文（Raft、Paxos） + +### 实践环境 +- 虚拟化平台（VMware/VirtualBox） +- Linux操作系统（CentOS/Ubuntu） +- Java开发环境 +- Python数据科学工具栈 + +## 预期成果 + +### 本周交付物 +1. **学习笔记**: 大数据平台和大模型技术要点总结 +2. **环境方案**: 详细的集群搭建和配置方案 +3. **故障清单**: 常见故障类型和检测方法汇总 +4. **项目规划**: 下阶段实践任务的详细计划 + +### 能力提升目标 +- 具备大数据平台基础运维能力 +- 理解分布式系统故障检测原理 +- 掌握大模型应用开发基础 +- 能够设计故障检测解决方案 + +## 风险与应对 + +### 潜在风险 +1. **学习内容过多**: 大数据技术栈庞大，可能无法在一周内全面掌握 +2. **资源限制**: 虚拟机性能可能影响实践效果 +3. **技术难度**: 大模型集成可能存在技术挑战 + +### 应对策略 +1. **重点突破**: 优先学习核心组件，逐步扩展知识面 +2. **资源优化**: 合理配置虚拟机资源，采用轻量化部署 +3. **团队协作**: 分工合作，发挥各成员技术优势 + +## 下周展望 + +基于本周的学习成果，下周将开始实际的环境搭建和故障演练工作，为大模型训练准备充足的数据样本。 + +--- + +**备注**: 本计划将根据实际学习进度和遇到的问题进行动态调整，确保学习效果和项目进度的平衡。 \ No newline at end of file diff --git a/doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md b/doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md index e09b8e7..755be48 100644 --- a/doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md +++ b/doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md @@ -1 +1,173 @@ -沈永佳个人周计划 \ No newline at end of file +# 沈永佳第四周个人学习计划 + +## 个人学习目标 + +基于小组会议确定的项目方向，本周将重点进行大数据平台故障检测相关的理论学习和技术储备，为后续的实践开发奠定坚实基础。 + +## 核心学习任务 + +### 1. HDFS分布式文件系统深入学习 + +#### 学习重点 +- **HDFS架构和核心组件** + - NameNode和DataNode的工作原理 + - Secondary NameNode的作用和机制 + - HDFS的数据存储和读写流程 + - 块(Block)机制和副本策略 + +- **HDFS配置和管理** + - HDFS配置文件详解(core-site.xml, hdfs-site.xml) + - 集群启动和关闭流程 + - HDFS命令行操作和管理 + - 安全模式和故障恢复 + +- **HDFS性能优化** + - 数据本地性优化 + - 负载均衡配置 + - 存储策略和压缩 + - 监控和日志分析 + +#### 具体任务安排 +- **周一**: 深入学习HDFS架构原理，理解NameNode和DataNode机制 +- **周二**: 实践HDFS配置文件设置和集群管理操作 +- **周三**: 学习HDFS性能优化和故障排查方法 + +### 2. Hadoop生态系统实践学习 + +#### 学习重点 +- **Hadoop核心组件** + - MapReduce计算框架原理和编程模型 + - YARN资源管理和任务调度 + - Hadoop Common工具库使用 + +- **Hadoop集群部署** + - 单机模式、伪分布式模式、完全分布式模式 + - 集群规划和硬件配置要求 + - 网络配置和安全设置 + +- **Hadoop运维管理** + - 集群监控和性能调优 + - 日志管理和问题诊断 + - 备份和恢复策略 + +#### 具体任务安排 +- **周四上午**: 学习MapReduce编程模型，编写简单的WordCount程序 +- **周四下午**: 研究YARN资源管理机制和任务调度策略 +- **周五上午**: 实践Hadoop集群部署和配置优化 + +### 3. 环境搭建和配置实践 + +#### 学习重点 +- **虚拟机环境准备** + - Linux系统安装和基础配置 + - 网络配置和SSH免密登录设置 + - Java环境安装和配置 + +- **Hadoop集群搭建** + - 3-5台虚拟机的集群架构设计 + - Hadoop软件下载、安装和配置 + - 集群启动测试和验证 + +- **环境优化和故障模拟** + - 系统参数调优和性能监控 + - 故障场景设计和模拟测试 + - 日志收集和分析工具配置 + +#### 具体任务安排 +- **周五下午**: 准备虚拟机环境，安装Linux系统和Java环境 +- **周六**: 搭建Hadoop集群，完成基础配置和测试 +- **周日**: 进行故障模拟测试，收集故障数据样本 + +### 4. 理论基础补充学习 + +#### 学习重点（适度了解） +- **分布式系统基础概念** + - 分布式系统的基本特征和挑战 + - 数据一致性和容错机制简介 + +- **大数据处理模式** + - 批处理和流处理的基本概念 + - 大数据处理的常见架构模式 + +- **大模型技术应用** + - RAG技术在运维中的应用场景 + - 提示词工程的基本方法 + +#### 具体任务安排 +- **每日晚间**: 轻量化理论学习，重点关注与实践相关的概念 + +## 学习资源和参考材料 + +### 核心书籍 +1. 《Hadoop权威指南》- 大数据平台技术详解和实践指导 +2. 《Hadoop实战》- 实际项目开发和部署经验 +3. 《HDFS源码分析与开发实战》- 深入理解HDFS内部机制 +4. 《大数据技术原理与应用》- 大数据生态系统概览 + +### 技术文档和官方资料 +1. Apache Hadoop官方文档和配置指南 +2. HDFS架构设计文档和最佳实践 +3. Hadoop集群部署和运维手册 +4. MapReduce编程指南和示例代码 + +### 在线资源和实践教程 +1. Hadoop官方教程和快速入门指南 +2. HDFS命令行操作和管理实践 +3. 虚拟机环境搭建视频教程 +4. Hadoop故障排查和性能优化案例 + +## 学习成果和交付物 + +### 本周预期成果 +1. **HDFS实践报告**: HDFS架构理解和配置实践总结 +2. **Hadoop集群搭建文档**: 详细的集群部署步骤和配置说明 +3. **环境配置手册**: 虚拟机环境准备和优化配置指南 +4. **故障模拟测试报告**: 故障场景设计和测试结果分析 +5. **MapReduce程序示例**: 完成的WordCount等基础程序代码 + +### 能力提升目标 +- 熟练掌握HDFS的架构原理和操作管理 +- 具备Hadoop集群的部署和运维能力 +- 能够进行基本的MapReduce程序开发 +- 掌握虚拟机环境配置和故障模拟技能 +- 为后续的故障检测系统开发做好环境准备 + +## 学习计划执行策略 + +### 时间安排 +- **工作日**: 每日4-5小时专注学习和实践时间 +- **周末**: 每日6-8小时集中进行环境搭建和配置实践 +- **总计**: 本周预计投入35-40小时学习和实践时间 + +### 学习方法 +1. **理论与实践结合**: 边学习理论边进行实际操作验证 +2. **环境搭建优先**: 优先完成虚拟机和Hadoop环境配置 +3. **循序渐进**: 从单机模式开始，逐步搭建分布式集群 +4. **问题驱动**: 通过解决实际配置问题加深理解 +5. **文档记录**: 详细记录配置步骤和遇到的问题解决方案 + +### 进度跟踪 +- 每日记录环境配置进度和遇到的技术问题 +- 每完成一个配置阶段进行功能测试验证 +- 每两天与小组成员分享配置经验和问题解决方案 +- 周末进行阶段性总结和下周环境优化计划 + +## 风险预案 + +### 潜在挑战 +1. **环境配置复杂**: Hadoop集群配置涉及多个组件，可能遇到兼容性问题 +2. **虚拟机资源限制**: 硬件资源可能不足以支持完整的分布式集群 +3. **网络配置难题**: 虚拟机网络配置和SSH连接可能出现问题 +4. **版本兼容性**: 不同版本的Hadoop、Java可能存在兼容性问题 + +### 应对策略 +1. **分步骤配置**: 先完成单机模式，再逐步扩展到伪分布式和完全分布式 +2. **资源优化**: 合理分配虚拟机资源，采用轻量化配置方案 +3. **文档参考**: 严格按照官方文档和成熟教程进行配置 +4. **版本统一**: 选择稳定的版本组合，避免使用最新的不稳定版本 +5. **问题记录**: 详细记录遇到的问题和解决方案，建立个人知识库 +6. **团队协作**: 与小组成员共享配置经验，互相帮助解决技术难题 + +--- + +**备注**: 本计划将根据实际环境配置进度和遇到的技术问题进行动态调整，优先确保Hadoop环境的成功搭建和基本功能验证，为后续的故障检测项目奠定坚实的技术基础。 \ No newline at end of file -- 2.34.1 From b4aaf0c0f8fea8a3a441e82e72f136876d36b9ff Mon Sep 17 00:00:00 2001 From: echo Date: Mon, 13 Oct 2025 17:57:31 +0800 Subject: [PATCH 06/12] =?UTF-8?q?=E6=B2=88=E6=B0=B8=E4=BD=B3=E6=8F=90?= =?UTF-8?q?=E4=BA=A4=E7=AC=AC=E4=B8=80=E6=AC=A1=E4=BC=9A=E8=AE=AE=E8=AE=B0?= =?UTF-8?q?=E5=BD=95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../2025.10.10项目启动会议记录 | 53 +++++++++++++++++++ 1 file changed, 53 insertions(+) create mode 100644 doc/process/meeting/2025.10.10项目启动会议记录 diff --git a/doc/process/meeting/2025.10.10项目启动会议记录 b/doc/process/meeting/2025.10.10项目启动会议记录 new file mode 100644 index 0000000..551dde6 --- /dev/null +++ b/doc/process/meeting/2025.10.10项目启动会议记录 @@ -0,0 +1,53 @@ +会议记录 + +会议基本信息 + +会议主题：利用大模型进行故障检测的新项目启动会 + +参会人员：李友焕、Echo + +记录方式：AI会议助手实时记录 + +会议助手(00:00): hi，我是你的会议助手，我正在帮你实时记录会议纪要，请安心开会！ + +会议助手(01:31): 李友焕要求复述故障检测需求，显示对需求理解可能存在模糊点，并建议投屏以便更直观讨论。Echo确认需求源于点表阶段，暗示该需求可能较为零散或不够系统化。双方快速确认了需求范围，但缺乏具体细节的展开。 + +会议助手(03:48): 李友焕在强调项目难度和现实意义，显然希望激发团队动力，提到大模型方向可行且能带来锻炼。 + +Echo在确认文档位置时有些混乱，可能对材料熟悉度不足。 + +双方在投屏细节上反复沟通，显示协作初期存在技术磨合问题。 + +李友焕提到腾讯项目经验时，隐含对当前资源条件的担忧。 + +会议助手(05:53): 李友焕提到与军方的合作因系统敏感性受阻，转而进行预先研究。这显示项目面临合规性挑战，需要迂回推进。他详细剖析了大数据平台的复杂性，从分布式存储到各类组件（如Spark、Hadoop、Elasticsearch），强调大公司通过集中化技术中台管理数据流。其举例腾讯的实践，暗示当前项目需要类似的系统性支撑，但现有资源可能不足。 + +会议助手(08:06): 李友焕详细列举了大数据平台运行中可能出现的各类故障场景，包括内存溢出、资源分配异常、权限问题、数据误删等，凸显了复杂系统故障定位的困难性。他强调当前依赖人工排查的方式效率低下，暗示需要引入大模型等智能化手段来优化故障诊断流程。 + +会议助手(10:14): 李友焕提出了利用大模型进行实时监控和自动修复的需求，强调需要精准诊断和工具调用能力。他提到当前依赖人工排查效率低，而大模型可以提前发现问题并解决。但团队对大数据组件经验不足，Echo表示仅了解spring boot，暗示技术储备与需求存在差距。 + +会议助手(12:28): 李友焕发现团队成员对大数据组件缺乏经验，这反而被视为学习机会，他建议从HDFS和Hadoop入手，逐步学习Spark和Hive，强调这些技能在工业界仍有广泛应用。他计划分享学习资料并指导实践，但显然意识到学习曲线可能较陡。 + +从之前的讨论来看，团队似乎正在探索如何利用大模型进行系统监控和问题修复，但当前的技术储备明显不足。 + +会议助手(14:41): 李友焕强调大数据工程师必须掌握HDFS、Hadoop等分布式系统技能，建议通过虚拟机搭建环境进行实战演练，并推荐了林子雨的线上课程作为学习资源。 + +他提出通过人为制造错误来测试大模型的监控和修复能力，认为这是展示项目能力的有效方式。 + +Echo全程以简短回应表示认同，显示讨论呈现单向指导性质。 + +会议助手(17:01): 李友焕强调学习大模型和提示词优化的重要性，认为这是未来工作中无法绕开的技能，建议用3-4天集中学习。他提到之前学生因代码量不足被质疑，但大模型项目的核心难点早已解决。 + +Echo表示问题会在学习过程中出现，显示出对学习过程的务实态度。李友焕进一步说明这个项目对他的硕士生也在进行，透露出他希望学生能真正学到东西的初衷，即使效果不如预期也能接受。 + +会议助手(19:06): 李友焕强调大模型项目的评估重点已从代码量转向实际应用，表明团队方向正从技术实现转向价值落地。他决定重新接手部分项目，并建议团队集中学习大模型相关技能。值得注意的是，此前因考核标准偏差导致学生保研受挫的经历，似乎促使他更注重项目实效性而非形式指标。 + +后续对话显示学生正在处理会议录制和纪要等技术问题，但讨论较为零散，可能侧面反映团队在协作流程上仍需磨合。 + +会议助手(21:21): Echo对会议内容持保留态度，认为部分讨论缺乏实际价值，但肯定了会议概览的实用性。他提到分布式技术的重要性，暗示这是当前学习重点，并强调大数据技术生态的核心组件是基础。从对话来看，他对学习过程中可能遇到的问题有所预见。 + +会议助手(22:18): Echo在讨论大数据技术生态，提到百度的生态和Hadoop自带的MapReduce，似乎对当前技术方案有些困惑和不满。他提到"不数这了不数那了"，表明对细节讨论已经失去耐心，更关注整体框架的实用性。 + +记录时间：会议全程 + +记录状态：完整 \ No newline at end of file -- 2.34.1 From 9f8e7a4e832cd7ba0fbe8235c30537924e038a9e Mon Sep 17 00:00:00 2001 From: echo Date: Mon, 13 Oct 2025 18:01:02 +0800 Subject: [PATCH 07/12] =?UTF-8?q?=E6=B2=88=E6=B0=B8=E4=BD=B3=E6=8F=90?= =?UTF-8?q?=E4=BA=A4=E7=AC=AC=E4=B8=80=E6=AC=A1=E4=BC=9A=E8=AE=AE=E8=AE=B0?= =?UTF-8?q?=E5=BD=95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../meeting/2025.10.10项目启动会议记录 | 12 ++++-------- 1 file changed, 4 insertions(+), 8 deletions(-) diff --git a/doc/process/meeting/2025.10.10项目启动会议记录 b/doc/process/meeting/2025.10.10项目启动会议记录 index 551dde6..dc30bb6 100644 --- a/doc/process/meeting/2025.10.10项目启动会议记录 +++ b/doc/process/meeting/2025.10.10项目启动会议记录 @@ -4,7 +4,7 @@ 会议主题：利用大模型进行故障检测的新项目启动会 -参会人员：李友焕、Echo +参会人员：李友焕、沈永佳、邢远鑫、邹佳轩、王祖旺、李涛 记录方式：AI会议助手实时记录 @@ -14,7 +14,7 @@ 会议助手(03:48): 李友焕在强调项目难度和现实意义，显然希望激发团队动力，提到大模型方向可行且能带来锻炼。 -Echo在确认文档位置时有些混乱，可能对材料熟悉度不足。 +沈永佳在确认文档位置时有些混乱，可能对材料熟悉度不足。 双方在投屏细节上反复沟通，显示协作初期存在技术磨合问题。 @@ -34,20 +34,16 @@ Echo在确认文档位置时有些混乱，可能对材料熟悉度不足。 他提出通过人为制造错误来测试大模型的监控和修复能力，认为这是展示项目能力的有效方式。 -Echo全程以简短回应表示认同，显示讨论呈现单向指导性质。 +沈永佳全程以简短回应表示认同，显示讨论呈现单向指导性质。 会议助手(17:01): 李友焕强调学习大模型和提示词优化的重要性，认为这是未来工作中无法绕开的技能，建议用3-4天集中学习。他提到之前学生因代码量不足被质疑，但大模型项目的核心难点早已解决。 -Echo表示问题会在学习过程中出现，显示出对学习过程的务实态度。李友焕进一步说明这个项目对他的硕士生也在进行，透露出他希望学生能真正学到东西的初衷，即使效果不如预期也能接受。 +沈永佳表示问题会在学习过程中出现，显示出对学习过程的务实态度。李友焕进一步说明这个项目对他的硕士生也在进行，透露出他希望学生能真正学到东西的初衷，即使效果不如预期也能接受。 会议助手(19:06): 李友焕强调大模型项目的评估重点已从代码量转向实际应用，表明团队方向正从技术实现转向价值落地。他决定重新接手部分项目，并建议团队集中学习大模型相关技能。值得注意的是，此前因考核标准偏差导致学生保研受挫的经历，似乎促使他更注重项目实效性而非形式指标。 后续对话显示学生正在处理会议录制和纪要等技术问题，但讨论较为零散，可能侧面反映团队在协作流程上仍需磨合。 -会议助手(21:21): Echo对会议内容持保留态度，认为部分讨论缺乏实际价值，但肯定了会议概览的实用性。他提到分布式技术的重要性，暗示这是当前学习重点，并强调大数据技术生态的核心组件是基础。从对话来看，他对学习过程中可能遇到的问题有所预见。 - -会议助手(22:18): Echo在讨论大数据技术生态，提到百度的生态和Hadoop自带的MapReduce，似乎对当前技术方案有些困惑和不满。他提到"不数这了不数那了"，表明对细节讨论已经失去耐心，更关注整体框架的实用性。 - 记录时间：会议全程 记录状态：完整 \ No newline at end of file -- 2.34.1 From 4399ed49478123eccee83d294fa9d4ca3b4832f0 Mon Sep 17 00:00:00 2001 From: echo Date: Mon, 13 Oct 2025 18:02:07 +0800 Subject: [PATCH 08/12] =?UTF-8?q?=E6=B2=88=E6=B0=B8=E4=BD=B3=E6=8F=90?= =?UTF-8?q?=E4=BA=A4=E7=AC=AC=E4=B8=80=E6=AC=A1=E4=BC=9A=E8=AE=AE=E8=AE=B0?= =?UTF-8?q?=E5=BD=95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- doc/process/meeting/2025.10.10项目启动会议记录 | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/doc/process/meeting/2025.10.10项目启动会议记录 b/doc/process/meeting/2025.10.10项目启动会议记录 index dc30bb6..9d2ce64 100644 --- a/doc/process/meeting/2025.10.10项目启动会议记录 +++ b/doc/process/meeting/2025.10.10项目启动会议记录 @@ -10,7 +10,7 @@ 会议助手(00:00): hi，我是你的会议助手，我正在帮你实时记录会议纪要，请安心开会！ -会议助手(01:31): 李友焕要求复述故障检测需求，显示对需求理解可能存在模糊点，并建议投屏以便更直观讨论。Echo确认需求源于点表阶段，暗示该需求可能较为零散或不够系统化。双方快速确认了需求范围，但缺乏具体细节的展开。 +会议助手(01:31): 李友焕要求复述故障检测需求，显示对需求理解可能存在模糊点，并建议投屏以便更直观讨论。沈永佳确认需求源于点表阶段，暗示该需求可能较为零散或不够系统化。双方快速确认了需求范围，但缺乏具体细节的展开。 会议助手(03:48): 李友焕在强调项目难度和现实意义，显然希望激发团队动力，提到大模型方向可行且能带来锻炼。 @@ -24,7 +24,7 @@ 会议助手(08:06): 李友焕详细列举了大数据平台运行中可能出现的各类故障场景，包括内存溢出、资源分配异常、权限问题、数据误删等，凸显了复杂系统故障定位的困难性。他强调当前依赖人工排查的方式效率低下，暗示需要引入大模型等智能化手段来优化故障诊断流程。 -会议助手(10:14): 李友焕提出了利用大模型进行实时监控和自动修复的需求，强调需要精准诊断和工具调用能力。他提到当前依赖人工排查效率低，而大模型可以提前发现问题并解决。但团队对大数据组件经验不足，Echo表示仅了解spring boot，暗示技术储备与需求存在差距。 +会议助手(10:14): 李友焕提出了利用大模型进行实时监控和自动修复的需求，强调需要精准诊断和工具调用能力。他提到当前依赖人工排查效率低，而大模型可以提前发现问题并解决。但团队对大数据组件经验不足，沈永佳表示仅了解spring boot，暗示技术储备与需求存在差距。 会议助手(12:28): 李友焕发现团队成员对大数据组件缺乏经验，这反而被视为学习机会，他建议从HDFS和Hadoop入手，逐步学习Spark和Hive，强调这些技能在工业界仍有广泛应用。他计划分享学习资料并指导实践，但显然意识到学习曲线可能较陡。 -- 2.34.1 From 0b2d34a265934c652ea5fbc25ea92652fde621c9 Mon Sep 17 00:00:00 2001 From: zjx1 <1803419208@qq.com> Date: Mon, 13 Oct 2025 21:31:12 +0800 Subject: [PATCH 09/12] =?UTF-8?q?docs:=20=E6=B7=BB=E5=8A=A0=E7=AC=AC4?= =?UTF-8?q?=E5=91=A8=E4=B8=AA=E4=BA=BA=E5=91=A8=E8=AE=A1=E5=88=92=E6=96=87?= =?UTF-8?q?=E6=A1=A3?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../members/zoujiaxuan-weekly-plan-4.md | 156 ++++++++++++++++++ 1 file changed, 156 insertions(+) create mode 100644 doc/process/weekly/week-4/members/zoujiaxuan-weekly-plan-4.md diff --git a/doc/process/weekly/week-4/members/zoujiaxuan-weekly-plan-4.md b/doc/process/weekly/week-4/members/zoujiaxuan-weekly-plan-4.md new file mode 100644 index 0000000..88ade70 --- /dev/null +++ b/doc/process/weekly/week-4/members/zoujiaxuan-weekly-plan-4.md @@ -0,0 +1,156 @@ +# 邹佳轩第四周个人学习计划 + +## 个人学习目标 + +基于小组会议确定的项目方向，本周将重点进行大数据平台故障检测相关的理论学习和技术储备，为后续的实践开发奠定坚实基础。 + +## 核心学习任务 + +### 1. Apache Spark深入学习 + +#### 学习重点 +- **Spark核心架构** + - Spark应用程序架构（Driver、Executor、Cluster Manager） + - RDD（弹性分布式数据集）原理和操作 + - DataFrame和Dataset API使用 + - Spark SQL查询引擎 + +- **Spark内存计算机制** + - 内存管理和存储级别 + - 缓存策略和持久化 + - 数据序列化和压缩 + - 垃圾回收优化 + +- **Spark性能调优** + - 分区策略和数据倾斜处理 + - 广播变量和累加器使用 + - 任务调度和资源配置 + - 监控和故障排查 + +#### 具体任务安排 +- **周一**: 深入学习Spark架构原理，理解RDD和内存计算机制 +- **周二**: 实践Spark编程模型，掌握DataFrame和SQL操作 +- **周三**: 学习Spark性能优化和故障诊断方法 + +### 2. 分布式存储系统理论学习 + +#### 学习重点 +- **分布式一致性算法** + - Raft算法原理和实现 + - Paxos算法机制 + - PBFT拜占庭容错算法 + - 一致性级别和CAP定理 + +- **数据分片和副本策略** + - Range分片、Hash分片、Directory分片 + - 副本放置策略和一致性哈希 + - 数据迁移和负载均衡 + - 故障检测和自动恢复 + +- **存储系统容错机制** + - 节点故障检测和处理 + - 数据修复和重建 + - 分布式锁和事务处理 + - 网络分区处理 + +#### 具体任务安排 +- **周四上午**: 学习Raft和Paxos一致性算法 +- **周四下午**: 研究数据分片策略和副本管理 +- **周五上午**: 学习分布式系统容错和恢复机制 + +### 3. 大模型RAG技术研究 + +#### 学习重点 +- **RAG技术原理** + - 检索增强生成架构 + - 向量数据库和相似度搜索 + - 知识库构建和索引优化 + - 检索策略和排序算法 + +- **提示词工程优化** + - 提示词设计原则和最佳实践 + - 上下文窗口管理 + - 指令跟随(IAG)技术 + - Few-shot和Chain-of-Thought技术 + +- **模型集成应用** + - API接口调用和参数优化 + - 工具链集成方案 + - 自动化流程设计 + - 故障诊断场景应用 + +#### 具体任务安排 +- **周五下午**: 学习RAG技术原理和向量数据库使用 +- **周末**: 研究提示词工程和模型集成方案 + +## 学习资源和参考材料 + +### 官方文档 +- [Apache Spark官方文档](https://spark.apache.org/docs/latest/) +- [Spark编程指南](https://spark.apache.org/docs/latest/programming-guide.html) +- [Spark SQL指南](https://spark.apache.org/docs/latest/sql-programming-guide.html) + +### 推荐学习材料 +- 《Spark快速大数据分析》 +- 《设计数据密集型应用》（Martin Kleppmann著） +- 《分布式系统概念与设计》 +- Raft算法论文和可视化演示 +- RAG技术相关论文和博客文章 +- 提示词工程实践案例 + +### 实践环境 +- Spark本地模式环境搭建 +- Jupyter Notebook + PySpark +- 虚拟机集群环境准备 + +## 本周学习计划 + +### 第一阶段：理论学习 (周一-周三) +- [ ] 完成Spark核心架构学习 +- [ ] 掌握RDD和DataFrame编程 +- [ ] 理解Spark内存计算原理 +- [ ] 学习性能调优方法 + +### 第二阶段：分布式理论 (周四) +- [ ] 深入学习一致性算法 +- [ ] 研究数据分片和副本策略 +- [ ] 理解分布式系统容错机制 + +### 第三阶段：大模型技术 (周五-周末) +- [ ] 学习RAG技术原理 +- [ ] 掌握提示词工程技巧 +- [ ] 探索故障诊断应用场景 + +## 预期学习成果 + +### 知识掌握目标 +1. **Spark技术栈**: 具备Spark应用开发和性能优化能力 +2. **分布式理论**: 理解分布式系统设计原理和容错机制 +3. **大模型应用**: 掌握RAG技术和提示词优化方法 +4. **故障检测**: 了解大模型在运维领域的应用潜力 + +### 本周交付物 +1. **学习笔记**: Spark技术要点和分布式系统理论总结 +2. **实践代码**: Spark编程练习和性能测试案例 +3. **技术调研**: RAG技术在故障检测中的应用方案 +4. **问题清单**: 学习过程中遇到的技术难点和解决方案 + +## 风险评估与应对 + +### 潜在挑战 +1. **技术复杂度**: Spark和分布式系统理论较为复杂 +2. **时间安排**: 学习内容较多，需要合理分配时间 +3. **实践环境**: 可能缺乏充足的实验环境 + +### 应对策略 +1. **重点突破**: 优先掌握核心概念，逐步深入细节 +2. **理论结合实践**: 边学习边动手实验，加深理解 +3. **团队协作**: 与小组成员交流学习心得，互相帮助 + +## 下周展望 + +基于本周的学习成果，下周将参与团队的环境搭建工作，重点负责Spark集群的部署和配置，为故障演练和数据收集做好准备。 + +--- + +**备注**: 本计划将根据实际学习进度进行动态调整，确保学习质量和项目进度的平衡。如遇到技术难点，将及时与团队成员和指导老师沟通。 \ No newline at end of file -- 2.34.1 From 3492bf9fbead28afe1424b69a585ca14225a3f56 Mon Sep 17 00:00:00 2001 From: xingyuanxin Date: Mon, 13 Oct 2025 22:26:22 +0800 Subject: [PATCH 10/12] Add xingyuanxin weekly plan for week 4 --- .../members/xingyuanxin-weekly-plan-4.md | 257 ++++++++++++++++++ 1 file changed, 257 insertions(+) create mode 100644 doc/process/weekly/week-4/members/xingyuanxin-weekly-plan-4.md diff --git a/doc/process/weekly/week-4/members/xingyuanxin-weekly-plan-4.md b/doc/process/weekly/week-4/members/xingyuanxin-weekly-plan-4.md new file mode 100644 index 0000000..ceeb51c --- /dev/null +++ b/doc/process/weekly/week-4/members/xingyuanxin-weekly-plan-4.md @@ -0,0 +1,257 @@ +# 邢远鑫第4周个人学习计划 + +## 个人基本信息 +- **姓名**: 邢远鑫 +- **周次**: 第4周 +- **学习时间**: 每日19:00-22:00（3小时/天） +- **项目**: 大模型数据平台故障检测项目 + +## 本周核心目标 + +### 优先级排序 +1. **【高优先级】** 掌握Hadoop生态系统基础知识和架构原理 +2. **【高优先级】** 完成虚拟机环境搭建和基础配置 +3. **【中优先级】** 学习分布式系统故障检测理论基础 +4. **【中优先级】** 了解大模型RAG技术在运维中的应用 +5. **【低优先级】** 初步接触提示词工程和大模型调用方法 + +## 每日计划分解 + +### 周一（Day 1）- Hadoop基础理论学习 +**时间**: 19:00-22:00 + +#### 主要任务 +- **任务1**: HDFS架构原理学习 + - **预期产出**: HDFS核心概念笔记（NameNode、DataNode、Block机制） + - **时间分配**: 1.5小时 + - **依赖资源**: 《Hadoop权威指南》第3-4章、Apache官方文档 + +- **任务2**: MapReduce计算模型理解 + - **预期产出**: MapReduce工作流程图解和代码示例分析 + - **时间分配**: 1小时 + - **依赖资源**: Hadoop官方教程、WordCount示例代码 + +- **任务3**: 环境准备规划 + - **预期产出**: 虚拟机配置方案和软件清单 + - **时间分配**: 0.5小时 + - **依赖资源**: VMware/VirtualBox、Linux镜像文件 + +### 周二（Day 2）- 虚拟机环境搭建 +**时间**: 19:00-22:00 + +#### 主要任务 +- **任务1**: Linux虚拟机安装配置 + - **预期产出**: 3台CentOS虚拟机（1GB内存/台） + - **时间分配**: 2小时 + - **依赖资源**: CentOS 7镜像、虚拟化软件 + +- **任务2**: 网络配置和SSH设置 + - **预期产出**: 虚拟机间免密SSH连接 + - **时间分配**: 0.5小时 + - **依赖资源**: 网络配置文档 + +- **任务3**: Java环境安装 + - **预期产出**: 所有虚拟机完成JDK 1.8安装和环境变量配置 + - **时间分配**: 0.5小时 + - **依赖资源**: OpenJDK 1.8安装包 + +### 周三（Day 3）- Hadoop集群部署 +**时间**: 19:00-22:00 + +#### 主要任务 +- **任务1**: Hadoop软件下载和解压 + - **预期产出**: 所有节点完成Hadoop 3.x安装 + - **时间分配**: 0.5小时 + - **依赖资源**: Hadoop官方下载包 + +- **任务2**: 集群配置文件设置 + - **预期产出**: core-site.xml、hdfs-site.xml等配置文件 + - **时间分配**: 1.5小时 + - **依赖资源**: Hadoop配置文档、集群规划方案 + +- **任务3**: 集群启动和验证测试 + - **预期产出**: 成功启动HDFS集群并通过基础功能测试 + - **时间分配**: 1小时 + - **依赖资源**: Hadoop命令行工具、测试数据 + +### 周四（Day 4）- 分布式系统理论学习 +**时间**: 19:00-22:00 + +#### 主要任务 +- **任务1**: 分布式一致性算法学习 + - **预期产出**: Raft和Paxos算法原理总结 + - **时间分配**: 1.5小时 + - **依赖资源**: 《设计数据密集型应用》相关章节、论文资料 + +- **任务2**: CAP定理和BASE理论理解 + - **预期产出**: 分布式系统权衡策略分析笔记 + - **时间分配**: 1小时 + - **依赖资源**: 分布式系统教材、在线资源 + +- **任务3**: 故障检测方法调研 + - **预期产出**: 传统故障检测方法vs大模型方法对比分析 + - **时间分配**: 0.5小时 + - **依赖资源**: 学术论文、技术博客 + +### 周五（Day 5）- 大模型技术初探 +**时间**: 19:00-22:00 + +#### 主要任务 +- **任务1**: RAG技术原理学习 + - **预期产出**: RAG架构图和应用场景总结 + - **时间分配**: 1.5小时 + - **依赖资源**: RAG技术论文、开源项目文档 + +- **任务2**: 提示词工程基础 + - **预期产出**: 故障检测场景的提示词模板设计 + - **时间分配**: 1小时 + - **依赖资源**: 提示词工程教程、GPT最佳实践 + +- **任务3**: 周总结和下周规划 + - **预期产出**: 本周学习成果总结和问题清单 + - **时间分配**: 0.5小时 + - **依赖资源**: 本周学习笔记和实践记录 + +## 学习/提升计划 + +### 专业技能学习内容 + +#### 核心技术栈 +1. **大数据平台技术** + - Hadoop生态系统（HDFS、MapReduce、YARN） + - Apache Spark基础概念 + - Hive数据仓库简介 + +2. **分布式系统理论** + - 分布式一致性和容错机制 + - 数据分片和副本策略 + - 分布式存储系统设计原理 + +3. **大模型应用技术** + - RAG（检索增强生成）技术 + - 提示词工程和优化方法 + - 大模型在运维场景的应用案例 + +### 学习时间安排 +- **工作日**: 每日19:00-22:00（3小时） +- **周末**: 根据需要进行补充学习和实践 +- **总计**: 本周预计15小时理论学习 + 实践操作时间 + +### 学习资源配置 +- **书籍**: 《Hadoop权威指南》、《设计数据密集型应用》 +- **文档**: Apache官方文档、技术博客 +- **视频**: 相关技术教程和实践案例 +- **实践**: 虚拟机环境、开源项目代码 + +## 风险管理 + +### 潜在问题预判及应对方案 + +#### 技术风险 +1. **虚拟机资源不足** + - **风险描述**: 硬件配置可能无法支持3台虚拟机同时运行 + - **应对方案**: + - 优先搭建单机伪分布式模式 + - 合理分配内存资源（每台虚拟机512MB起步） + - 必要时采用Docker容器化部署 + +2. **Hadoop配置复杂性** + - **风险描述**: 集群配置涉及多个组件，容易出现配置错误 + - **应对方案**: + - 严格按照官方文档步骤操作 + - 每个配置步骤都进行验证测试 + - 准备回滚方案和配置备份 + +3. **网络连接问题** + - **风险描述**: 虚拟机网络配置可能导致节点间通信失败 + - **应对方案**: + - 提前测试虚拟机网络连通性 + - 准备多种网络配置方案（NAT、桥接模式） + - 记录详细的网络配置步骤 + +#### 学习进度风险 +1. **时间管理挑战** + - **风险描述**: 每日3小时学习时间可能不足以完成所有任务 + - **应对方案**: + - 优先完成核心任务，次要任务可延后 + - 合理调整任务难度和深度 + - 周末时间进行补充学习 + +2. **理论理解困难** + - **风险描述**: 分布式系统理论较为抽象，理解难度大 + - **应对方案**: + - 结合实际案例和图解辅助理解 + - 与团队成员讨论交流 + - 循序渐进，先掌握基础概念 + +## 复盘机制 + +### 每日小结模板 + +#### 完成情况记录 +```markdown +## [日期] 每日学习小结 + +### ✅ 已完成事项 +- [ ] 任务1：具体完成内容和质量评估 +- [ ] 任务2：学习成果和理解程度 +- [ ] 任务3：实践操作结果 + +### ❌ 未完成事项 +- [ ] 任务名称：未完成原因分析 +- [ ] 遇到的具体问题和困难 +- [ ] 需要的额外资源或帮助 + +### 📝 学习收获 +- 新掌握的知识点 +- 实践中的经验总结 +- 对项目理解的深化 + +### 🔄 明日调整 +- 未完成任务的处理方案 +- 学习方法的优化调整 +- 时间分配的重新规划 +``` + +### 周度总结框架 + +#### 周总结结构 +```markdown +## 第4周学习总结报告 + +### 📊 目标达成情况 +- 核心目标完成度统计 +- 各项任务的完成质量评估 +- 超预期完成的内容 + +### 🎯 核心成果 +- **技术能力提升**：具体掌握的技能 +- **环境搭建成果**：实际部署的系统 +- **理论知识积累**：学习的核心概念 +- **问题解决能力**：遇到并解决的技术难题 + +### 🚧 遇到的挑战 +- 技术难点和解决过程 +- 时间管理的问题和改进 +- 学习方法的反思和优化 + +### 📈 下周改进计划 +- 基于本周经验的学习策略调整 +- 需要重点关注的技术领域 +- 团队协作和资源利用优化 + +### 📚 知识体系构建 +- 本周学习内容在整体项目中的定位 +- 与其他技术模块的关联关系 +- 为后续学习奠定的基础 +``` + +### 复盘执行机制 +- **每日复盘**: 22:00-22:15（15分钟） +- **周度复盘**: 周日晚进行深度总结 +- **问题跟踪**: 建立问题清单，持续跟进解决 +- **经验分享**: 与团队成员定期交流学习心得 + +--- + +**备注**: 本计划将根据实际学习进度和遇到的问题进行动态调整，确保在有限的学习时间内最大化学习效果，为大模型数据平台故障检测项目奠定坚实的技术基础。 \ No newline at end of file -- 2.34.1 From 1623e4ea2fb02804de8564ce95e965249d9cc9a3 Mon Sep 17 00:00:00 2001 From: litao <3032679629@qq.com> Date: Mon, 13 Oct 2025 22:38:39 +0800 Subject: [PATCH 11/12] =?UTF-8?q?=E6=9D=8E=E6=B6=9B=E4=B8=AA=E4=BA=BA?= =?UTF-8?q?=E5=91=A8=E8=AE=A1=E5=88=92=E6=8F=90=E4=BA=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../2025.10.10项目启动会议记录 | 49 ++++ .../week-10/group/meeting-minutes-10.md | 0 .../weekly/week-10/group/weekly-plan-10.md | 0 .../weekly/week-10/group/weekly-summary-10.md | 0 .../members/shenyongjia-weekly-plan-10.md | 0 .../members/shenyongjia-weekly-summary-10.md | 0 .../week-11/group/meeting-minutes-11.md | 0 .../weekly/week-11/group/weekly-plan-11.md | 0 .../weekly/week-11/group/weekly-summary-11.md | 0 .../members/shenyongjia-weekly-plan-11.md | 0 .../members/shenyongjia-weekly-summary-11.md | 0 .../week-12/group/meeting-minutes-12.md | 0 .../weekly/week-12/group/weekly-plan-12.md | 0 .../weekly/week-12/group/weekly-summary-12.md | 0 .../members/shenyongjia-weekly-plan-12.md | 0 .../members/shenyongjia-weekly-summary-12.md | 0 .../week-13/group/meeting-minutes-13.md | 0 .../weekly/week-13/group/weekly-plan-13.md | 0 .../weekly/week-13/group/weekly-summary-13.md | 0 .../members/shenyongjia-weekly-plan-13.md | 0 .../members/shenyongjia-weekly-summary-13.md | 0 .../week-14/group/meeting-minutes-14.md | 0 .../weekly/week-14/group/weekly-plan-14.md | 0 .../weekly/week-14/group/weekly-summary-14.md | 0 .../members/shenyongjia-weekly-plan-14.md | 0 .../members/shenyongjia-weekly-summary-14.md | 0 .../week-15/group/meeting-minutes-15.md | 0 .../weekly/week-15/group/weekly-plan-15.md | 0 .../weekly/week-15/group/weekly-summary-15.md | 0 .../members/shenyongjia-weekly-plan-15.md | 0 .../members/shenyongjia-weekly-summary-15.md | 0 .../weekly/week-4/group/meeting-minutes-4.md | 93 +++++++ .../weekly/week-4/group/weekly-plan-4.md | 169 ++++++++++++ .../weekly/week-4/group/weekly-summary-4.md | 1 + .../week-4/members/litao-weekly-plan-4.md | 163 +++++++++++ .../members/shenyongjia-weekly-plan-4.md | 173 ++++++++++++ .../members/shenyongjia-weekly-summary-4.md | 1 + .../members/xingyuanxin-weekly-plan-4.md | 257 ++++++++++++++++++ .../members/zoujiaxuan-weekly-plan-4.md | 156 +++++++++++ .../weekly/week-5/group/meeting-minutes-5.md | 0 .../weekly/week-5/group/weekly-plan-5.md | 0 .../weekly/week-5/group/weekly-summary-5.md | 0 .../members/shenyongjia-weekly-plan-5.md | 0 .../members/shenyongjia-weekly-summary-5.md | 0 .../weekly/week-6/group/meeting-minutes-6.md | 0 .../weekly/week-6/group/weekly-plan-6.md | 0 .../weekly/week-6/group/weekly-summary-6.md | 0 .../members/shenyongjia-weekly-plan-6.md | 0 .../members/shenyongjia-weekly-summary-6.md | 0 .../weekly/week-7/group/meeting-minutes-7.md | 0 .../weekly/week-7/group/weekly-plan-7.md | 0 .../weekly/week-7/group/weekly-summary-7.md | 0 .../members/shenyongjia-weekly-plan-7.md | 0 .../members/shenyongjia-weekly-summary-7.md | 0 .../weekly/week-8/group/meeting-minutes-8.md | 0 .../weekly/week-8/group/weekly-plan-8.md | 0 .../weekly/week-8/group/weekly-summary-8.md | 0 .../members/shenyongjia-weekly-plan-8.md | 0 .../members/shenyongjia-weekly-summary-8.md | 0 .../weekly/week-9/group/meeting-minutes-9.md | 0 .../weekly/week-9/group/weekly-plan-9.md | 0 .../weekly/week-9/group/weekly-summary-9.md | 0 .../members/shenyongjia-weekly-plan-9.md | 0 .../members/shenyongjia-weekly-summary-9.md | 0 src/README.md | 0 65 files changed, 1062 insertions(+) create mode 100644 doc/process/meeting/2025.10.10项目启动会议记录 create mode 100644 doc/process/weekly/week-10/group/meeting-minutes-10.md create mode 100644 doc/process/weekly/week-10/group/weekly-plan-10.md create mode 100644 doc/process/weekly/week-10/group/weekly-summary-10.md create mode 100644 doc/process/weekly/week-10/members/shenyongjia-weekly-plan-10.md create mode 100644 doc/process/weekly/week-10/members/shenyongjia-weekly-summary-10.md create mode 100644 doc/process/weekly/week-11/group/meeting-minutes-11.md create mode 100644 doc/process/weekly/week-11/group/weekly-plan-11.md create mode 100644 doc/process/weekly/week-11/group/weekly-summary-11.md create mode 100644 doc/process/weekly/week-11/members/shenyongjia-weekly-plan-11.md create mode 100644 doc/process/weekly/week-11/members/shenyongjia-weekly-summary-11.md create mode 100644 doc/process/weekly/week-12/group/meeting-minutes-12.md create mode 100644 doc/process/weekly/week-12/group/weekly-plan-12.md create mode 100644 doc/process/weekly/week-12/group/weekly-summary-12.md create mode 100644 doc/process/weekly/week-12/members/shenyongjia-weekly-plan-12.md create mode 100644 doc/process/weekly/week-12/members/shenyongjia-weekly-summary-12.md create mode 100644 doc/process/weekly/week-13/group/meeting-minutes-13.md create mode 100644 doc/process/weekly/week-13/group/weekly-plan-13.md create mode 100644 doc/process/weekly/week-13/group/weekly-summary-13.md create mode 100644 doc/process/weekly/week-13/members/shenyongjia-weekly-plan-13.md create mode 100644 doc/process/weekly/week-13/members/shenyongjia-weekly-summary-13.md create mode 100644 doc/process/weekly/week-14/group/meeting-minutes-14.md create mode 100644 doc/process/weekly/week-14/group/weekly-plan-14.md create mode 100644 doc/process/weekly/week-14/group/weekly-summary-14.md create mode 100644 doc/process/weekly/week-14/members/shenyongjia-weekly-plan-14.md create mode 100644 doc/process/weekly/week-14/members/shenyongjia-weekly-summary-14.md create mode 100644 doc/process/weekly/week-15/group/meeting-minutes-15.md create mode 100644 doc/process/weekly/week-15/group/weekly-plan-15.md create mode 100644 doc/process/weekly/week-15/group/weekly-summary-15.md create mode 100644 doc/process/weekly/week-15/members/shenyongjia-weekly-plan-15.md create mode 100644 doc/process/weekly/week-15/members/shenyongjia-weekly-summary-15.md create mode 100644 doc/process/weekly/week-4/group/meeting-minutes-4.md create mode 100644 doc/process/weekly/week-4/group/weekly-plan-4.md create mode 100644 doc/process/weekly/week-4/group/weekly-summary-4.md create mode 100644 doc/process/weekly/week-4/members/litao-weekly-plan-4.md create mode 100644 doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md create mode 100644 doc/process/weekly/week-4/members/shenyongjia-weekly-summary-4.md create mode 100644 doc/process/weekly/week-4/members/xingyuanxin-weekly-plan-4.md create mode 100644 doc/process/weekly/week-4/members/zoujiaxuan-weekly-plan-4.md create mode 100644 doc/process/weekly/week-5/group/meeting-minutes-5.md create mode 100644 doc/process/weekly/week-5/group/weekly-plan-5.md create mode 100644 doc/process/weekly/week-5/group/weekly-summary-5.md create mode 100644 doc/process/weekly/week-5/members/shenyongjia-weekly-plan-5.md create mode 100644 doc/process/weekly/week-5/members/shenyongjia-weekly-summary-5.md create mode 100644 doc/process/weekly/week-6/group/meeting-minutes-6.md create mode 100644 doc/process/weekly/week-6/group/weekly-plan-6.md create mode 100644 doc/process/weekly/week-6/group/weekly-summary-6.md create mode 100644 doc/process/weekly/week-6/members/shenyongjia-weekly-plan-6.md create mode 100644 doc/process/weekly/week-6/members/shenyongjia-weekly-summary-6.md create mode 100644 doc/process/weekly/week-7/group/meeting-minutes-7.md create mode 100644 doc/process/weekly/week-7/group/weekly-plan-7.md create mode 100644 doc/process/weekly/week-7/group/weekly-summary-7.md create mode 100644 doc/process/weekly/week-7/members/shenyongjia-weekly-plan-7.md create mode 100644 doc/process/weekly/week-7/members/shenyongjia-weekly-summary-7.md create mode 100644 doc/process/weekly/week-8/group/meeting-minutes-8.md create mode 100644 doc/process/weekly/week-8/group/weekly-plan-8.md create mode 100644 doc/process/weekly/week-8/group/weekly-summary-8.md create mode 100644 doc/process/weekly/week-8/members/shenyongjia-weekly-plan-8.md create mode 100644 doc/process/weekly/week-8/members/shenyongjia-weekly-summary-8.md create mode 100644 doc/process/weekly/week-9/group/meeting-minutes-9.md create mode 100644 doc/process/weekly/week-9/group/weekly-plan-9.md create mode 100644 doc/process/weekly/week-9/group/weekly-summary-9.md create mode 100644 doc/process/weekly/week-9/members/shenyongjia-weekly-plan-9.md create mode 100644 doc/process/weekly/week-9/members/shenyongjia-weekly-summary-9.md create mode 100644 src/README.md diff --git a/doc/process/meeting/2025.10.10项目启动会议记录 b/doc/process/meeting/2025.10.10项目启动会议记录 new file mode 100644 index 0000000..d65262b --- /dev/null +++ b/doc/process/meeting/2025.10.10项目启动会议记录 @@ -0,0 +1,49 @@ +会议记录 + +会议基本信息 + +会议主题：利用大模型进行故障检测的新项目启动会 + +参会人员：李友焕、沈永佳、邢远鑫、邹佳轩、王祖旺、李涛 + +记录方式：AI会议助手实时记录 + +会议助手(00:00): hi，我是你的会议助手，我正在帮你实时记录会议纪要，请安心开会！ + +会议助手(01:31): 李友焕要求复述故障检测需求，显示对需求理解可能存在模糊点，并建议投屏以便更直观讨论。沈永佳确认需求源于点表阶段，暗示该需求可能较为零散或不够系统化。双方快速确认了需求范围，但缺乏具体细节的展开。 + +会议助手(03:48): 李友焕在强调项目难度和现实意义，显然希望激发团队动力，提到大模型方向可行且能带来锻炼。 + +沈永佳在确认文档位置时有些混乱，可能对材料熟悉度不足。 + +双方在投屏细节上反复沟通，显示协作初期存在技术磨合问题。 + +李友焕提到腾讯项目经验时，隐含对当前资源条件的担忧。 + +会议助手(05:53): 李友焕提到与军方的合作因系统敏感性受阻，转而进行预先研究。这显示项目面临合规性挑战，需要迂回推进。他详细剖析了大数据平台的复杂性，从分布式存储到各类组件（如Spark、Hadoop、Elasticsearch），强调大公司通过集中化技术中台管理数据流。其举例腾讯的实践，暗示当前项目需要类似的系统性支撑，但现有资源可能不足。 + +会议助手(08:06): 李友焕详细列举了大数据平台运行中可能出现的各类故障场景，包括内存溢出、资源分配异常、权限问题、数据误删等，凸显了复杂系统故障定位的困难性。他强调当前依赖人工排查的方式效率低下，暗示需要引入大模型等智能化手段来优化故障诊断流程。 + +会议助手(10:14): 李友焕提出了利用大模型进行实时监控和自动修复的需求，强调需要精准诊断和工具调用能力。他提到当前依赖人工排查效率低，而大模型可以提前发现问题并解决。但团队对大数据组件经验不足，沈永佳表示仅了解spring boot，暗示技术储备与需求存在差距。 + +会议助手(12:28): 李友焕发现团队成员对大数据组件缺乏经验，这反而被视为学习机会，他建议从HDFS和Hadoop入手，逐步学习Spark和Hive，强调这些技能在工业界仍有广泛应用。他计划分享学习资料并指导实践，但显然意识到学习曲线可能较陡。 + +从之前的讨论来看，团队似乎正在探索如何利用大模型进行系统监控和问题修复，但当前的技术储备明显不足。 + +会议助手(14:41): 李友焕强调大数据工程师必须掌握HDFS、Hadoop等分布式系统技能，建议通过虚拟机搭建环境进行实战演练，并推荐了林子雨的线上课程作为学习资源。 + +他提出通过人为制造错误来测试大模型的监控和修复能力，认为这是展示项目能力的有效方式。 + +沈永佳全程以简短回应表示认同，显示讨论呈现单向指导性质。 + +会议助手(17:01): 李友焕强调学习大模型和提示词优化的重要性，认为这是未来工作中无法绕开的技能，建议用3-4天集中学习。他提到之前学生因代码量不足被质疑，但大模型项目的核心难点早已解决。 + +沈永佳表示问题会在学习过程中出现，显示出对学习过程的务实态度。李友焕进一步说明这个项目对他的硕士生也在进行，透露出他希望学生能真正学到东西的初衷，即使效果不如预期也能接受。 + +会议助手(19:06): 李友焕强调大模型项目的评估重点已从代码量转向实际应用，表明团队方向正从技术实现转向价值落地。他决定重新接手部分项目，并建议团队集中学习大模型相关技能。值得注意的是，此前因考核标准偏差导致学生保研受挫的经历，似乎促使他更注重项目实效性而非形式指标。 + +后续对话显示学生正在处理会议录制和纪要等技术问题，但讨论较为零散，可能侧面反映团队在协作流程上仍需磨合。 + +记录时间：会议全程 + +记录状态：完整 \ No newline at end of file diff --git a/doc/process/weekly/week-10/group/meeting-minutes-10.md b/doc/process/weekly/week-10/group/meeting-minutes-10.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-10/group/weekly-plan-10.md b/doc/process/weekly/week-10/group/weekly-plan-10.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-10/group/weekly-summary-10.md b/doc/process/weekly/week-10/group/weekly-summary-10.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-10/members/shenyongjia-weekly-plan-10.md b/doc/process/weekly/week-10/members/shenyongjia-weekly-plan-10.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-10/members/shenyongjia-weekly-summary-10.md b/doc/process/weekly/week-10/members/shenyongjia-weekly-summary-10.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-11/group/meeting-minutes-11.md b/doc/process/weekly/week-11/group/meeting-minutes-11.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-11/group/weekly-plan-11.md b/doc/process/weekly/week-11/group/weekly-plan-11.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-11/group/weekly-summary-11.md b/doc/process/weekly/week-11/group/weekly-summary-11.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-11/members/shenyongjia-weekly-plan-11.md b/doc/process/weekly/week-11/members/shenyongjia-weekly-plan-11.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-11/members/shenyongjia-weekly-summary-11.md b/doc/process/weekly/week-11/members/shenyongjia-weekly-summary-11.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-12/group/meeting-minutes-12.md b/doc/process/weekly/week-12/group/meeting-minutes-12.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-12/group/weekly-plan-12.md b/doc/process/weekly/week-12/group/weekly-plan-12.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-12/group/weekly-summary-12.md b/doc/process/weekly/week-12/group/weekly-summary-12.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-12/members/shenyongjia-weekly-plan-12.md b/doc/process/weekly/week-12/members/shenyongjia-weekly-plan-12.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-12/members/shenyongjia-weekly-summary-12.md b/doc/process/weekly/week-12/members/shenyongjia-weekly-summary-12.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-13/group/meeting-minutes-13.md b/doc/process/weekly/week-13/group/meeting-minutes-13.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-13/group/weekly-plan-13.md b/doc/process/weekly/week-13/group/weekly-plan-13.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-13/group/weekly-summary-13.md b/doc/process/weekly/week-13/group/weekly-summary-13.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-13/members/shenyongjia-weekly-plan-13.md b/doc/process/weekly/week-13/members/shenyongjia-weekly-plan-13.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-13/members/shenyongjia-weekly-summary-13.md b/doc/process/weekly/week-13/members/shenyongjia-weekly-summary-13.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-14/group/meeting-minutes-14.md b/doc/process/weekly/week-14/group/meeting-minutes-14.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-14/group/weekly-plan-14.md b/doc/process/weekly/week-14/group/weekly-plan-14.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-14/group/weekly-summary-14.md b/doc/process/weekly/week-14/group/weekly-summary-14.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-14/members/shenyongjia-weekly-plan-14.md b/doc/process/weekly/week-14/members/shenyongjia-weekly-plan-14.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-14/members/shenyongjia-weekly-summary-14.md b/doc/process/weekly/week-14/members/shenyongjia-weekly-summary-14.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-15/group/meeting-minutes-15.md b/doc/process/weekly/week-15/group/meeting-minutes-15.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-15/group/weekly-plan-15.md b/doc/process/weekly/week-15/group/weekly-plan-15.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-15/group/weekly-summary-15.md b/doc/process/weekly/week-15/group/weekly-summary-15.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-15/members/shenyongjia-weekly-plan-15.md b/doc/process/weekly/week-15/members/shenyongjia-weekly-plan-15.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-15/members/shenyongjia-weekly-summary-15.md b/doc/process/weekly/week-15/members/shenyongjia-weekly-summary-15.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-4/group/meeting-minutes-4.md b/doc/process/weekly/week-4/group/meeting-minutes-4.md new file mode 100644 index 0000000..d27c8ce --- /dev/null +++ b/doc/process/weekly/week-4/group/meeting-minutes-4.md @@ -0,0 +1,93 @@ +# 第四周小组会议纪要 + +## 会议基本信息 +- **会议时间**: 第四周 +- **会议主题**: 大模型数据平台故障检测项目启动会议 +- **参会人员**: 项目指导老师:李友焕、项目小组全体成员:沈永佳,邢远鑫,邹佳轩,王祖旺,李涛 + +## 会议内容 + +### 1. 项目背景介绍 + +本次会议正式启动了利用大模型进行数据平台故障检测的研究课题，明确了项目的核心目标和应用价值。 + +### 2. 核心项目背景与需求 + +#### 项目目标 +利用大模型技术对复杂的大数据平台进行故障检测与自动修复，提升运维效率和自动化水平。 + +#### 应用场景 +- **目标平台**: Hadoop、Spark等复杂分布式系统 +- **故障类型**: + - 磁盘损坏 + - 内存泄漏 + - 进程崩溃 + - 其他系统级故障 + +#### 核心价值 +通过大模型技术替代传统的"老师傅"式经验排查模式，实现： +- 更快速的问题发现 +- 自动化的故障诊断 +- 智能化的修复建议 +- 提高整体运维效率 + +### 3. 项目实现路径 + +#### 前期任务 +1. **技术储备**: 深入学习和实践Hadoop、Spark、Hive等大数据组件 +2. **环境搭建**: 自行部署测试环境 +3. **故障模拟**: 在环境中主动引发各类故障，积累真实案例作为训练样本 + +#### 模拟测试策略 +- 预设各类错误场景（如定时杀死进程、填满磁盘空间等） +- 验证大模型的监控能力 +- 测试故障分析和工具调用的有效性 +- 评估自动修复功能的可靠性 + +#### 前期准备工作 +- 学习大模型的IAG（指令跟随）技术 +- 掌握提示词优化相关技能 +- 熟悉RAG（检索增强生成）技术 + +## 行动计划 + +### 1. 大数据平台知识储备 +- 查阅项目文档中的相关资料链接 +- 自主学习HDFS、Hadoop等核心大数据组件 +- 深入理解分布式系统架构和常见故障模式 + +### 2. 实践环境搭建与故障演练 +- **硬件配置**: 准备3-5台虚拟机，每台配置1GB内存 +- **软件部署**: 搭建Hadoop/HDFS集群环境 +- **故障演练**: 手动制造或触发各类运行错误 +- **数据收集**: 为后续模型测试准备充足的故障案例 + +### 3. 技术学习重点 +- HDFS分布式文件系统 +- Hadoop生态系统 +- Spark计算引擎 +- Hive数据仓库 +- **分布式存储系统理论** + - 分布式一致性算法（Raft、Paxos） + - 数据分片和副本策略 + - 存储系统容错机制 +- **计算模式理论** + - 批处理计算模式（MapReduce） + - 流式计算模式（Storm、Flink） + - 内存计算模式（Spark） + - 混合计算模式和Lambda架构 +- **图数据库理论** + - 图数据模型和查询语言 + - 图算法和图计算框架 + - Neo4j、Apache Giraph等图数据库技术 + - 图数据在故障关联分析中的应用 +- 大模型RAG技术 +- 提示词工程优化 + +## 下周工作安排 + +第四周将根据既定学习计划进行自主学习，重点完成以上待办事项，为项目后续阶段奠定坚实基础。 + +## 会议总结 + +本次会议成功明确了项目方向和技术路线，为团队成员指明了学习重点和实践方向。通过系统性的准备工作，我们将为大模型在故障检测领域的应用探索奠定良好基础。 \ No newline at end of file diff --git a/doc/process/weekly/week-4/group/weekly-plan-4.md b/doc/process/weekly/week-4/group/weekly-plan-4.md new file mode 100644 index 0000000..6bbaa8e --- /dev/null +++ b/doc/process/weekly/week-4/group/weekly-plan-4.md @@ -0,0 +1,169 @@ +# 第四周小组周计划 + +## 计划概述 + +本周是大模型数据平台故障检测项目的启动周，主要任务是进行前期知识储备和技术准备，为后续的实践开发奠定坚实基础。 + +## 学习目标 + +### 主要目标 +1. **掌握大数据平台核心技术**: 深入理解Hadoop、Spark、Hive等关键组件 +2. **了解故障检测需求**: 明确分布式系统常见故障类型和检测方法 +3. **学习大模型相关技术**: 掌握RAG、提示词优化等核心技能 +4. **制定实践方案**: 为环境搭建和故障演练做好准备 + +### 具体学习内容 + +#### 1. 大数据平台技术栈 +- **HDFS (Hadoop分布式文件系统)** + - 架构原理和核心组件 + - 数据存储和副本机制 + - 常见故障模式分析 + +- **Hadoop生态系统** + - MapReduce计算框架 + - YARN资源管理 + - 集群部署和配置 + +- **Apache Spark** + - 内存计算原理 + - RDD和DataFrame操作 + - 性能优化策略 + +- **Apache Hive** + - 数据仓库架构 + - SQL查询引擎 + - 元数据管理 + +- **分布式存储系统理论** + - 分布式一致性算法（Raft、Paxos、PBFT） + - CAP定理和BASE理论 + - 数据分片策略（Range、Hash、Directory） + - 副本管理和数据同步机制 + - 存储系统容错和恢复机制 + - 分布式锁和事务处理 + +- **计算模式理论** + - 批处理计算模式（MapReduce、Hadoop） + - 流式计算模式（Storm、Flink、Kafka Streams） + - 内存计算模式（Spark、Hazelcast） + - 混合计算模式和Lambda架构 + - 边缘计算和雾计算模式 + - 无服务器计算（Serverless）模式 + +- **图数据库理论** + - 图数据模型和图论基础 + - 图查询语言（Cypher、Gremlin、SPARQL） + - 图算法（最短路径、社区发现、中心性分析） + - 图计算框架（Apache Giraph、GraphX、Pregel） + - 图数据库技术（Neo4j、ArangoDB、JanusGraph） + - 图数据在故障关联分析和根因分析中的应用 + +#### 2. 大模型技术学习 +- **RAG (检索增强生成)** + - 技术原理和应用场景 + - 向量数据库使用 + - 知识库构建方法 + +- **提示词工程** + - 提示词设计原则 + - 上下文优化技巧 + - 指令跟随(IAG)技术 + +- **模型调用和集成** + - API接口使用 + - 工具链集成方案 + - 自动化流程设计 + +## 本周具体任务 + +### 第一阶段：理论学习 (周一-周三) + +#### 任务1: 大数据平台基础学习 +- [ ] 阅读Hadoop官方文档，理解HDFS架构 +- [ ] 学习Spark核心概念和编程模型 +- [ ] 研究Hive数据仓库解决方案 +- [ ] 学习分布式存储系统理论（一致性算法、CAP定理、数据分片策略） +- [ ] 掌握各种计算模式（批处理、流式、内存计算、Lambda架构） +- [ ] 研究图数据库理论和图算法基础 +- [ ] 整理常见故障类型和解决方案 + +#### 任务2: 大模型技术研究 +- [ ] 学习RAG技术原理和实现方法 +- [ ] 研究提示词优化最佳实践 +- [ ] 了解大模型在运维领域的应用案例 +- [ ] 探索自动化故障诊断的可能性 +- [ ] 研究图数据库在故障关联分析中的应用 +- [ ] 学习分布式系统故障检测的理论基础 + +### 第二阶段：方案设计 (周四-周五) + +#### 任务3: 环境规划 +- [ ] 设计虚拟机集群架构（3-5台，每台1GB内存） +- [ ] 制定Hadoop/HDFS部署方案 +- [ ] 规划故障模拟测试场景 +- [ ] 准备环境搭建所需资源 + +#### 任务4: 项目方案制定 +- [ ] 设计故障检测系统架构 +- [ ] 制定数据收集和标注策略 +- [ ] 规划模型训练和测试流程 +- [ ] 确定技术选型和工具链 + +## 学习资源 + +### 官方文档 +- [Apache Hadoop官方文档](https://hadoop.apache.org/docs/) +- [Apache Spark官方指南](https://spark.apache.org/docs/latest/) +- [Apache Hive用户手册](https://hive.apache.org/docs/) + +### 推荐学习材料 +- 《Hadoop权威指南》 +- 《Spark快速大数据分析》 +- 《分布式系统概念与设计》 +- 《图数据库》（Ian Robinson著） +- 《设计数据密集型应用》（Martin Kleppmann著） +- 大模型RAG技术博客和论文 +- 提示词工程实践案例 +- Neo4j官方文档和图算法指南 +- 分布式一致性算法论文（Raft、Paxos） + +### 实践环境 +- 虚拟化平台（VMware/VirtualBox） +- Linux操作系统（CentOS/Ubuntu） +- Java开发环境 +- Python数据科学工具栈 + +## 预期成果 + +### 本周交付物 +1. **学习笔记**: 大数据平台和大模型技术要点总结 +2. **环境方案**: 详细的集群搭建和配置方案 +3. **故障清单**: 常见故障类型和检测方法汇总 +4. **项目规划**: 下阶段实践任务的详细计划 + +### 能力提升目标 +- 具备大数据平台基础运维能力 +- 理解分布式系统故障检测原理 +- 掌握大模型应用开发基础 +- 能够设计故障检测解决方案 + +## 风险与应对 + +### 潜在风险 +1. **学习内容过多**: 大数据技术栈庞大，可能无法在一周内全面掌握 +2. **资源限制**: 虚拟机性能可能影响实践效果 +3. **技术难度**: 大模型集成可能存在技术挑战 + +### 应对策略 +1. **重点突破**: 优先学习核心组件，逐步扩展知识面 +2. **资源优化**: 合理配置虚拟机资源，采用轻量化部署 +3. **团队协作**: 分工合作，发挥各成员技术优势 + +## 下周展望 + +基于本周的学习成果，下周将开始实际的环境搭建和故障演练工作，为大模型训练准备充足的数据样本。 + +--- + +**备注**: 本计划将根据实际学习进度和遇到的问题进行动态调整，确保学习效果和项目进度的平衡。 \ No newline at end of file diff --git a/doc/process/weekly/week-4/group/weekly-summary-4.md b/doc/process/weekly/week-4/group/weekly-summary-4.md new file mode 100644 index 0000000..e743ffa --- /dev/null +++ b/doc/process/weekly/week-4/group/weekly-summary-4.md @@ -0,0 +1 @@ +小组周总结 \ No newline at end of file diff --git a/doc/process/weekly/week-4/members/litao-weekly-plan-4.md b/doc/process/weekly/week-4/members/litao-weekly-plan-4.md new file mode 100644 index 0000000..e4e8176 --- /dev/null +++ b/doc/process/weekly/week-4/members/litao-weekly-plan-4.md @@ -0,0 +1,163 @@ +# 李涛第四周个人学习计划 + +## 个人学习目标 + +基于小组会议确定的项目方向，本周将重点进行大数据平台故障检测相关的理论学习和技术储备，为后续的实践开发奠定坚实基础。 + +## 核心学习任务 + +### 1. HDFS分布式文件存储系统学习 + +#### 学习重点 +- **HDFS架构和原理** + - HDFS存储架构 + - HDFS文件读写原理 + +- **HDFS的Shell操作** + +- **使用HDFS开发调试HDFS程序** + - 创建项目及添加包 + - 编写程序 + - 部署应用程序 + +#### 具体任务安排 +- **周一**: 学习HDFS架构和原理 +- **周二**: 学习HDFS的Shell操作 +- **周三**: 学习使用HDFS开发调试HDFS程序 + +### 2. Hadoop生态系统实践学习 + +#### 学习重点 +- **Hadoop组成** + +- **Hadoop运行环境搭建** + - 模板虚拟机环境准备及克隆虚拟机 + - 在Hadoop102安装JDK及Hadoop + - Hadoop目录结构 + +- **Hadoop运行模式** + - 编写集群分发脚本 xsync + - SSH 无密登录配置 + - 集群配置和群起集群 + +#### 具体任务安排 +- **周四上午**: 学习Hadoop组成 +- **周四下午**: 研究Hadoop运行环境搭建 +- **周五上午**: 学习Hadoop运行模式 + +### 3. 环境搭建和配置实践 + +#### 学习重点 +- **虚拟机环境准备** + - Linux系统安装和基础配置 + - 网络配置和SSH免密登录设置 + - Java环境安装和配置 + +- **Hadoop集群搭建** + - 3-5台虚拟机的集群架构设计 + - Hadoop软件下载、安装和配置 + - 集群启动测试和验证 + +- **环境优化和故障模拟** + - 系统参数调优和性能监控 + - 故障场景设计和模拟测试 + - 日志收集和分析工具配置 + +#### 具体任务安排 +- **周五下午**: 准备虚拟机环境，安装Linux系统和Java环境 +- **周六**: 搭建Hadoop集群，完成基础配置和测试 +- **周日**: 进行故障模拟测试，收集故障数据样本 + +### 4. 理论基础补充学习 + +#### 学习重点（适度了解） +- **分布式系统基础概念** + - 分布式系统的基本特征和挑战 + - 数据一致性和容错机制简介 + +- **大数据处理模式** + - 批处理和流处理的基本概念 + - 大数据处理的常见架构模式 + +- **大模型技术应用** + - RAG技术在运维中的应用场景 + - 提示词工程的基本方法 + +#### 具体任务安排 +- **每日晚间**: 轻量化理论学习，重点关注与实践相关的概念 + +## 学习资源和参考材料 + +### 核心书籍 +1. 《Hadoop权威指南》- 大数据平台技术详解和实践指导 +2. 《Hadoop实战》- 实际项目开发和部署经验 +3. 《HDFS源码分析与开发实战》- 深入理解HDFS内部机制 +4. 《大数据技术原理与应用》- 大数据生态系统概览 + +### 技术文档和官方资料 +1. Apache Hadoop官方文档和配置指南 +2. HDFS架构设计文档和最佳实践 +3. Hadoop集群部署和运维手册 +4. MapReduce编程指南和示例代码 + +### 在线资源和实践教程 +1. Hadoop官方教程和快速入门指南 +2. HDFS命令行操作和管理实践 +3. 虚拟机环境搭建视频教程 +4. Hadoop故障排查和性能优化案例 + +## 学习成果和交付物 + +### 本周预期成果 +1. **HDFS实践报告**: HDFS架构理解和配置实践总结 +2. **Hadoop集群搭建文档**: 详细的集群部署步骤和配置说明 +3. **环境配置手册**: 虚拟机环境准备和优化配置指南 +4. **故障模拟测试报告**: 故障场景设计和测试结果分析 +5. **MapReduce程序示例**: 完成的WordCount等基础程序代码 + +### 能力提升目标 +- 熟练掌握HDFS的架构原理和操作管理 +- 具备Hadoop集群的部署和运维能力 +- 能够进行基本的MapReduce程序开发 +- 掌握虚拟机环境配置和故障模拟技能 +- 为后续的故障检测系统开发做好环境准备 + +## 学习计划执行策略 + +### 时间安排 +- **工作日**: 每日4-5小时专注学习和实践时间 +- **周末**: 每日6-8小时集中进行环境搭建和配置实践 +- **总计**: 本周预计投入35-40小时学习和实践时间 + +### 学习方法 +1. **理论与实践结合**: 边学习理论边进行实际操作验证 +2. **环境搭建优先**: 优先完成虚拟机和Hadoop环境配置 +3. **循序渐进**: 从单机模式开始，逐步搭建分布式集群 +4. **问题驱动**: 通过解决实际配置问题加深理解 +5. **文档记录**: 详细记录配置步骤和遇到的问题解决方案 + +### 进度跟踪 +- 每日记录环境配置进度和遇到的技术问题 +- 每完成一个配置阶段进行功能测试验证 +- 每两天与小组成员分享配置经验和问题解决方案 +- 周末进行阶段性总结和下周环境优化计划 + +## 风险预案 + +### 潜在挑战 +1. **环境配置复杂**: Hadoop集群配置涉及多个组件，可能遇到兼容性问题 +2. **虚拟机资源限制**: 硬件资源可能不足以支持完整的分布式集群 +3. **网络配置难题**: 虚拟机网络配置和SSH连接可能出现问题 +4. **版本兼容性**: 不同版本的Hadoop、Java可能存在兼容性问题 + +### 应对策略 +1. **分步骤配置**: 先完成单机模式，再逐步扩展到伪分布式和完全分布式 +2. **资源优化**: 合理分配虚拟机资源，采用轻量化配置方案 +3. **文档参考**: 严格按照官方文档和成熟教程进行配置 +4. **版本统一**: 选择稳定的版本组合，避免使用最新的不稳定版本 +5. **问题记录**: 详细记录遇到的问题和解决方案，建立个人知识库 +6. **团队协作**: 与小组成员共享配置经验，互相帮助解决技术难题 + +--- + +**备注**: 本计划将根据实际环境配置进度和遇到的技术问题进行动态调整，优先确保Hadoop环境的成功搭建和基本功能验证，为后续的故障检测项目奠定坚实的技术基础。 \ No newline at end of file diff --git a/doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md b/doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md new file mode 100644 index 0000000..569345d --- /dev/null +++ b/doc/process/weekly/week-4/members/shenyongjia-weekly-plan-4.md @@ -0,0 +1,173 @@ +# 沈永佳第四周个人学习计划 + +## 个人学习目标 + +基于小组会议确定的项目方向，本周将重点进行大数据平台故障检测相关的理论学习和技术储备，为后续的实践开发奠定坚实基础。 + +## 核心学习任务 + +### 1. HDFS分布式文件系统深入学习 + +#### 学习重点 +- **HDFS架构和核心组件** + - NameNode和DataNode的工作原理 + - Secondary NameNode的作用和机制 + - HDFS的数据存储和读写流程 + - 块(Block)机制和副本策略 + +- **HDFS配置和管理** + - HDFS配置文件详解(core-site.xml, hdfs-site.xml) + - 集群启动和关闭流程 + - HDFS命令行操作和管理 + - 安全模式和故障恢复 + +- **HDFS性能优化** + - 数据本地性优化 + - 负载均衡配置 + - 存储策略和压缩 + - 监控和日志分析 + +#### 具体任务安排 +- **周一**: 深入学习HDFS架构原理，理解NameNode和DataNode机制 +- **周二**: 实践HDFS配置文件设置和集群管理操作 +- **周三**: 学习HDFS性能优化和故障排查方法 + +### 2. Hadoop生态系统实践学习 + +#### 学习重点 +- **Hadoop核心组件** + - MapReduce计算框架原理和编程模型 + - YARN资源管理和任务调度 + - Hadoop Common工具库使用 + +- **Hadoop集群部署** + - 单机模式、伪分布式模式、完全分布式模式 + - 集群规划和硬件配置要求 + - 网络配置和安全设置 + +- **Hadoop运维管理** + - 集群监控和性能调优 + - 日志管理和问题诊断 + - 备份和恢复策略 + +#### 具体任务安排 +- **周四上午**: 学习MapReduce编程模型，编写简单的WordCount程序 +- **周四下午**: 研究YARN资源管理机制和任务调度策略 +- **周五上午**: 实践Hadoop集群部署和配置优化 + +### 3. 环境搭建和配置实践 + +#### 学习重点 +- **虚拟机环境准备** + - Linux系统安装和基础配置 + - 网络配置和SSH免密登录设置 + - Java环境安装和配置 + +- **Hadoop集群搭建** + - 3-5台虚拟机的集群架构设计 + - Hadoop软件下载、安装和配置 + - 集群启动测试和验证 + +- **环境优化和故障模拟** + - 系统参数调优和性能监控 + - 故障场景设计和模拟测试 + - 日志收集和分析工具配置 + +#### 具体任务安排 +- **周五下午**: 准备虚拟机环境，安装Linux系统和Java环境 +- **周六**: 搭建Hadoop集群，完成基础配置和测试 +- **周日**: 进行故障模拟测试，收集故障数据样本 + +### 4. 理论基础补充学习 + +#### 学习重点（适度了解） +- **分布式系统基础概念** + - 分布式系统的基本特征和挑战 + - 数据一致性和容错机制简介 + +- **大数据处理模式** + - 批处理和流处理的基本概念 + - 大数据处理的常见架构模式 + +- **大模型技术应用** + - RAG技术在运维中的应用场景 + - 提示词工程的基本方法 + +#### 具体任务安排 +- **每日晚间**: 轻量化理论学习，重点关注与实践相关的概念 + +## 学习资源和参考材料 + +### 核心书籍 +1. 《Hadoop权威指南》- 大数据平台技术详解和实践指导 +2. 《Hadoop实战》- 实际项目开发和部署经验 +3. 《HDFS源码分析与开发实战》- 深入理解HDFS内部机制 +4. 《大数据技术原理与应用》- 大数据生态系统概览 + +### 技术文档和官方资料 +1. Apache Hadoop官方文档和配置指南 +2. HDFS架构设计文档和最佳实践 +3. Hadoop集群部署和运维手册 +4. MapReduce编程指南和示例代码 + +### 在线资源和实践教程 +1. Hadoop官方教程和快速入门指南 +2. HDFS命令行操作和管理实践 +3. 虚拟机环境搭建视频教程 +4. Hadoop故障排查和性能优化案例 + +## 学习成果和交付物 + +### 本周预期成果 +1. **HDFS实践报告**: HDFS架构理解和配置实践总结 +2. **Hadoop集群搭建文档**: 详细的集群部署步骤和配置说明 +3. **环境配置手册**: 虚拟机环境准备和优化配置指南 +4. **故障模拟测试报告**: 故障场景设计和测试结果分析 +5. **MapReduce程序示例**: 完成的WordCount等基础程序代码 + +### 能力提升目标 +- 熟练掌握HDFS的架构原理和操作管理 +- 具备Hadoop集群的部署和运维能力 +- 能够进行基本的MapReduce程序开发 +- 掌握虚拟机环境配置和故障模拟技能 +- 为后续的故障检测系统开发做好环境准备 + +## 学习计划执行策略 + +### 时间安排 +- **工作日**: 每日4-5小时专注学习和实践时间 +- **周末**: 每日6-8小时集中进行环境搭建和配置实践 +- **总计**: 本周预计投入35-40小时学习和实践时间 + +### 学习方法 +1. **理论与实践结合**: 边学习理论边进行实际操作验证 +2. **环境搭建优先**: 优先完成虚拟机和Hadoop环境配置 +3. **循序渐进**: 从单机模式开始，逐步搭建分布式集群 +4. **问题驱动**: 通过解决实际配置问题加深理解 +5. **文档记录**: 详细记录配置步骤和遇到的问题解决方案 + +### 进度跟踪 +- 每日记录环境配置进度和遇到的技术问题 +- 每完成一个配置阶段进行功能测试验证 +- 每两天与小组成员分享配置经验和问题解决方案 +- 周末进行阶段性总结和下周环境优化计划 + +## 风险预案 + +### 潜在挑战 +1. **环境配置复杂**: Hadoop集群配置涉及多个组件，可能遇到兼容性问题 +2. **虚拟机资源限制**: 硬件资源可能不足以支持完整的分布式集群 +3. **网络配置难题**: 虚拟机网络配置和SSH连接可能出现问题 +4. **版本兼容性**: 不同版本的Hadoop、Java可能存在兼容性问题 + +### 应对策略 +1. **分步骤配置**: 先完成单机模式，再逐步扩展到伪分布式和完全分布式 +2. **资源优化**: 合理分配虚拟机资源，采用轻量化配置方案 +3. **文档参考**: 严格按照官方文档和成熟教程进行配置 +4. **版本统一**: 选择稳定的版本组合，避免使用最新的不稳定版本 +5. **问题记录**: 详细记录遇到的问题和解决方案，建立个人知识库 +6. **团队协作**: 与小组成员共享配置经验，互相帮助解决技术难题 + +--- + +**备注**: 本计划将根据实际环境配置进度和遇到的技术问题进行动态调整，优先确保Hadoop环境的成功搭建和基本功能验证，为后续的故障检测项目奠定坚实的技术基础。 \ No newline at end of file diff --git a/doc/process/weekly/week-4/members/shenyongjia-weekly-summary-4.md b/doc/process/weekly/week-4/members/shenyongjia-weekly-summary-4.md new file mode 100644 index 0000000..151ccc2 --- /dev/null +++ b/doc/process/weekly/week-4/members/shenyongjia-weekly-summary-4.md @@ -0,0 +1 @@ +沈永佳个人周总结 \ No newline at end of file diff --git a/doc/process/weekly/week-4/members/xingyuanxin-weekly-plan-4.md b/doc/process/weekly/week-4/members/xingyuanxin-weekly-plan-4.md new file mode 100644 index 0000000..ceeb51c --- /dev/null +++ b/doc/process/weekly/week-4/members/xingyuanxin-weekly-plan-4.md @@ -0,0 +1,257 @@ +# 邢远鑫第4周个人学习计划 + +## 个人基本信息 +- **姓名**: 邢远鑫 +- **周次**: 第4周 +- **学习时间**: 每日19:00-22:00（3小时/天） +- **项目**: 大模型数据平台故障检测项目 + +## 本周核心目标 + +### 优先级排序 +1. **【高优先级】** 掌握Hadoop生态系统基础知识和架构原理 +2. **【高优先级】** 完成虚拟机环境搭建和基础配置 +3. **【中优先级】** 学习分布式系统故障检测理论基础 +4. **【中优先级】** 了解大模型RAG技术在运维中的应用 +5. **【低优先级】** 初步接触提示词工程和大模型调用方法 + +## 每日计划分解 + +### 周一（Day 1）- Hadoop基础理论学习 +**时间**: 19:00-22:00 + +#### 主要任务 +- **任务1**: HDFS架构原理学习 + - **预期产出**: HDFS核心概念笔记（NameNode、DataNode、Block机制） + - **时间分配**: 1.5小时 + - **依赖资源**: 《Hadoop权威指南》第3-4章、Apache官方文档 + +- **任务2**: MapReduce计算模型理解 + - **预期产出**: MapReduce工作流程图解和代码示例分析 + - **时间分配**: 1小时 + - **依赖资源**: Hadoop官方教程、WordCount示例代码 + +- **任务3**: 环境准备规划 + - **预期产出**: 虚拟机配置方案和软件清单 + - **时间分配**: 0.5小时 + - **依赖资源**: VMware/VirtualBox、Linux镜像文件 + +### 周二（Day 2）- 虚拟机环境搭建 +**时间**: 19:00-22:00 + +#### 主要任务 +- **任务1**: Linux虚拟机安装配置 + - **预期产出**: 3台CentOS虚拟机（1GB内存/台） + - **时间分配**: 2小时 + - **依赖资源**: CentOS 7镜像、虚拟化软件 + +- **任务2**: 网络配置和SSH设置 + - **预期产出**: 虚拟机间免密SSH连接 + - **时间分配**: 0.5小时 + - **依赖资源**: 网络配置文档 + +- **任务3**: Java环境安装 + - **预期产出**: 所有虚拟机完成JDK 1.8安装和环境变量配置 + - **时间分配**: 0.5小时 + - **依赖资源**: OpenJDK 1.8安装包 + +### 周三（Day 3）- Hadoop集群部署 +**时间**: 19:00-22:00 + +#### 主要任务 +- **任务1**: Hadoop软件下载和解压 + - **预期产出**: 所有节点完成Hadoop 3.x安装 + - **时间分配**: 0.5小时 + - **依赖资源**: Hadoop官方下载包 + +- **任务2**: 集群配置文件设置 + - **预期产出**: core-site.xml、hdfs-site.xml等配置文件 + - **时间分配**: 1.5小时 + - **依赖资源**: Hadoop配置文档、集群规划方案 + +- **任务3**: 集群启动和验证测试 + - **预期产出**: 成功启动HDFS集群并通过基础功能测试 + - **时间分配**: 1小时 + - **依赖资源**: Hadoop命令行工具、测试数据 + +### 周四（Day 4）- 分布式系统理论学习 +**时间**: 19:00-22:00 + +#### 主要任务 +- **任务1**: 分布式一致性算法学习 + - **预期产出**: Raft和Paxos算法原理总结 + - **时间分配**: 1.5小时 + - **依赖资源**: 《设计数据密集型应用》相关章节、论文资料 + +- **任务2**: CAP定理和BASE理论理解 + - **预期产出**: 分布式系统权衡策略分析笔记 + - **时间分配**: 1小时 + - **依赖资源**: 分布式系统教材、在线资源 + +- **任务3**: 故障检测方法调研 + - **预期产出**: 传统故障检测方法vs大模型方法对比分析 + - **时间分配**: 0.5小时 + - **依赖资源**: 学术论文、技术博客 + +### 周五（Day 5）- 大模型技术初探 +**时间**: 19:00-22:00 + +#### 主要任务 +- **任务1**: RAG技术原理学习 + - **预期产出**: RAG架构图和应用场景总结 + - **时间分配**: 1.5小时 + - **依赖资源**: RAG技术论文、开源项目文档 + +- **任务2**: 提示词工程基础 + - **预期产出**: 故障检测场景的提示词模板设计 + - **时间分配**: 1小时 + - **依赖资源**: 提示词工程教程、GPT最佳实践 + +- **任务3**: 周总结和下周规划 + - **预期产出**: 本周学习成果总结和问题清单 + - **时间分配**: 0.5小时 + - **依赖资源**: 本周学习笔记和实践记录 + +## 学习/提升计划 + +### 专业技能学习内容 + +#### 核心技术栈 +1. **大数据平台技术** + - Hadoop生态系统（HDFS、MapReduce、YARN） + - Apache Spark基础概念 + - Hive数据仓库简介 + +2. **分布式系统理论** + - 分布式一致性和容错机制 + - 数据分片和副本策略 + - 分布式存储系统设计原理 + +3. **大模型应用技术** + - RAG（检索增强生成）技术 + - 提示词工程和优化方法 + - 大模型在运维场景的应用案例 + +### 学习时间安排 +- **工作日**: 每日19:00-22:00（3小时） +- **周末**: 根据需要进行补充学习和实践 +- **总计**: 本周预计15小时理论学习 + 实践操作时间 + +### 学习资源配置 +- **书籍**: 《Hadoop权威指南》、《设计数据密集型应用》 +- **文档**: Apache官方文档、技术博客 +- **视频**: 相关技术教程和实践案例 +- **实践**: 虚拟机环境、开源项目代码 + +## 风险管理 + +### 潜在问题预判及应对方案 + +#### 技术风险 +1. **虚拟机资源不足** + - **风险描述**: 硬件配置可能无法支持3台虚拟机同时运行 + - **应对方案**: + - 优先搭建单机伪分布式模式 + - 合理分配内存资源（每台虚拟机512MB起步） + - 必要时采用Docker容器化部署 + +2. **Hadoop配置复杂性** + - **风险描述**: 集群配置涉及多个组件，容易出现配置错误 + - **应对方案**: + - 严格按照官方文档步骤操作 + - 每个配置步骤都进行验证测试 + - 准备回滚方案和配置备份 + +3. **网络连接问题** + - **风险描述**: 虚拟机网络配置可能导致节点间通信失败 + - **应对方案**: + - 提前测试虚拟机网络连通性 + - 准备多种网络配置方案（NAT、桥接模式） + - 记录详细的网络配置步骤 + +#### 学习进度风险 +1. **时间管理挑战** + - **风险描述**: 每日3小时学习时间可能不足以完成所有任务 + - **应对方案**: + - 优先完成核心任务，次要任务可延后 + - 合理调整任务难度和深度 + - 周末时间进行补充学习 + +2. **理论理解困难** + - **风险描述**: 分布式系统理论较为抽象，理解难度大 + - **应对方案**: + - 结合实际案例和图解辅助理解 + - 与团队成员讨论交流 + - 循序渐进，先掌握基础概念 + +## 复盘机制 + +### 每日小结模板 + +#### 完成情况记录 +```markdown +## [日期] 每日学习小结 + +### ✅ 已完成事项 +- [ ] 任务1：具体完成内容和质量评估 +- [ ] 任务2：学习成果和理解程度 +- [ ] 任务3：实践操作结果 + +### ❌ 未完成事项 +- [ ] 任务名称：未完成原因分析 +- [ ] 遇到的具体问题和困难 +- [ ] 需要的额外资源或帮助 + +### 📝 学习收获 +- 新掌握的知识点 +- 实践中的经验总结 +- 对项目理解的深化 + +### 🔄 明日调整 +- 未完成任务的处理方案 +- 学习方法的优化调整 +- 时间分配的重新规划 +``` + +### 周度总结框架 + +#### 周总结结构 +```markdown +## 第4周学习总结报告 + +### 📊 目标达成情况 +- 核心目标完成度统计 +- 各项任务的完成质量评估 +- 超预期完成的内容 + +### 🎯 核心成果 +- **技术能力提升**：具体掌握的技能 +- **环境搭建成果**：实际部署的系统 +- **理论知识积累**：学习的核心概念 +- **问题解决能力**：遇到并解决的技术难题 + +### 🚧 遇到的挑战 +- 技术难点和解决过程 +- 时间管理的问题和改进 +- 学习方法的反思和优化 + +### 📈 下周改进计划 +- 基于本周经验的学习策略调整 +- 需要重点关注的技术领域 +- 团队协作和资源利用优化 + +### 📚 知识体系构建 +- 本周学习内容在整体项目中的定位 +- 与其他技术模块的关联关系 +- 为后续学习奠定的基础 +``` + +### 复盘执行机制 +- **每日复盘**: 22:00-22:15（15分钟） +- **周度复盘**: 周日晚进行深度总结 +- **问题跟踪**: 建立问题清单，持续跟进解决 +- **经验分享**: 与团队成员定期交流学习心得 + +--- + +**备注**: 本计划将根据实际学习进度和遇到的问题进行动态调整，确保在有限的学习时间内最大化学习效果，为大模型数据平台故障检测项目奠定坚实的技术基础。 \ No newline at end of file diff --git a/doc/process/weekly/week-4/members/zoujiaxuan-weekly-plan-4.md b/doc/process/weekly/week-4/members/zoujiaxuan-weekly-plan-4.md new file mode 100644 index 0000000..a9ee3a5 --- /dev/null +++ b/doc/process/weekly/week-4/members/zoujiaxuan-weekly-plan-4.md @@ -0,0 +1,156 @@ +# 邹佳轩第四周个人学习计划 + +## 个人学习目标 + +基于小组会议确定的项目方向，本周将重点进行大数据平台故障检测相关的理论学习和技术储备，为后续的实践开发奠定坚实基础。 + +## 核心学习任务 + +### 1. Apache Spark深入学习 + +#### 学习重点 +- **Spark核心架构** + - Spark应用程序架构（Driver、Executor、Cluster Manager） + - RDD（弹性分布式数据集）原理和操作 + - DataFrame和Dataset API使用 + - Spark SQL查询引擎 + +- **Spark内存计算机制** + - 内存管理和存储级别 + - 缓存策略和持久化 + - 数据序列化和压缩 + - 垃圾回收优化 + +- **Spark性能调优** + - 分区策略和数据倾斜处理 + - 广播变量和累加器使用 + - 任务调度和资源配置 + - 监控和故障排查 + +#### 具体任务安排 +- **周一**: 深入学习Spark架构原理，理解RDD和内存计算机制 +- **周二**: 实践Spark编程模型，掌握DataFrame和SQL操作 +- **周三**: 学习Spark性能优化和故障诊断方法 + +### 2. 分布式存储系统理论学习 + +#### 学习重点 +- **分布式一致性算法** + - Raft算法原理和实现 + - Paxos算法机制 + - PBFT拜占庭容错算法 + - 一致性级别和CAP定理 + +- **数据分片和副本策略** + - Range分片、Hash分片、Directory分片 + - 副本放置策略和一致性哈希 + - 数据迁移和负载均衡 + - 故障检测和自动恢复 + +- **存储系统容错机制** + - 节点故障检测和处理 + - 数据修复和重建 + - 分布式锁和事务处理 + - 网络分区处理 + +#### 具体任务安排 +- **周四上午**: 学习Raft和Paxos一致性算法 +- **周四下午**: 研究数据分片策略和副本管理 +- **周五上午**: 学习分布式系统容错和恢复机制 + +### 3. 大模型RAG技术研究 + +#### 学习重点 +- **RAG技术原理** + - 检索增强生成架构 + - 向量数据库和相似度搜索 + - 知识库构建和索引优化 + - 检索策略和排序算法 + +- **提示词工程优化** + - 提示词设计原则和最佳实践 + - 上下文窗口管理 + - 指令跟随(IAG)技术 + - Few-shot和Chain-of-Thought技术 + +- **模型集成应用** + - API接口调用和参数优化 + - 工具链集成方案 + - 自动化流程设计 + - 故障诊断场景应用 + +#### 具体任务安排 +- **周五下午**: 学习RAG技术原理和向量数据库使用 +- **周末**: 研究提示词工程和模型集成方案 + +## 学习资源和参考材料 + +### 官方文档 +- [Apache Spark官方文档](https://spark.apache.org/docs/latest/) +- [Spark编程指南](https://spark.apache.org/docs/latest/programming-guide.html) +- [Spark SQL指南](https://spark.apache.org/docs/latest/sql-programming-guide.html) + +### 推荐学习材料 +- 《Spark快速大数据分析》 +- 《设计数据密集型应用》（Martin Kleppmann著） +- 《分布式系统概念与设计》 +- Raft算法论文和可视化演示 +- RAG技术相关论文和博客文章 +- 提示词工程实践案例 + +### 实践环境 +- Spark本地模式环境搭建 +- Jupyter Notebook + PySpark +- 虚拟机集群环境准备 + +## 本周学习计划 + +### 第一阶段：理论学习 (周一-周三) +- [ ] 完成Spark核心架构学习 +- [ ] 掌握RDD和DataFrame编程 +- [ ] 理解Spark内存计算原理 +- [ ] 学习性能调优方法 + +### 第二阶段：分布式理论 (周四) +- [ ] 深入学习一致性算法 +- [ ] 研究数据分片和副本策略 +- [ ] 理解分布式系统容错机制 + +### 第三阶段：大模型技术 (周五-周末) +- [ ] 学习RAG技术原理 +- [ ] 掌握提示词工程技巧 +- [ ] 探索故障诊断应用场景 + +## 预期学习成果 + +### 知识掌握目标 +1. **Spark技术栈**: 具备Spark应用开发和性能优化能力 +2. **分布式理论**: 理解分布式系统设计原理和容错机制 +3. **大模型应用**: 掌握RAG技术和提示词优化方法 +4. **故障检测**: 了解大模型在运维领域的应用潜力 + +### 本周交付物 +1. **学习笔记**: Spark技术要点和分布式系统理论总结 +2. **实践代码**: Spark编程练习和性能测试案例 +3. **技术调研**: RAG技术在故障检测中的应用方案 +4. **问题清单**: 学习过程中遇到的技术难点和解决方案 + +## 风险评估与应对 + +### 潜在挑战 +1. **技术复杂度**: Spark和分布式系统理论较为复杂 +2. **时间安排**: 学习内容较多，需要合理分配时间 +3. **实践环境**: 可能缺乏充足的实验环境 + +### 应对策略 +1. **重点突破**: 优先掌握核心概念，逐步深入细节 +2. **理论结合实践**: 边学习边动手实验，加深理解 +3. **团队协作**: 与小组成员交流学习心得，互相帮助 + +## 下周展望 + +基于本周的学习成果，下周将参与团队的环境搭建工作，重点负责Spark集群的部署和配置，为故障演练和数据收集做好准备。 + +--- + +**备注**: 本计划将根据实际学习进度进行动态调整，确保学习质量和项目进度的平衡。如遇到技术难点，将及时与团队成员和指导老师沟通。 \ No newline at end of file diff --git a/doc/process/weekly/week-5/group/meeting-minutes-5.md b/doc/process/weekly/week-5/group/meeting-minutes-5.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-5/group/weekly-plan-5.md b/doc/process/weekly/week-5/group/weekly-plan-5.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-5/group/weekly-summary-5.md b/doc/process/weekly/week-5/group/weekly-summary-5.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-5/members/shenyongjia-weekly-plan-5.md b/doc/process/weekly/week-5/members/shenyongjia-weekly-plan-5.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-5/members/shenyongjia-weekly-summary-5.md b/doc/process/weekly/week-5/members/shenyongjia-weekly-summary-5.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-6/group/meeting-minutes-6.md b/doc/process/weekly/week-6/group/meeting-minutes-6.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-6/group/weekly-plan-6.md b/doc/process/weekly/week-6/group/weekly-plan-6.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-6/group/weekly-summary-6.md b/doc/process/weekly/week-6/group/weekly-summary-6.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-6/members/shenyongjia-weekly-plan-6.md b/doc/process/weekly/week-6/members/shenyongjia-weekly-plan-6.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-6/members/shenyongjia-weekly-summary-6.md b/doc/process/weekly/week-6/members/shenyongjia-weekly-summary-6.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-7/group/meeting-minutes-7.md b/doc/process/weekly/week-7/group/meeting-minutes-7.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-7/group/weekly-plan-7.md b/doc/process/weekly/week-7/group/weekly-plan-7.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-7/group/weekly-summary-7.md b/doc/process/weekly/week-7/group/weekly-summary-7.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-7/members/shenyongjia-weekly-plan-7.md b/doc/process/weekly/week-7/members/shenyongjia-weekly-plan-7.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-7/members/shenyongjia-weekly-summary-7.md b/doc/process/weekly/week-7/members/shenyongjia-weekly-summary-7.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-8/group/meeting-minutes-8.md b/doc/process/weekly/week-8/group/meeting-minutes-8.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-8/group/weekly-plan-8.md b/doc/process/weekly/week-8/group/weekly-plan-8.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-8/group/weekly-summary-8.md b/doc/process/weekly/week-8/group/weekly-summary-8.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-8/members/shenyongjia-weekly-plan-8.md b/doc/process/weekly/week-8/members/shenyongjia-weekly-plan-8.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-8/members/shenyongjia-weekly-summary-8.md b/doc/process/weekly/week-8/members/shenyongjia-weekly-summary-8.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-9/group/meeting-minutes-9.md b/doc/process/weekly/week-9/group/meeting-minutes-9.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-9/group/weekly-plan-9.md b/doc/process/weekly/week-9/group/weekly-plan-9.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-9/group/weekly-summary-9.md b/doc/process/weekly/week-9/group/weekly-summary-9.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-9/members/shenyongjia-weekly-plan-9.md b/doc/process/weekly/week-9/members/shenyongjia-weekly-plan-9.md new file mode 100644 index 0000000..e69de29 diff --git a/doc/process/weekly/week-9/members/shenyongjia-weekly-summary-9.md b/doc/process/weekly/week-9/members/shenyongjia-weekly-summary-9.md new file mode 100644 index 0000000..e69de29 diff --git a/src/README.md b/src/README.md new file mode 100644 index 0000000..e69de29 -- 2.34.1 From 3f9fd2e79a3a064cd49f22b81a3298c09753e259 Mon Sep 17 00:00:00 2001 From: Wzw <3257534544@qq.com> Date: Mon, 13 Oct 2025 22:42:35 +0800 Subject: [PATCH 12/12] =?UTF-8?q?=E7=8E=8B=E7=A5=96=E6=97=BA=E7=AC=AC?= =?UTF-8?q?=E5=9B=9B=E5=91=A8=E5=91=A8=E8=AE=A1=E5=88=92?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../members/wangzuwang-weekly-plan-4.md | 125 ++++++++++++++++++ 1 file changed, 125 insertions(+) create mode 100644 doc/process/weekly/week-4/members/wangzuwang-weekly-plan-4.md diff --git a/doc/process/weekly/week-4/members/wangzuwang-weekly-plan-4.md b/doc/process/weekly/week-4/members/wangzuwang-weekly-plan-4.md new file mode 100644 index 0000000..b417988 --- /dev/null +++ b/doc/process/weekly/week-4/members/wangzuwang-weekly-plan-4.md @@ -0,0 +1,125 @@ +# 王祖旺个人周计划 +基于大数据技术发展方向，本周将重点进行分布式存储与计算框架的深入学习，为构建大数据处理能力奠定基础。 + +## 核心学习任务 + +### 1. HDFS分布式文件系统深入学习 +**学习重点** +#### HDFS架构原理 +- NameNode元数据管理机制 +- DataNode数据块存储实现 +- 读写流程和一致性保证 +- 副本放置策略和机架感知 + +#### 高级特性 +- HDFS Federation架构 +- 快照(Snapshot)功能 +- 透明加密(Transparent Encryption) +- Erasure Coding编码方案 + +#### 运维管理 +- Balancer负载均衡工具 +- Disk Balancer磁盘均衡 +- 权限控制(ACL)配置 +- Audit Log审计日志分析 + +**具体任务安排** +- 周一: 研究NameNode HA实现和ZKFC机制 +- 周二: 实践Erasure Coding配置和性能测试 +- 周三: 分析HDFS源码中的RPC通信模型 + +### 2. Hadoop生态系统实践学习 +**学习重点** +#### YARN深入 +- 资源调度算法(Fair/Capacity) +- NodeManager资源隔离 +- ApplicationMaster工作机制 +- Timeline Server使用 + +#### 生态组件 +- HBase与HDFS集成 +- Hive数据仓库实践 +- ZooKeeper协调服务 +- Flume数据采集 + +**具体任务安排** +- 周四: 搭建YARN HA集群并测试故障转移 +- 周五: 实践Hive on Spark配置优化 +- 周六上午: 完成HBase集群部署测试 + +### 3. Spark核心引擎学习 +**学习重点** +#### 内核原理 +- RDD弹性数据集特性 +- DAG调度和执行计划 +- 内存管理机制 +- Shuffle优化策略 + +#### 开发实践 +- DataFrame API编程 +- Spark SQL优化技巧 +- 结构化流处理 +- 性能调优参数 + +**具体任务安排** +- 周六下午: 编写Spark Core性能测试用例 +- 周日: 完成Structured Streaming实时处理demo +- 周日晚上: 研究Spark Shuffle源码实现 + +## 学习资源和参考材料 +**核心书籍** +- 《Hadoop技术内幕》系列 +- 《Spark权威指南》 +- 《大数据处理之道》 + +**技术文档** +- Apache官方技术白皮书 +- HDFS Architecture Guide +- Spark Performance Tuning Guide + +**实验环境** +- 3节点虚拟机集群(8C16G) +- CDH 6.3.2发行版 +- Spark 3.1.3版本 + +## 学习成果和交付物 +**本周预期成果** +1. HDFS技术分析报告(含性能测试数据) +2. Hadoop生态组件部署文档 +3. Spark核心示例代码集 +4. 技术原理脑图总结 + +**能力目标** +- 掌握HDFS高级特性和调优方法 +- 具备Hadoop生态集成部署能力 +- 熟练使用Spark核心API开发 +- 理解分布式计算调度原理 + +## 执行策略 +**时间管理** +- 工作日: 19:00-23:00(4h) +- 周末: 9:00-12:00, 14:00-18:00(7h) +- 每日晨间30分钟复习 + +**学习方法** +- 源码分析配合实操验证 +- 性能基准测试驱动学习 +- 技术方案对比研究 +- 技术博客输出总结 + +**进度控制** +- 每日记录GitHub仓库 +- 模块学习完成后做演示 +- 关键问题记录issue跟踪 + +## 风险预案 +**潜在挑战** +- 集群资源不足影响实验 +- 版本兼容性问题 +- 复杂概念理解困难 + +**应对措施** +- 优先保证核心组件运行 +- 使用Docker简化环境 +- 结合多种资料对比学习 +- 技术社区寻求帮助 -- 2.34.1