|
|
"""
|
|
|
pg_request包，主要用于处理PostgreSQL数据库数据。
|
|
|
|
|
|
功能:
|
|
|
- 在运行主函数时，如果必要，将会创建一个存放输出数据的 'data' 文件夹。
|
|
|
- 连接到 PostgreSQL 数据库并从指定数据表中提取数据。
|
|
|
- 合并多个表中的数据。
|
|
|
- 对数据进行标准化处理。
|
|
|
- 保存处理后的数据到 CSV 文件。
|
|
|
|
|
|
模块:
|
|
|
- config: 定义了数据的存取参数，如数据库连接参数和目标数据表名。
|
|
|
- parse: 包含了连接数据库、数据处理和数据存储等功能的函数。
|
|
|
|
|
|
函数:
|
|
|
- check_and_create_folder(folder_path): 检查并创建数据文件夹，在主函数运行时调用。
|
|
|
- run(): 作为整个数据处理流程的主函数，当被调用时，将会执行数据提取、数据处理和数据存储等操作。
|
|
|
|
|
|
使用示例:
|
|
|
from pg_request import run
|
|
|
|
|
|
run()
|
|
|
|
|
|
注意事项:
|
|
|
在使用这个包时，你需要首先在config.py中设置好数据库连接参数和目标数据表，然后才能正常使用run函数。在你自己的项目中，你也可以根据需要调用parse.py中的各个函数。
|
|
|
"""
|
|
|
import os
|
|
|
|
|
|
from .config import DB_PARAMS, TABLES
|
|
|
from .parse import connect_to_pg, merge_dfs, normalize_df, save_as_csv
|
|
|
|
|
|
|
|
|
def check_and_create_folder(folder_path: str):
|
|
|
"""
|
|
|
检查指定的文件夹是否存在，如果不存在则创建该文件夹。
|
|
|
|
|
|
Args:
|
|
|
folder_path (str): 需要检查和创建的文件夹路径。
|
|
|
"""
|
|
|
if not os.path.exists(folder_path):
|
|
|
os.makedirs(folder_path)
|
|
|
print(f"文件夹 {folder_path} 已创建。")
|
|
|
else:
|
|
|
print(f"文件夹 {folder_path} 已存在。")
|
|
|
|
|
|
|
|
|
def run():
|
|
|
"""
|
|
|
运行整个数据处理流程，步骤如下：
|
|
|
|
|
|
1. 检查并创建存放输出数据的data文件夹。
|
|
|
2. 连接到PostgreSQL数据库并获取指定数据表的数据。
|
|
|
3. 合并多个数据表中的数据。
|
|
|
4. 使用最小最大规范化方法对数据进行规范化处理。
|
|
|
5. 将处理后的数据保存到CSV文件中。
|
|
|
"""
|
|
|
# 检查存放输出数据的文件夹是否存在，如果不存在则创建
|
|
|
check_and_create_folder('data')
|
|
|
|
|
|
# 连接数据库，获取数据表数据
|
|
|
raw_data = connect_to_pg(DB_PARAMS, TABLES)
|
|
|
|
|
|
# 合并获取的数据表
|
|
|
merged_data = merge_dfs(raw_data)
|
|
|
|
|
|
# 对合并后的数据进行最小最大标准化
|
|
|
normalized_data = normalize_df(merged_data)
|
|
|
|
|
|
# 保存数据到 CSV 文件
|
|
|
save_as_csv(normalized_data, 'data/normalized_df.csv')
|
|
|
|
|
|
# 打印完成信息
|
|
|
print('{:*^30}'.format('PostgreSQL数据读取完成'))
|
