import pandas as pd
import numpy as np

print("2021142108 林俊聪")

def dropnullstd(data):
    print("删除前的的形状为：", data.shape)
    before = data.shape[1]
    colisNull = data.describe().loc["count"] == 0
    for i in range(len(colisNull)):
        if colisNull[i]:
            data.drop(labels=colisNull.index[i], axis=1, inplace=True)
    stdisZero = data.describe().loc["std"] == 0
    for j in range(len(stdisZero)):
        if stdisZero[j]:
            data.drop(labels=stdisZero.index[j], axis=1, inplace=True)
    after = data.shape[1]
    print("删除后数据的形状为：", data.shape)

def transformdayintominute(data):
    for i in range(0, len(data)):
        data[i] = data[i].total_seconds()/60
    return data

def transformdayintohour(data):
    for i in range(0, len(data)):
        data[i] = data[i].total_seconds() / 3600
    return data

# 1.读取并查查看P2P网络带宽数据主表Training_Master的基本信息
data = pd.read_csv("Training_Master.csv")
print("主表的维度为：", data.ndim)
print("主表的形状为：", data.shape)
print("主表的内存为：", data.memory_usage())

# describe方法
print("主表的描述性统计为：", data.describe())


# 删除值相同或者全空的列
dropnullstd(data)


# 2.提取用户信息更新表Training_Userupdate和登录信息表Training_LogInfo的时间信息：
data2 = pd.read_csv("Training_Userupdate.csv")
data3 = pd.read_csv("Training_LogInfo.csv")


# 使用to_datetime函数转换用户信息更新表和登录信息表的时间字符串。
data2["ListingInfo1"] = pd.to_datetime(data2["ListingInfo1"])
data2["UserupdateInfo2"] = pd.to_datetime(data2["UserupdateInfo2"])

data3["Listinginfo1"] = pd.to_datetime(data3["Listinginfo1"])
data3["LogInfo3"] = pd.to_datetime(data3["LogInfo3"])


# 使用year、 month、week等方法提取用户信息更新表和登录信息表中的时间信息
year = [i.year for i in data2["ListingInfo1"].head()]
print("ListingInfo1中的前5个年份信息：", year[:5])
month = [i.month for i in data2["ListingInfo1"].head()]
print("ListingInfo1中的前5个月份信息：", month[:5])
week = [i.week for i in data2["ListingInfo1"].head()]
print("ListingInfo1中的前5个星期信息：", week[:5])
day = [i.day for i in data2["ListingInfo1"].head()]
print("ListingInfo1中的前5个日期信息：", day[:5])


#计算用户信息更新表和登录信息表中两时间的差,分别以日、小时、分钟计算
timeDeltaUserupdate=data2["ListingInfo1"] - data2["UserupdateInfo2"]
print("计算时间差以日期为单位：\n", timeDeltaUserupdate.head())
print("计算时间差以小时为单位：\n", transformdayintohour(timeDeltaUserupdate).head())
timeDeltaUserupdate=data2["ListingInfo1"] - data2["UserupdateInfo2"]
print("计算时间差以分钟为单位：\n", transformdayintominute(timeDeltaUserupdate).head())


# 3.使用分组聚合方法进一步分析用户信息更新表和登录信息表
# 使用groupby方法对用户信息更新表和登录信息表进行分组
UserupdateGroup = data2[["Idx", "UserupdateInfo2"]].groupby(by="Idx")
LogInfoGroup = data3[["Idx", "LogInfo3"]].groupby(by="Idx")
print('分组后的用户信息更新表为：', UserupdateGroup.head())
print('分组后的登录信息表为：', LogInfoGroup.head())


# 使用agg方法求取分组后的最早和最晚更新及登录时间
print("分组后最早更新时间：", UserupdateGroup.agg(np.min).head())
print("分组后最晚更新时间：", UserupdateGroup.agg(np.max).head())


# 使用size方法求取分组后的数据的信息更新次数与登录次数
print("分组后信息更新次数：", UserupdateGroup.size().head())
print("分组后登录次数：", LogInfoGroup.size().head())