6.0 KiB

Raw Permalink Blame History Unescape Escape

一、项目介绍

项目名称：天气预测和天气可视化

天气预测和天气可视化是一个基于python机器学习(ml)的长春地区的天气预报项目，它实现了天气数据的爬取，预测和可视化。

项目结构如下：

天气数据的来源

GetData文件使用python爬虫技术,爬取长春和全国的天气信息数据

爬取网站：http://tianqi.2345.com/wea_history/54161.htm

ProcessDate文件对爬取的天气数据进行了预处理

几个CSV文件保存的是爬取后并经过处理的数据

天气数据的预测

GetModel文件通过训练预测模型来预测长春近一周的天气，该文件利用Joblib将模型保存到本地

Main文件是项目主文件，通过运行该文件即可运行整个项目，该文件前部分获取保存到本地的预测模型来进行预测，并将预测结果打印到控制台

天气数据的可视化

Main文件后部分实现了天气数据的可视化

二、详细介绍

本项目分为三个部分，即爬取和处理数据，数据预测（包含评价方法）和数据可视化

1. 爬取和处理数据

数据爬取代码：

resq = requests.get(url, headers=headers, params=params)
data = resq.json()["data"]
# data frame
df = pd.read_html(data)[0]

即使用python爬取网站的json数据

数据预处理：

获取到的天气信息包括最高温，最低温都不是int格式的数字，通过对数据截取，将部分指标的数据变换为int类型

并对缺失值进行了处理

my_imputer = SimpleImputer()
imputed_X_train = pd.DataFrame(my_imputer.fit_transform(X_train))
imputed_X_valid = pd.DataFrame(my_imputer.transform(X_valid))

通过SimpleImputer ，可以将现实数据中缺失的值通过同一列的均值、中值、或者众数补充起来，本项目使用了SimpleImputer的fit_transform对缺失值进行填充

2. 数据预测和模型评价方法

预测数据采用了机器学习算法——线性回归模型使用过程：

A. 提取数据

 获取测试集、训练集、验证集
[X_train, X_valid, y_train, y_valid, X_test] = ProcessData.ProcessData()

其中ProcessData()函数里使用了如下语句：

X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

train_test_split()是sklearn包的model_selection模块中提供的随机划分训练集和验证集的函数；使用train_test_split函数将完整的数据集和验证集以同等的比例分成2组不同的数据集和验证集

B. 训练模型

选择了随机树森林模型(randomforest)，然后用fit来训练模型

# 随机树森林模型
model = RandomForestRegressor(random_state=0, n_estimators=1001)
# 训练模型
model.fit(X_train, y_train)

C. 根据数据预测

# 最终预测结果
preds = model.predict(r[1])

D. 模型评价方法

# 用MAE评估
score = mean_absolute_error(y_valid, preds)

对于评估模型准确率的评价方法，本处使用的是MAE，也就是mean_absolute_error 平均绝对误差，就每个预测的数值离正确数值错误数值的平均数

假设：

平均绝对误差（Mean Absolute Error）等于：

范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。在本项目中：

MAE: 3.8629148629148626

3. 数据可视化

项目利用了pyecharts框架来实现绘图功能，实现天气的可视化

pyecharts是基于Echart图表的一个类库，而Echart是百度开源的一个可视化JavaScript库。
pyecharts主要基于web浏览器进行显示，绘制的图形比较多，包括折线图、柱状图、饼图、漏斗图、地图、极坐标图等，代码量很少，而且很灵活，绘制出来的图形很美观。

导入相关的包如下：

from pyecharts.charts import Bar, Grid, Line, Tab
from pyecharts.components import Table
from pyecharts.options import ComponentTitleOpts
from pyecharts.charts import Map
from pyecharts import options as opts

三、项目展示

运行main.py,运行结果如下：

同时会生成一个html网页，名为天气网

网页内容如下：

1. 今日长春

首页今日长春以表格形式展现了长春当日的天气信息，包括日期，最高温，最低温，天气，风力风向，空气质量指数。

2. 未来长春

以柱形图和折线图显示未来一星期长春天气的预测内容，包括最高温，最低温，空气质量指数。

3. 近一周长春

以柱形图和折线图显示最近一星期长春的气温（最高温，最低温）和空气质量指数。

4. 今日中国天气

以表格形式展现中国今日各个省的天气情况，实际显示的数据是该省的省会城市的天气信息。

5. 今日全国空气质量

以地图形式展现中国今日各个省的的空气质量指数

当鼠标移动到某个省上，会显示该省的空气质量：

四、存在的问题及未来改进的方向

存在的问题：
1. 天气信息内容少，爬取数据只包含5个指标
2. 天气预测内容少，只对最高温，最低温，空气质量指标这三个数值指标进行预测，对如天气这类文字类型没有进行处理和预测
3. 预测模型准确率不够高，评估指标MEA为3.8629148629148626，还有提升空间，尽量减少预测值和实际值的误差
4. 网页不能进行交互，如切换城市
对应改进方向
1. 更换爬虫目标网站，获取更多天气信息指标，如降雨量
2. 增进预测内容，提高数据多元化
3. 可以改预测模型为RGBoost或用tensorflow来提高模型的准确率，从而降低MAE
4. 可以结合html、js等前端技术来实现一个页面可以交互的网页

6.0 KiB Raw Permalink Blame History Unescape Escape