|
|
|
@ -9,15 +9,15 @@
|
|
|
|
|
每条`json`数据里可能有不同数量的成员,成员的值可能为空。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 2.1.2 统计指标说明
|
|
|
|
|
### 2.2.2 统计指标说明
|
|
|
|
|
|
|
|
|
|
统计出全球飞行速度排名前三的战斗机。
|
|
|
|
|
|
|
|
|
|
### 2.1.3 结果数据保存
|
|
|
|
|
### 2.2.3 结果数据保存
|
|
|
|
|
|
|
|
|
|
统计出指标后将结果以`json`格式保存到本地目录。
|
|
|
|
|
|
|
|
|
|
### 2.1.4处理步骤
|
|
|
|
|
### 2.2.4处理步骤
|
|
|
|
|
|
|
|
|
|
1.创建`SparkSession`;
|
|
|
|
|
```
|
|
|
|
@ -31,20 +31,36 @@ spark = SparkSession \
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
2.读取所给`json`数据创建`DataFrame`;
|
|
|
|
|
|
|
|
|
|
`df =spark.read.json("/jun.json")`
|
|
|
|
|
|
|
|
|
|
3.创建视图;
|
|
|
|
|
|
|
|
|
|
`df.createOrReplaceTempView("table1")`
|
|
|
|
|
|
|
|
|
|
4.编写`sql`语句计算指标;
|
|
|
|
|
|
|
|
|
|
`sqlDF = spark.sql("sql语句")`
|
|
|
|
|
|
|
|
|
|
5.将处理结果保存到本地目录;
|
|
|
|
|
|
|
|
|
|
`sqlDF.write.format("json").save("保存路径")`
|
|
|
|
|
|
|
|
|
|
6.停止`SparkSession`。
|
|
|
|
|
|
|
|
|
|
`spark.stop()`
|
|
|
|
|
|
|
|
|
|
### 2.2.5 效果展示:
|
|
|
|
|
|
|
|
|
|
在保存路径我们打开处理后的文件,可以看到我们统计出的飞行速度前三的战斗机;
|
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/457559" alt="" height="100%" width="100%" />
|
|
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|