|
|
## 1.4 搭建Python版Spark开发环境
|
|
|
|
|
|
开发`Spark`程序的时候，如果每次都把代码提交到集群上运行，想必会非常麻烦，那么搭建一个`windows`版的开发环境是非常有必要的。
|
|
|
|
|
|
### 1.4.1 JDK安装
|
|
|
|
|
|
在`DOC`命令行窗口输入`java -version`出现下图所示即表示已经安装成功。如未安装成功，请自行百度。本教程所使用的`Spark`版本需要使用`jdk1.8`版本以上。
|
|
|
|
|
|
打开官网<a href="https://www.scala-lang.org/download/2.11.8.htmlhttps://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html" target="view_frame">下载地址 </a>下载相应版本;
|
|
|
|
|
|
|
|
|
|
|
|
解压到相应目录并配置环境变量：
|
|
|
解压到D:\Program Files\Java目录下
|
|
|
打开环境变量编辑窗口：
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459693" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459694" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459697" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459699" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459707" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459717" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459719" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459723" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/458936" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
### 1.4.2 Python安装
|
|
|
|
|
|
在`DOC`命令行窗口输入`Python`出现下图所示即表示已经安装成功。如未安装成功，请自行百度。本教程所使用的`Python`版本需要使用`python2.7`版本以上。
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/458940" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
### 1.4.3 scala安装
|
|
|
|
|
|
本教程所用`Spark`版本推荐使用`scala2.11.x`版本。
|
|
|
|
|
|
打开官网<a href="https://www.scala-lang.org/download/2.11.8.html" target="view_frame">下载地址 </a>下载对应安装包。
|
|
|
|
|
|
下载页面的底部点击如下所示红框处即可下载。
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/458970" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
解压配置环境变量，在`DOC`命令行窗口输入`scala`出现下图所示即表示已经安装成功。
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459087" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
### 1.4.4 spark安装
|
|
|
|
|
|
到`Spark`官网：<a href="https://archive.apache.org/dist/spark/spark-2.3.4/" target="view_frame">下载地址 </a> 下载
|
|
|
`Hadoop`版本为`2.7`，`Spark`版本为`2.3.4`的`spark`安装包。
|
|
|
|
|
|
解压配置环境变量，在`DOC`命令行窗口输入`spark-shell`出现下图所示即表示已经安装成功(图示报错不影响`Spark`运行，该报错表示未安装`Hadoop`)。
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459186" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### pycharm环境安装
|
|
|
|
|
|
1.打开`pycharm`，创建一个项目，如下图；
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459196" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
2.添加`pyspark.zip`和`py4j`包到项目中（这两个文件在`Spark`安装目录`\python\lib`中）
|
|
|
|
|
|
|
|
|
依次点击:`file >> setting >> Project:pspark >> Project Structure`
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459207" alt="" height="100%" width="100%" />
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
3.新建一个`python`文件，执行以下代码，输出了你的`Spark`版本无报错即安装成功了。
|
|
|
|
|
|
```
|
|
|
from pyspark.sql import SparkSession
|
|
|
|
|
|
spark = SparkSession \
|
|
|
.builder \
|
|
|
.master("local")\
|
|
|
.appName("Python Spark SQL basic example") \
|
|
|
.config("spark.some.config.option", "some-value") \
|
|
|
.getOrCreate()
|
|
|
|
|
|
print(spark.version)
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459543" alt="" height="100%" width="100%" />
|
|
|
</p> |
