慢慢 6 years ago
parent 0af08fc1d2
commit 2dddcd6479

@ -0,0 +1,160 @@
## 1.4 搭建Python版Spark开发环境
开发`Spark`程序的时候,如果每次都把代码提交到集群上运行,想必会非常麻烦,那么搭建一个`windows`版的开发环境是非常有必要的。
### 1.4.1 JDK安装
在`DOC`命令行窗口输入`java -version`出现下图所示即表示已经安装成功。如未安装成功,请自行百度。本教程所使用的`Spark`版本需要使用`jdk1.8`版本以上。
打开官网<a href="https://www.scala-lang.org/download/2.11.8.htmlhttps://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html" target="view_frame">下载地址 </a>下载相应版本;
![](/api/attachments/459657)
解压到相应目录并配置环境变量:
解压到D:\Program Files\Java目录下
打开环境变量编辑窗口:
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459693" alt="" height="100%" width="100%" />
</p>
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459694" alt="" height="100%" width="100%" />
</p>
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459697" alt="" height="100%" width="100%" />
</p>
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459699" alt="" height="100%" width="100%" />
</p>
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459707" alt="" height="100%" width="100%" />
</p>
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459717" alt="" height="100%" width="100%" />
</p>
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459719" alt="" height="100%" width="100%" />
</p>
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459723" alt="" height="100%" width="100%" />
</p>
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/458936" alt="" height="100%" width="100%" />
</p>
### 1.4.2 Python安装
在`DOC`命令行窗口输入`Python`出现下图所示即表示已经安装成功。如未安装成功,请自行百度。本教程所使用的`Python`版本需要使用`python2.7`版本以上。
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/458940" alt="" height="100%" width="100%" />
</p>
### 1.4.3 scala安装
本教程所用`Spark`版本推荐使用`scala2.11.x`版本。
打开官网<a href="https://www.scala-lang.org/download/2.11.8.html" target="view_frame">下载地址 </a>下载对应安装包。
下载页面的底部点击如下所示红框处即可下载。
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/458970" alt="" height="100%" width="100%" />
</p>
解压配置环境变量,在`DOC`命令行窗口输入`scala`出现下图所示即表示已经安装成功。
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459087" alt="" height="100%" width="100%" />
</p>
### 1.4.4 spark安装
到`Spark`官网:<a href="https://archive.apache.org/dist/spark/spark-2.3.4/" target="view_frame">下载地址 </a> 下载
`Hadoop`版本为`2.7``Spark`版本为`2.3.4`的`spark`安装包。
解压配置环境变量,在`DOC`命令行窗口输入`spark-shell`出现下图所示即表示已经安装成功(图示报错不影响`Spark`运行,该报错表示未安装`Hadoop`)。
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459186" alt="" height="100%" width="100%" />
</p>
### pycharm环境安装
1.打开`pycharm`,创建一个项目,如下图;
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459196" alt="" height="100%" width="100%" />
</p>
2.添加`pyspark.zip`和`py4j`包到项目中(这两个文件在`Spark`安装目录`\python\lib`中)
依次点击:`file >> setting >> Project:pspark >> Project Structure`
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459207" alt="" height="100%" width="100%" />
</p>
3.新建一个`python`文件,执行以下代码,输出了你的`Spark`版本无报错即安装成功了。
```
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.config("spark.some.config.option", "some-value") \
.getOrCreate()
print(spark.version)
```
<p align="center" >
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459543" alt="" height="100%" width="100%" />
</p>
Loading…
Cancel
Save