nr

chapter1/1.4搭建Python版Spark开发环境.md

@@ -0,0 +1,160 @@
+## 1.4 搭建Python版Spark开发环境
+
+开发`Spark`程序的时候，如果每次都把代码提交到集群上运行，想必会非常麻烦，那么搭建一个`windows`版的开发环境是非常有必要的。
+
+### 1.4.1 JDK安装
+
+在`DOC`命令行窗口输入`java -version`出现下图所示即表示已经安装成功。如未安装成功，请自行百度。本教程所使用的`Spark`版本需要使用`jdk1.8`版本以上。
+
+打开官网<a  href="https://www.scala-lang.org/download/2.11.8.htmlhttps://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html" target="view_frame">下载地址 </a>下载相应版本;
+
+![](/api/attachments/459657)
+
+解压到相应目录并配置环境变量：
+解压到D:\Program Files\Java目录下
+打开环境变量编辑窗口：
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459693" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459694" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459697" alt=""  height="100%" width="100%"  />
+</p>
+
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459699" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459707" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459717" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459719" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459723" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+
+
+
+
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/458936" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+### 1.4.2 Python安装
+
+在`DOC`命令行窗口输入`Python`出现下图所示即表示已经安装成功。如未安装成功，请自行百度。本教程所使用的`Python`版本需要使用`python2.7`版本以上。
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/458940" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+### 1.4.3 scala安装
+
+本教程所用`Spark`版本推荐使用`scala2.11.x`版本。
+
+打开官网<a  href="https://www.scala-lang.org/download/2.11.8.html" target="view_frame">下载地址 </a>下载对应安装包。
+
+下载页面的底部点击如下所示红框处即可下载。
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/458970" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+解压配置环境变量，在`DOC`命令行窗口输入`scala`出现下图所示即表示已经安装成功。
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459087" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+### 1.4.4 spark安装
+
+到`Spark`官网：<a  href="https://archive.apache.org/dist/spark/spark-2.3.4/" target="view_frame">下载地址 </a> 下载
+`Hadoop`版本为`2.7`，`Spark`版本为`2.3.4`的`spark`安装包。
+
+解压配置环境变量，在`DOC`命令行窗口输入`spark-shell`出现下图所示即表示已经安装成功(图示报错不影响`Spark`运行，该报错表示未安装`Hadoop`)。
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459186" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+
+### pycharm环境安装
+
+1.打开`pycharm`，创建一个项目，如下图；
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459196" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+2.添加`pyspark.zip`和`py4j`包到项目中（这两个文件在`Spark`安装目录`\python\lib`中）	
+
+
+依次点击:`file >> setting >> Project:pspark >> Project Structure`
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459207" alt=""  height="100%" width="100%"  />
+</p>
+
+
+
+3.新建一个`python`文件，执行以下代码，输出了你的`Spark`版本无报错即安装成功了。
+
+```
+from pyspark.sql import SparkSession
+
+spark = SparkSession \
+    .builder \
+    .appName("Python Spark SQL basic example") \
+    .config("spark.some.config.option", "some-value") \
+    .getOrCreate()
+
+print(spark.version)
+```
+
+
+
+<p align="center" > 
+<img  style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/459543" alt=""  height="100%" width="100%"  />
+</p>