分布式搭建

chapter1/1.3Spark完全分布式环境搭建.md

@@ -0,0 +1,105 @@
+[TOC]
+
+---
+
+####任务描述
+
+我们已经掌握了`Spark`单机版安装，那么分布式集群怎么搭建呢？
+
+本关任务： 掌握`Standalone`分布式集群搭建。
+
+
+####相关知识
+
+
+以下表格为本教程所用示例集群节点信息：
+
+| 节点名称  |  节点角色 |
+| ------------ | ------------ |
+|  master | worker，master |
+|  worker1 | worker  |
+|worker2|worker|
+
+
+
+#####下载Spark安装包
+
+到`Spark`官网：https://archive.apache.org/dist/spark/ 下载
+与你已搭建的`Hadoop`版本相匹配的安装包，这里选择`Hadoop`版本为`2.6.0`，
+`Spark`版本为`2.2.0`。
+
+![](/api/attachments/444846)
+
+
+#####解压安装包
+
+选择`master`节点安装`Spark`，将下载的`spark-2.2.0-bin-hadoop2.6.tgz`安装包放在该节点的`/home/hadoop/soft/`目录下，然后执行`tar –zxvf spark-2.2.0-bin-hadoop2.6.tgz`命令进行解压。
+
+##### 配置环境变量
+
+我们将`Spark`的根目录配置到`/etc/profile`中（在文件末尾添加）。
+
+
+不要忘了`source /etc/profile`
+
+
+#####修改 spark-env.sh 配置文件
+首先生成一份`spark-env.sh`文件:
+
+切换目录到： `/home/hadoop/soft/spark-2.2.0-bin-hadoop2.6/conf`
+执行命令：`mv spark-env.sh.template spark-env.sh`
+
+修改`spark-env.sh`文件:
+
+执行命令：`vi spark-env.sh`，添加以下内容：
+
+```shell
+#指定JAVA_HOME位置
+export JAVA_HOME=java安装路径
+#spark master webui 端口，默认是 8080，跟 tomcat 冲突
+SPARK_MASTER_WEBUI_PORT=8888
+#指定Master节点IP
+export SPARK_MASTER_IP=masterIP
+
+```
+
+#####修改 slaves 文件
+
+首先生成一份`slaves`文件
+
+切换到`conf`目录下：
+执行命令：`mv slaves.template slaves`
+修改`slaves`文件：
+执行命令：`vi slaves`，在该文件中加入作为`worker`节点`ip`。
+
+```java
+master
+worker1
+worker2
+```
+
+#####分发安装包
+把该节点的`spark`安装包分发到`worker1`节点和`worker2`节点（可通过`linux`的`scp`命令）。
+
+#####启动spark
+切换到`master`节点安装目录的`/sbin`目录下
+执行命令启动`Spark`集群：`./start-all.sh`
+
+
+#####检查Spark的webUI界面
+在浏览器输入如下地址：`http://master地址:8888/`，可见如下页面。
+
+![](/api/attachments/444947)
+
+至此，非高可用的`Standalone`模式即安装成功了。
+
+
+
+####编程要求
+
+
+####测试说明
+
+
+---
+开始你的任务吧，祝你成功！