|
|
|
@ -2,15 +2,12 @@
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
####任务描述
|
|
|
|
|
## 1.3 Spark分布式环境搭建
|
|
|
|
|
|
|
|
|
|
我们已经掌握了`Spark`单机版安装,那么分布式集群怎么搭建呢?
|
|
|
|
|
|
|
|
|
|
本关任务: 掌握`Standalone`分布式集群搭建。
|
|
|
|
|
我们已经掌握了`Spark`单机版安装,那么分布式集群怎么搭建呢? 接下来我们学习`Standalone`分布式集群搭建。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
####相关知识
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
以下表格为本教程所用示例集群节点信息:
|
|
|
|
|
|
|
|
|
@ -22,20 +19,25 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
#####下载Spark安装包
|
|
|
|
|
### 1.3.1 下载Spark安装包
|
|
|
|
|
|
|
|
|
|
到`Spark`官网:https://archive.apache.org/dist/spark/ 下载
|
|
|
|
|
与你已搭建的`Hadoop`版本相匹配的安装包,这里选择`Hadoop`版本为`2.6.0`,
|
|
|
|
|
`Spark`版本为`2.2.0`。
|
|
|
|
|
|
|
|
|
|

|
|
|
|
|
|
|
|
|
|
<p align="center" >
|
|
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/444846" alt="" height="100%" width="100%" />
|
|
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
#####解压安装包
|
|
|
|
|
### 1.3.2 解压安装包
|
|
|
|
|
|
|
|
|
|
选择`master`节点安装`Spark`,将下载的`spark-2.2.0-bin-hadoop2.6.tgz`安装包放在该节点的`/home/hadoop/soft/`目录下,然后执行`tar –zxvf spark-2.2.0-bin-hadoop2.6.tgz`命令进行解压。
|
|
|
|
|
|
|
|
|
|
##### 配置环境变量
|
|
|
|
|
### 1.3.3 配置环境变量
|
|
|
|
|
|
|
|
|
|
我们将`Spark`的根目录配置到`/etc/profile`中(在文件末尾添加)。
|
|
|
|
|
|
|
|
|
@ -63,7 +65,7 @@ export SPARK_MASTER_IP=masterIP
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
#####修改 slaves 文件
|
|
|
|
|
### 1.3.4 修改 slaves 文件
|
|
|
|
|
|
|
|
|
|
首先生成一份`slaves`文件
|
|
|
|
|
|
|
|
|
@ -78,7 +80,7 @@ worker1
|
|
|
|
|
worker2
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
#####分发安装包
|
|
|
|
|
### 1.3.5 分发安装包
|
|
|
|
|
把该节点的`spark`安装包分发到`worker1`节点和`worker2`节点(可通过`linux`的`scp`命令)。
|
|
|
|
|
|
|
|
|
|
#####启动spark
|
|
|
|
@ -86,20 +88,16 @@ worker2
|
|
|
|
|
执行命令启动`Spark`集群:`./start-all.sh`
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
#####检查Spark的webUI界面
|
|
|
|
|
### 1.3.6 检查webUI界面
|
|
|
|
|
在浏览器输入如下地址:`http://master地址:8888/`,可见如下页面。
|
|
|
|
|
|
|
|
|
|

|
|
|
|
|
|
|
|
|
|
至此,非高可用的`Standalone`模式即安装成功了。
|
|
|
|
|
<p align="center" >
|
|
|
|
|
<img style="border: 2px solid #ddd;padding: 5px; background: #fff;" src="https://www.educoder.net/api/attachments/444947" alt="" height="100%" width="100%" />
|
|
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
至此,非高可用的`Standalone`模式即安装成功了。
|
|
|
|
|
|
|
|
|
|
####编程要求
|
|
|
|
|
略
|
|
|
|
|
|
|
|
|
|
####测试说明
|
|
|
|
|
略
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
开始你的任务吧,祝你成功!
|