diff --git a/chapter1/1.3Spark完全分布式环境搭建.md b/chapter1/1.3Spark完全分布式环境搭建.md index c6b73bb..1b6ac29 100644 --- a/chapter1/1.3Spark完全分布式环境搭建.md +++ b/chapter1/1.3Spark完全分布式环境搭建.md @@ -2,15 +2,12 @@ --- -####任务描述 +## 1.3 Spark分布式环境搭建 -我们已经掌握了`Spark`单机版安装,那么分布式集群怎么搭建呢? -本关任务: 掌握`Standalone`分布式集群搭建。 +我们已经掌握了`Spark`单机版安装,那么分布式集群怎么搭建呢? 接下来我们学习`Standalone`分布式集群搭建。 -####相关知识 - 以下表格为本教程所用示例集群节点信息: @@ -22,20 +19,25 @@ -#####下载Spark安装包 +### 1.3.1 下载Spark安装包 到`Spark`官网:https://archive.apache.org/dist/spark/ 下载 与你已搭建的`Hadoop`版本相匹配的安装包,这里选择`Hadoop`版本为`2.6.0`, `Spark`版本为`2.2.0`。 -![](/api/attachments/444846) + +

+ +

+ + -#####解压安装包 +### 1.3.2 解压安装包 选择`master`节点安装`Spark`,将下载的`spark-2.2.0-bin-hadoop2.6.tgz`安装包放在该节点的`/home/hadoop/soft/`目录下,然后执行`tar –zxvf spark-2.2.0-bin-hadoop2.6.tgz`命令进行解压。 -##### 配置环境变量 +### 1.3.3 配置环境变量 我们将`Spark`的根目录配置到`/etc/profile`中(在文件末尾添加)。 @@ -63,7 +65,7 @@ export SPARK_MASTER_IP=masterIP ``` -#####修改 slaves 文件 +### 1.3.4 修改 slaves 文件 首先生成一份`slaves`文件 @@ -78,7 +80,7 @@ worker1 worker2 ``` -#####分发安装包 +### 1.3.5 分发安装包 把该节点的`spark`安装包分发到`worker1`节点和`worker2`节点(可通过`linux`的`scp`命令)。 #####启动spark @@ -86,20 +88,16 @@ worker2 执行命令启动`Spark`集群:`./start-all.sh` -#####检查Spark的webUI界面 +### 1.3.6 检查webUI界面 在浏览器输入如下地址:`http://master地址:8888/`,可见如下页面。 -![](/api/attachments/444947) -至此,非高可用的`Standalone`模式即安装成功了。 +

+ +

+至此,非高可用的`Standalone`模式即安装成功了。 -####编程要求 -略 -####测试说明 -略 ---- -开始你的任务吧,祝你成功! \ No newline at end of file