|
|
|
@ -22,7 +22,7 @@
|
|
|
|
|
接下来解压,在平台已经将`spark`安装包下载到`/opt`目录下了,所以不需要再下载了。
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
tar -zxvf spark-2.2.2-bin-hadoop2.7/ -C /app
|
|
|
|
|
tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /app
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
将压缩包解压到`/app`目录下。
|
|
|
|
@ -64,13 +64,9 @@ export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
|
|
|
|
|
|
|
|
|
|
export SCALA_HOME=/app/scala-2.12.7
|
|
|
|
|
|
|
|
|
|
export HADOOP_HOME=/usr/local/hadoop/
|
|
|
|
|
export SPARK_MASTER_IP=machine_name # machine_name 根据自己的主机确定
|
|
|
|
|
|
|
|
|
|
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
|
|
|
|
|
|
|
|
|
|
export SPARK_MASTER_IP=machine_name // machine_name 根据自己的主机确定
|
|
|
|
|
|
|
|
|
|
export SPARK_LOCAL_IP=machine_name // machine_name 根据自己的主机确定
|
|
|
|
|
export SPARK_LOCAL_IP=machine_name # machine_name 根据自己的主机确定
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
@ -80,8 +76,6 @@ export SPARK_LOCAL_IP=machine_name // machine_name 根据自己的主机确
|
|
|
|
|
| - | - |
|
|
|
|
|
| JAVA_HOME | Java的安装路径 |
|
|
|
|
|
|SCALA_HOME|Scala的安装路径|
|
|
|
|
|
| HADOOP_HOME| Hadoop的安装路径 |
|
|
|
|
|
| HADOOP_CONF_DIR| Hadoop配置文件的路径|
|
|
|
|
|
| SPARK_MASTER_IP | Spark主节点的IP或机器名|
|
|
|
|
|
| SPARK_LOCAL_IP | Spark本地的IP或主机名 |
|
|
|
|
|
|
|
|
|
@ -111,4 +105,4 @@ export SPARK_LOCAL_IP=machine_name // machine_name 根据自己的主机确
|
|
|
|
|
</p>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
好了,如果你能到这一步就已经完成了伪分布式`Spark`的安装啦。
|
|
|
|
|
好了,如果你能到这一步就已经完成了单机版`Spark`的安装啦。
|