|
|
|
@ -3,6 +3,7 @@
|
|
|
|
|
Spark Streaming 其优秀的特点给我们带来很多的应用场景。本关中,将通过从 kafka 获取数据来进行介绍。
|
|
|
|
|
|
|
|
|
|
### 3.1.1 Kafka是什么
|
|
|
|
|
|
|
|
|
|
Kafka 是一种高吞吐量的分布式发布订阅消息系统,基于 zookeeper 协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。
|
|
|
|
|
|
|
|
|
|
Kafka 中发布订阅的对象是 Topic。我们可以为每类数据创建一个 Topic ,把向 Topic 发布消息的客户端称作 Producer ,从 Topic 订阅消息的客户端称作 Consumer 。Producers 和 Consumers 可以同时从多个 Topic 读写数据。一个 Kafka 集群由一个或多个 Broker 服务器组成,它负责持久化和备份具体的 Kafka 消息。
|
|
|
|
@ -87,13 +88,12 @@ $ bin/zkServer.sh stop
|
|
|
|
|
现在你已经在你的机器上成功安装了 ZooKeeper 。 让我们看看安装 Apache Kafka 的步骤。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
要在你的机器上安装Kafka,
|
|
|
|
|
https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz 把 kafka_2.11_0.9.0.0.tgz 将下载到您的计算机上。
|
|
|
|
|
要在你的机器上安装Kafka,打开链接: http://kafka.apache.org/downloads 选择kafka版本并下载到你的计算机上。
|
|
|
|
|
|
|
|
|
|
使用以下命令提取tar文件
|
|
|
|
|
```
|
|
|
|
|
$ tar -zxf kafka_2.11.0.9.0.0 tar.gz
|
|
|
|
|
$ cd kafka_2.11.0.9.0.0
|
|
|
|
|
$ tar -zxf kafka_2.x.x.x.x tar.gz
|
|
|
|
|
$ cd kafka_2.11.x.x.x.x
|
|
|
|
|
```
|
|
|
|
|
现在你已经在你的机器上下载了最新版本的 Kafka。
|
|
|
|
|
|
|
|
|
|