Kafka分布式环境搭建 (二)赞

  • 时间:
  • 浏览:1
  • 来源:UU快3直播官网

2.    启动kafka server:  bin/kafka-server-start.sh ../config/server.properties  &

假设我不还上能 两台机器,server1和server2。我现在想把zookeeper server和kafka server 和producer都放进一台机器上server1,把consumer放进server2上。这当然也叫分布式了,虽然机子太大,而且这俩 部署成功了,扩展是相当的容易。

哪此参数我能 先看个合适,刚刚会在编程中使用到,都可我太大 还上能 动态的配置。

1.  启动zookeeper server :bin/zookeeper-server-start.sh ../config/zookeeper.properties  & (用&是为了能退出命令行)

却说我 哪此的间题就出在了kafka server的配置server.properties上。Kafka注册到zookeeper上的信息不对,才愿因着了后边的错误。大伙看config中server.properties的配置就可我太大 还上能 知道:

搭建完了环境,后边就要现在开始英文写多线程池池 去解决实际哪此的间题了。当然再写多线程池池 刚刚,下一篇我会先写这俩 kafka为哪此会有不还上能 高的性能,它是为啥么保障哪此性能的。

2.  启动kafka server:  bin/kafka-server-start.sh ../config/server.properties  &

搭建单机版环境,简单的说有不还上能 几步:

单机版的部署很简单,我能 讲几点比较重要的,首先kafka是用scala编写的,可我太大 还上能 跑在JVM上,却说我 大伙我太大 说不还上能 单独去搭建scala的环境,后边会涉及到编程的刚刚大伙再说如何去配置scala的哪此的间题,这里用不还上能 ,当然帮我知道这俩 是跑在linux上的。第二,我用的是最新版0.7.2的版本,你下载完kafka我能 打开它的目录浏览一下:

肯能你能看得人5执行了,说明你单机版部署成功了。下面解释下两条命令中参数的意思。--zookeeper localhost:2181 这俩 说明了去连本机2181端口的zookeeper server,--topic test,在kafka里,消息按topic来区分,大伙这里的topic叫test,却说我 不管是consumer还是producer都指向了test。这俩 的参数,我能 截图了,首先是producer的参数:

我来说愿因着,在这刚刚想请你再回去看看《kafka初步》,看看后边讲分布式的内容:

4.   接下来运行consumer,新启三个 多 terminal:bin/kafka-console-consumer.sh --zookeeper 192.168.10.11:2181 --topic test --from-beginning

3. 接下来却说我 下载kafka的依赖包和构建kafka的环境。注意,这俩 步不还上能 电脑联网。具体命令却说我 官网介绍的./sbt update 和 ./sbt package。

这篇文章将介绍如何搭建kafka环境,大伙会从单机版现在开始英文,而且逐渐往分布式扩展。单机版的搭建官网上完整性都是,比较容易实现,这里我能 简单介绍下即可,而分布式的搭建官网却不还上能 描述,大伙最终的目的还是用分布式来解决哪此的间题,却说我 这部分会是重点。

大伙还是按照那八个步骤来做,当然你肯定能知道,3、4两步的参数要改了,大伙假设server1的IP是192.168.10.11 server2的IP是192.168.10.10:

Consumer的参数:

后边的步骤都执行完了,环境与否好了,下面大伙要测试下与否能成功运行kafka:

3.    Kafka为大伙提供了三个 多 console来做连通性测试,下面大伙先运行producer:bin/kafka-console-producer.sh --zookeeper localhost:2181 --topic test 这是合适开启了三个 多 producer的命令行。命令行的参数大伙一会儿再解释。

5.    执行完consumer的命令后,我能 在producer的terminal中输入信息,马上在consumer的terminal中就会总出 你输的信息。不得劲儿像三个 多 通信客户端。

具体可看《quick start》

这俩 刚刚你能执行出第5步的效果么,是完整性都是报了下面的错了:

大伙从搭建单机版的环境现在开始英文说起,肯能你喜欢看英文版:这里有官方的《quick start》

5.   执行完consumer的命令后,我能 在producer的terminal中输入信息,马上在consumer的terminal中就会总出 你输的信息。

成功配置一段话,你能看得人下面的效果,左边的是producer,右边的是consumer,看最下面两行好了,前面的是我刚刚测试用过的:

2. 将下载下来的kafka扔到linux上,并解压。我用的red het server的linux。

4.  执行完后边这步合适会花个10多分钟吧,我在另一方他家ubuntu不还上能 成功,报了下载不还上能 jline的错。单位里用虚拟机ubuntu成功了,我深刻怀疑是网的哪此的间题。后边这不执行完了有两点要注意,一是sbt帮你下载完了所有依赖库,而且哪此jar完整性都是分散在各个目录下的,注意区分。二是,哪此jar一部分是kafka的编程包,一部分是scala的环境包,后边说了没必要另一方去搭scala的环境道理就在这边,你另一方去下三个 多 2.9的scala,但人家kafka只支持2.8、2.7。却说我 编程的刚刚就用sbt我能 下好的包即可。后边讲到编程的刚刚,会写为啥么搭编程环境,很简单的。

1. 安装java环境,我用的是最新的版本jdk7的

Kafka的中文文档我太大 说多,却说我 大伙尽量完整性点儿写。要交会你搭建分布式虽然很简单,手把手的教程大不了我录个视频就好了,可我虽然那完整性都是走这条路的方 式。不还上能 真正了解原理,而且理解的透彻了并能最大限度的发挥三个 多 框架的作用。却说我 ,肯能你不了解哪此事kafka,请先看:《kafka初步》

4.    接下来运行consumer,新启三个 多 terminal:bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

这里的kafka server却说我 broker,broker是存数据的,producer把数据给broker,consumer从broker取数据。那zookeeper是干嘛的,说的肤浅点儿,zookeeper却说我 大伙之间的选泽埋点器,所有的连接完整性都是先注册到zookeeper上。我能 把它想象成NIO,zookeeper却说我 selector,producer、consumer和broker完整性都是注册到selector上,而且留下了相应的key。

3.   Kafka为大伙提供了三个 多 console来做连通性测试,下面大伙先运行producer:bin/kafka-console-producer.sh --zookeeper 192.168.10.11:2181 --topic test 这是合适开启了三个 多 producer的命令行。

来源http://my.oschina.net/ielts0909/blog/93190

我能 不介绍每个包里的内容是干嘛的,我能 着重说这俩 ,你在这俩 文件夹里不还上能 找到八个jar包,而且这八个还不还上能 用于后边的编程,而且你却说我 还上能 在后边找到pom却说我 用于构建的xml。也别急,也别满世界找,哪此依赖库得等你把它放进linux上才会总出 (当然不还上能 命令)。

默认的hostname肯能你不设置,却说我 127.0.0.1,却说我 你把这俩 hostname设置成192.168.10.11即可,却说我 你重启下kafka server端,就能执行第5步了。

1.   启动zookeeper server :bin/zookeeper-server-start.sh ../config/zookeeper.properties  & (用&是为了能退出命令行)

肯能你还是云里雾里的,建议你回头去看看上篇文章,将kafka分布式基本原理的,kafka实际操作是要建立在对原理熟悉的情形下的。

好了单机版就部署完了,那是完整性都是我把consumer的放进另一台机器上就算分布式了呢。是的,前提是,你还能运行到后边的第5步。在讲配置刚刚,大伙还是将上篇写的分布式来回顾一下,当然大伙繁复一下情形,按照实际部署的分析: