Storm全分布式与并发

2020-04-20 280次浏览 已收录 0个评论

单机模式
$ storm安装目录下创建log: mkdir logs
下面分别启动ZooKeeper、Nimbus、UI、supervisor、logviewer
$ ./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &
$ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
$ ./bin/storm ui >> ./logs/ui.out 2>&1 &
$ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
$ ./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &
需要等一会儿

http://node01:8080
提交任务到Storm集群当中运行:
$ ./bin/storm jar ok.jar storm.wordcount.test wc


完全分布式安装部署

node1作为nimbus,

$ vim conf/storm.yaml
storm.zookeeper.servers:
– “node01”
– “node02”
– “node03”

storm.local.dir: “/tmp/storm”

nimbus.host: “node01”

supervisor.slots.ports:
– 6700
– 6701
– 6702
– 6703


在storm目录中创建logs目录
$ mkdir logs

集群当中所有服务器,同步所有配置!(分发)

启动ZooKeeper集群

node01上启动Nimbus
$ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
$ ./bin/storm ui >> ./logs/ui.out 2>&1 &

节点node02和node3启动supervisor,按照配置,每启动一个supervisor就有了4个slots
$ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &


提交任务

./bin/storm jar ./oo.jar wordcount.test wc

wcbolt一个线程执行两个任务,下面是调整

调整(4个work数量,调整wcbolt组件的任务分配一个线程对应一个任务)

调整后

渣渣龙, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Storm全分布式与并发
喜欢 (0)

您必须 登录 才能发表评论!