Storm全分布式与并发

首页 » Storm » Storm全分布式与并发

单机模式
$ storm安装目录下创建log: mkdir logs
下面分别启动ZooKeeper、Nimbus、UI、supervisor、logviewer
$ ./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &
$ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
$ ./bin/storm ui >> ./logs/ui.out 2>&1 &
$ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
$ ./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &
需要等一会儿

http://node01:8080
提交任务到Storm集群当中运行:
$ ./bin/storm jar ok.jar storm.wordcount.test wc


完全分布式安装部署

node1作为nimbus,

$ vim conf/storm.yaml
storm.zookeeper.servers:
– “node01”
– “node02”
– “node03”

storm.local.dir: “/tmp/storm”

nimbus.host: “node01”

supervisor.slots.ports:
– 6700
– 6701
– 6702
– 6703


在storm目录中创建logs目录
$ mkdir logs

集群当中所有服务器,同步所有配置!(分发)

启动ZooKeeper集群

node01上启动Nimbus
$ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
$ ./bin/storm ui >> ./logs/ui.out 2>&1 &

节点node02和node3启动supervisor,按照配置,每启动一个supervisor就有了4个slots
$ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &


提交任务

./bin/storm jar ./oo.jar wordcount.test wc
Storm全分布式与并发

Storm全分布式与并发
wcbolt一个线程执行两个任务,下面是调整

调整(4个work数量,调整wcbolt组件的任务分配一个线程对应一个任务)

Storm全分布式与并发
调整后
Storm全分布式与并发
分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

 



觉得文章有用就打赏一下弟弟吧

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.5主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
正在播放:

作者想对您说:

累了就停下来听首歌吧

听完后会给您一个好心情

最后

等到您不容易

还希望您能多待一会儿

      00:00/00:00