-
Zookeeper 文件系統(tǒng)
查看全部 -
Storm 主從架構(gòu)
查看全部 -
Storm 的誕生
查看全部 -
文件系統(tǒng)
每個目錄都是一個znode節(jié)點
zonde節(jié)點可直接存儲數(shù)據(jù)
類型:持久化、持久化順序、臨時、臨時順序
查看全部 -
zookeeper
查看全部 -
storm組件
查看全部 -
storm原理
查看全部 -
架構(gòu)類型:
主從架構(gòu):簡單,高效,但主節(jié)點存在單點問題(HDFS,YARN,storm,hbase,spark,flumk)
對稱架構(gòu):復(fù)雜,效率較低,但無單點問題,更加可靠(zookeeper,kafka)
查看全部 -
特性:
使用場景廣泛:實時處理和更新,持續(xù)并行化查詢,滿足大量場景
可伸縮性高:擴展計算任務(wù),只需要加機器并提高并行度(使用zookeeper框架)
保證數(shù)據(jù)無丟失:保證每條消息都會被處理
異常健壯:集群易管理,可輪流重啟節(jié)點
容錯性好:消息處理過程出現(xiàn)異常,會進行重試(分布式計算框架都有的特性)
語言無關(guān)性:topology可以用多種語言編寫(c,java,python)
查看全部 -
cat /etc/sysconfig/network
cat /etc/hosts
查看全部 -
連接本地服務(wù)器:zkCli
查看命令:ls或ll
查看根目錄:ls /
查看磁盤配額:ls /zookeeper
查看數(shù)據(jù):get /zookeeper/quota
創(chuàng)建持久化目錄:create /test abc
查看: ls /test
獲取數(shù)據(jù):get /test
修改數(shù)據(jù):set /test 123
刪除目錄:rmr /test
查看全部 -
核心功能2:通知機制<br/>查看全部
-
核心功能1:文件系統(tǒng)(Linux就是一個文件系統(tǒng))
查看全部 -
分布式協(xié)調(diào)服務(wù)框架
查看全部 -
電飯煲查看全部
-
使用zkCli.sh連接不同的zookeeper節(jié)點 --server host:port --connect host:port 可以使用 ls 查看各個命令的具體用法查看全部
-
查看 zookeeper狀態(tài) zkServer.sh status follower 從節(jié)點 leader 主節(jié)點查看全部
-
在zookeeper目錄中,建立data文件夾, 在data文件夾下建立 myid文件 在不同的機器上,分別該myid中的信息為 1 2 3查看全部
-
在zoo.cfg文件末尾添加server.<id>信息 server.<id>=hostname:2888:3888 2888: zookeeper 數(shù)據(jù)同步端口 3888: zookeeper節(jié)點需要選主,從節(jié)點需要向主節(jié)點同步數(shù)據(jù) server.1=hadoop001:2888:3888 server.2=hadoop003:2888:3888 server.3=hadoop005:2888:3888 用奇數(shù)機器 1 3 5查看全部
舉報