2 回答

TA貢獻(xiàn)18條經(jīng)驗(yàn) 獲得超4個(gè)贊
大數(shù)據(jù)的應(yīng)用場(chǎng)景特征:
1.?數(shù)據(jù)量大,TB->PB
2.?數(shù)據(jù)類(lèi)型繁多,結(jié)構(gòu)化、非結(jié)構(gòu)化文本、日志、視頻、圖片、地理位置等;
3.?商業(yè)價(jià)值高,但是這種價(jià)值需要在海量數(shù)據(jù)之上,通過(guò)數(shù)據(jù)分析與機(jī)器學(xué)習(xí)更快速的挖掘出來(lái);
4.?處理時(shí)效性高,海量數(shù)據(jù)的處理需求不再局限在離線計(jì)算當(dāng)中。
Hadoop作為大數(shù)據(jù)框架被廣泛使用,Hadoop生態(tài)圈:
文件存儲(chǔ):Hadoop HDFS、Tachyon、KFS
離線計(jì)算:Hadoop MapReduce、Spark
流式、實(shí)時(shí)計(jì)算:Storm、Spark Streaming、S4、Heron
K-V、NOSQL數(shù)據(jù)庫(kù):HBase、Redis、MongoDB
資源管理:YARN、Mesos
日志收集:Flume、Scribe、Logstash、Kibana
消息系統(tǒng):Kafka、StormMQ、ZeroMQ、RabbitMQ
查詢(xún)分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式協(xié)調(diào)服務(wù):Zookeeper
集群管理與監(jiān)控:Ambari、Ganglia、Nagios、Cloudera Manager
數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí):Mahout、Spark MLLib
數(shù)據(jù)同步:Sqoop
任務(wù)調(diào)度:Oozie
這么多技術(shù),取決于自己喜歡研究哪個(gè)方向,自己決定吧。
添加回答
舉報(bào)