所謂Hadoop其實就是Apache開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，主要解決海量數(shù)據(jù)存儲與計算的問題，是大數(shù)據(jù)技術(shù)中的基石。Hadoop以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理，主要特點如下：

　　1、海量數(shù)據(jù)存儲

　　HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(High throughput)來訪問數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集(large data set)的應(yīng)用程序,它由n臺運行著DataNode的機器組成和1臺(另外一個standby)運行NameNode進(jìn)程一起構(gòu)成。每個DataNode 管理一部分?jǐn)?shù)據(jù)，然后NameNode負(fù)責(zé)管理整個HDFS 集群的信息(存儲元數(shù)據(jù))。

　　2、資源管理，調(diào)度和分配

　　Apache Hadoop YARN(Yet Another Resource Negotiator，另一種資源協(xié)調(diào)者)是一種新的 Hadoop 資源管理器，它是一個通用資源管理系統(tǒng)和調(diào)度平臺，可為上層應(yīng)用提供統(tǒng) 一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。

　　3、并行數(shù)據(jù)處理

　　MapReduce算法要求你可以并行化你的數(shù)據(jù)處理。MapReduce在變量逐個處理的情況下工作得很好(例如，計數(shù)或聚合);但是，當(dāng)您需要共同處理變量(例如，變量之間有許多相關(guān)性)時，此模型不起作用。

　　任何基于圖形的數(shù)據(jù)處理(意味著依賴于其他數(shù)據(jù)的復(fù)雜數(shù)據(jù)網(wǎng)絡(luò))都不適合Hadoop的標(biāo)準(zhǔn)方法。話雖如此，相關(guān)的Apache Tez框架確實允許使用基于圖形的方法來處理數(shù)據(jù)，而不是更線性的MapReduce工作流程。

　　以上就是什么是hadoop?的內(nèi)容。