Cloudera公司的演進與曾經主流的Hadoop發行商版本_淺談CDH和CDP之間差異
https://www.whizlabs.com/blog/cloudera-and-hortonworks-merger/
Cloudera、Hortonworks 和 MapR 都是專門從事大數據和 Hadoop 生態系統的公司,他們在大數據領域中各有重要的地位,且各自的發展曲線和合作關係相當有趣。
Cloudera 這間公司是在2009年上市的,是早期 Hadoop 發展的領導者之一,提供基於 Apache Hadoop 的軟體和服務,他們提供了Cloudera Manager這項核心產品去整合整個Hadoop生態。相較另外兩間競爭對手來得更強大。以前Cloudera把所有hadoop軟體市場給吃下來,但後續Hadoop又被雲的市場超越了。Cloudera推出的Hadoop發行版主要為Cloudera Distribution of Hadoop (CDH) ,但該技術在當時為完全開源的,任何人都可以從其官網免費下載 CDH 進行安裝部署。竟然是開源的話,當時Cloudera又如何盈利呢?事實上產品安裝配置過程會遇到諸多問題,需要有專業人員、顧問來諮詢解決問題。因此Cloudera收入來源為透過這類解決客戶問題方式來收費存活。隨後因為營運問題產品逐漸轉為私有化,轉向訂閱形式按年計費。
Hortonworks 則是於 2011 年從 Yahoo! 分拆出來的公司,同樣專注於開發和支持基於 Hadoop 的平台。在 2018 年末,Cloudera 和 Hortonworks 宣布合併。合併後的公司保留了 Cloudera 的名稱,目的是結合兩家公司的技術和市場資源,加強在快速變化的大數據市場中的競爭力。過去為了和Cloudera的CDH競爭推出了HDP。Cloudera 跟HortonWorks 合併後,便推出了新的大數據平台CDP,並正逐步停止原有的大數據平台CDH 和HDP。
「Hortonworks」這個名稱來源於著名的Dr. Seuss兒童書中的角色「Horton the Elephant」(霍頓大象)。這家公司選擇這個名字,是因為大象同時也是Hadoop的象徵,而Hadoop正是Hortonworks構建其數據平台的核心技術。
MapR 是另一家重要的 Hadoop 發布版本提供商,成立於 2009 年。MapR 以其高性能、高可靠性的 Hadoop 發行版聞名,且其平台整合了 Hadoop 與其他大數據技術,如 Apache Drill 和 Apache Spark。不過,在 2019 年,MapR 面臨財務困難,最終被 HPE(惠普)收購。
Cloudera併購Hortonworks之後,決定改變過去商業模式,採用類似Redhat的訂閱制。開始從open source轉為私有化。帶來主要變革衝擊如下:
- 社群版不再更新。 Cloudera所有產品不再提供社群版,使用者無法取得新的功能。
- 社群版不再免費。 2021年1月31日開始,所有Cloudera軟體都需要有效的訂閱。
過去市面上主流的CDH與HDP版本對照
HDP2.x和CDH5.x對應的是hadoop2.x
HDP3.x和CDH6.x對應的是hadoop3.x
目前官方已經停止了對HDP2.x、HDP3.x和CDH5.X、CDH6.x的技術支持。
CDH 6.3.3以及更高版本的升級,需要有效的cloudera enterprise或cdp資料中心授權,cloudera express已停產,社群版提供升級最高停留在了CDH 6.3.2。過去在使用的CDH不再更新、不再免費、不再提供服務了,也不再提供補丁。
Cloudera Data Platform (CDP)
一個提供針對雲端環境的資料管理和處理功能的平台,支援多種雲端環境和資料處理工具,如Hadoop、Spark、Hive等等。
- 一致性(Consistency):安全性和治理策略設定一次並應用於所有資料和工作負載。
- 可攜性(Portability):即使資料在所有支援的基礎設施上移動,策略也與資料保持一致。
- 自助服務(Self-service):使用者可以有效地尋找、管理和共享數據,從而能夠存取可信任數據和分析。
Ref:
大數據公司 Cloudera 曾估值 41 億 為何 IPO 價值腰斬?
Cloudera宣布商業授權將完全採用訂閱制
Apache Hadoop兩大廠Cloudera與Hortonworks宣布合併
关于Cloudera软件的访问获取
如何看待從cloudera manager 6.3.3和CDH 6.3.3以後再無免費社群版本?
Cloudera Valuation Timeline: History, Founding
Upgrading CDH 6 to Cloudera Private Cloud Base
一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略
留言
張貼留言