發表文章

目前顯示的是有「HBase」標籤的文章

HBase筆記

圖片
  什麼是 HBase? HBase 是基於Google的 BigTable 設計的Column導向的資料庫管理系統。它最初由LinkedIn創建,但後來被Yahoo!Inc. 收購,然後出售給 Apache軟體基金會 ,是Apache的Hadoop專案中的子專案。 是運行於HDFS檔案系統之上的(無法單獨運行) ,為Hadoop提供類似BigTable的服務。 它 是 column-oriented 的非關聯式資料庫 ,並 具有水平擴展的能力 。強調"讀寫當下的一致性",但非注重"最終的一致性"。 HBase 是一種基於 Hadoop 分佈式文件系統(HDFS)運行的欄位導向非關係型數據庫管理系統。 (column-oriented non-relational database management system) HBase其實在最早就跟Zooker,Pig,Sqoop,Mahout機器學習等工具 於2009~2009同一時期問世 https://www.altexsoft.com/blog/hadoop-pros-cons/ 從Hadoop生態架構圖上可看到像是Pig,Mahout,Hive與MapReduce的模組都涉及到HBase。 此外,HDFS模組也是在其之下,表示上述這些模組都是based on  HDFS。 https://semiconductor.samsung.com/us/support/tools-resources/dictionary/the-hadoop-ecosystem/ 何謂column-oriented儲存導向? 白話而言就有點類似傳統資料庫row-oriented儲存導向轉置 https://www.techtarget.com/searchdatamanagement/definition/columnar-database row-oriented Database特點  數據是按照row逐筆存儲的,row存儲的寫入是一個原子動作, 消耗的時間比column-oriented少,並且能夠保證數據的完整性 ,但也代表 數據讀取過程中會產生冗余的數據 。  沒有索引的查詢使用大量I/O,可通過索引加快查詢效率,但建立索引和物化視圖需要花費成本高,面對大量的查詢需求,Databas...