Apache Hive筆記(一)_Hive分散式資料倉儲系統介紹_Hive CLI和beeline CLI

-





Hive
是Hadoop當中一個極重要的子專案，與HDFS協同合作成為Hadoop上的資料倉儲架構，Hive提供相近於T-SQL的查詢語言稱為Hive QL。

Hive QL提供使用者執行部份與SQL類似的操作，如常見的資料定義(DDL)操作及資料操
作語言(DML)等

目前Hive QL並不完全支援目前SQL提供的所有的函式，如預存程序與觸發程序等。與Hadoop中的MapReduce程式技術結合後，可自動的將Hive QL語言轉换為MapReduce Task，使用者可容易的使用Hive QL對HDFS中的海量資料進行分析處理，不需要再以Java語言自行撰寫MapReduce程式。

目前Hive提供透過JDBC與ODBC及Thrift等方式來與Hive進行連接

Thrift是Facebook在2007年交給Apache軟體基金會的開源專案，主要目的是為了解決Facebook在不同系統中大資料量的傅輸通訊，及系統之間所使用的不同軟體語言與異質環境而訂定的跨平台軟體服務，其支援C++、C#、Haskell、Java、Ocami、Per、PHP、Python、Ruby、Smalltalk等多種不同的程式語言間的通訊，並可作為二進位的高性能的通訊中介軟體，支援資料及物件的序列化和多種類型的RPC服務etaStore為Hive的系統目錄架構，負責Hive中介資料的存放，如資料表的格式、屬性等，因Hive儲存建立在HDFS架構上，在Hive下每張資料表實體存放位置皆會對應到HDFS中的檔案目錄。

Hive提供使用者兩種操作模式為Web UI及命令列介面，來進行對Hive執行Hive QL指令，
Hive QL對MetaStore的中介資料進行分析後，透過Driver中的编譯器轉换為
MapReduce Task後，將該工作交給Hadoop進行資料處理。


Apache Hive 是一種容錯的分散式資料倉儲系統，可進行大規模分析。資料倉儲提供資訊的中央存放區，可以輕鬆分析資料以作出明智且資料導向的決策。Hive 讓客戶使用 SQL 讀取、寫入與管理 PB 級資料。

Hive 建構在 Apache Hadoop 之上，這是一個用於有效儲存和處理大型資料集的開源框架。因此，Hive 與 Hadoop 密切整合，並且旨在快速處理 PB 的資料。Hive 獨一無二之處是能夠利用 Apache Tez 或 MapReduce 查詢大型資料集，並具有類似 SQL 的介面。

Hive 是為了允許熟悉 SQL 的非程式設計師使用類似 SQL 的介面，使用稱為 HiveQL 類似的 SQL 介面處理資料。傳統關聯式資料庫專為對中小型資料集進行互動式查詢而設計，並且不能很好處理大量資料集。Hive 是使用批次處理，以便在非常大的分散式資料庫中快速執行。

Hive配置文檔目錄下內容
[cloudera@cdh6 ~]$ ls -l /etc/hive/conf/
total 64
-rw-r--r-- 1 root root   20 Jan 31  2023 __cloudera_generation__
-rw-r--r-- 1 root root   70 Jan 31  2023 __cloudera_metadata__
-rw-r--r-- 1 root root 3656 Jan 31  2023 core-site.xml
-rw-r--r-- 1 root root  617 Jan 31  2023 hadoop-env.sh
-rw-r--r-- 1 root root 1705 Jan 31  2023 hdfs-site.xml
-rw-r--r-- 1 root root 2655 Jan 31  2023 hive-env.sh
-rw-r--r-- 1 root root 6493 Jan 31  2023 hive-site.xml
-rw-r--r-- 1 root root  310 Jan 31  2023 log4j.properties
-rw-r--r-- 1 root root 5299 Jan 31  2023 mapred-site.xml
-rw-r--r-- 1 root root 1661 Jan 31  2023 redaction-rules.json
-rw-r--r-- 1 root root  315 Jan 31  2023 ssl-client.xml
-rw-r--r-- 1 root root  190 Jan 31  2023 topology.map
-rwxr-xr-x 1 root root 1594 Jan 31  2023 topology.py
-rw-r--r-- 1 root root 3674 Jan 31  2023 yarn-site.xml
[cloudera@cdh6 ~]$



找尋Hive Default資料庫的預設位置
(不同版本的預設位置可能不同)
[cloudera@cdh6 ~]$ cat /etc/hive/conf/hive-site.xml | grep warehouse.dir -B 1 -A 2
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
  </property>
[cloudera@cdh6 ~]$

hive.metastore.warehouse.dir
Hive的預設資料庫(default)的HDFS目錄位置

/user/hive/warehouse
位在Hive default資料庫的表格
預設每一個表格對應於此目錄下的子目錄,子目錄名字等於表格名字

對照Cloudera Manager


hive指令與beeline指令
hive指令:
  • 直接連線到Hadoop Cluster(同時具有hive metadstore與hadoop cluster客戶端的身分)
  • 這是 Hive 的原始命令行工具，用於直接與 Hive 進行互動。
  • 使用 Hive CLI，用戶可以執行 HiveQL 語句，如創建表、執行查詢等。它運行在 HiveServer1 上，直接與元數據庫通信。
  • Hive CLI 直接運行在用戶端，並與後端的 Hive 服務器進行互動，這可能導致安全性和維護性的問題。

beeline指令:
  • 連線到Hive2 Server(beeline只是hive2 server的client端,不需要連線到hadoop cluster)
  • 由hive2 server執行HQL產生MR/Spark JOB並submit到Hadoop Cluster執行。
  • 這是一個基於 JDBC 的 Hive 命令行工具，用於與 HiveServer2 互動。
  • Beeline 通過JDBC連接到HiveServer2，提供了一種更安全、可靠方式來執行 Hive 查詢。

[cloudera@cdh6 ~]$ which hive
/usr/bin/hive
[cloudera@cdh6 ~]$ which beeline
/usr/bin/beeline
[cloudera@cdh6 ~]$

HiveServer
HiveServer是 Apache Hive 提供的一種服務，它允許客戶端使用多種支持的協議來執行 HiveQL 查詢。主要有兩個版本分別為HiveServer1 和 HiveServer2。
對於 HiveServer1，通常可以直接通過 Hive CLI 連接


# 檢查 HiveServer1
ps -ef | grep HiveServer1

# 檢查 HiveServer2
ps -ef | grep HiveServer2

[cloudera@cdh6 ~]$ ps -ef | grep HiveServer1
cloudera 27894 23727  0 15:51 pts/2    00:00:00 grep --color=auto HiveServer1

[cloudera@cdh6 ~]$ ps -ef | grep HiveServer2
hive      4518  4093  0 Dec28 ?        00:01:19 /usr/java/jdk1.8.0_232-cloudera/bin/java -Dproc_jar -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv4Stack=true -Xms52428800 -Xmx52428800 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/hive_hive-HIVESERVER2-6c57b1a598e149581e1d58acf4880987_pid4518.hprof -XX:OnOutOfMemoryError=/opt/cloudera/cm-agent/service/common/killparent.sh -Dlog4j.configurationFile=hive-log4j2.properties -Dlog4j.configurationFile=hive-log4j2.properties -Djava.util.logging.config.file=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/bin/../conf/parquet-logging.properties -Dyarn.log.dir=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/logs -Dyarn.log.file=hadoop.log -Dyarn.home.dir=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/libexec/../../hadoop-yarn -Dyarn.root.logger=INFO,console -Djava.library.path=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/lib/native -Dhadoop.log.dir=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hadoop -Dhadoop.id.str=hive -Dhadoop.root.logger=INFO,console -Dhadoop.policy.file=hadoop-policy.xml -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/lib/hive-service-2.1.1-cdh6.3.2.jar org.apache.hive.service.server.HiveServer2 --hiveconf hive.aux.jars.path=file:///opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib/hive-exec-2.1.1-cdh6.3.2-core.jar,file:///opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib/hive-exec-core.jar
cloudera 27903 23727  0 15:51 pts/2    00:00:00 grep --color=auto HiveServer2
[cloudera@cdh6 ~]$









[cloudera@cdh6 ~]$ hdfs dfs -ls /user/hive
Found 1 items
drwxrwxrwt   - hive hive          0 2020-09-04 17:03 /user/hive/warehouse


Hive CLI進入
直接連線到Hadoop Cluster,所以此主機也必須是Hadoop客戶端。

[cloudera@cdh6 ~]$ hive
WARNING: Use "yarn jar" to launch YARN applications.
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/log4j-slf4j-impl-2.8.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/hive-common-2.1.1-cdh6.3.2.jar!/hive-log4j2.properties Async: false

WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive> 

官方建議改用beeline連線到HiveServer2



hive> show databases;
OK
default
Time taken: 0.315 seconds, Fetched: 1 row(s)
hive> create database db1;
OK
Time taken: 0.204 seconds
hive> show databases;
OK
db1
default
Time taken: 0.161 seconds, Fetched: 2 row(s)
hive> select current_database();
OK
default
Time taken: 0.478 seconds, Fetched: 1 row(s)
hive> use db1;
OK
Time taken: 0.023 seconds
hive> select current_database();
OK
db1
Time taken: 0.083 seconds, Fetched: 1 row(s)
hive> !q
    > quit();
Exception raised from Shell command Failed to execute q
quit()
hive> quit;
[cloudera@cdh6 ~]$ hdfs dfs -ls /user/hive/warehouse/
Found 4 items
drwxrwxrwt   - cloudera hive          0 2024-12-29 13:46 /user/hive/warehouse/db1.db
drwxrwxrwt   - admin    hive          0 2020-09-03 16:32 /user/hive/warehouse/sample_07
drwxrwxrwt   - admin    hive          0 2020-09-03 16:32 /user/hive/warehouse/sample_08
drwxrwxrwt   - admin    hive          0 2020-09-03 16:32 /user/hive/warehouse/web_logs
[cloudera@cdh6 ~]$

beeline CLI進入
beeline只連線到Hive2 Server,之後由Hive2 Server連線到Hadoop Cluster。
[cloudera@cdh6 ~]$ beeline -u jdbc:hive2://cdh6:10000 -n cloudera

顯示所連線的Hive Server有哪些資料庫存在
0: jdbc:hive2://cdh6:10000> show databases;
登入後,預設位置在default資料庫
0: jdbc:hive2://cdh6:10000> select current_database();
目前所在資料庫裡有那些表格存在
0: jdbc:hive2://cdh6:10000> show tables;


Hive CLI創建table並透過desc指令查看table結構
hive> create table t1
    > (col1 int,col2 varchar(10))
    > row format delimited
    > fields terminated by ','
    > stored as textfile;
OK
Time taken: 1.639 seconds
hive> desc t1;
OK
col1                    int
col2                    varchar(10)
Time taken: 0.235 seconds, Fetched: 2 row(s)
hive>


beeline CLI透過desc指令查看table結構
0: jdbc:hive2://cdh6:10000> desc t1;
INFO  : Compiling command(queryId=hive_20241229164041_8ea3659b-0225-49d1-b049-082ed0fd0a7b): desc t1
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:col_name, type:string, comment:from deserializer), FieldSchema(name:data_type, type:string, comment:from deserializer), FieldSchema(name:comment, type:string, comment:from deserializer)], properties:null)
INFO  : Completed compiling command(queryId=hive_20241229164041_8ea3659b-0225-49d1-b049-082ed0fd0a7b); Time taken: 0.206 seconds
INFO  : Executing command(queryId=hive_20241229164041_8ea3659b-0225-49d1-b049-082ed0fd0a7b): desc t1
INFO  : Starting task [Stage-0:DDL] in serial mode
INFO  : Completed executing command(queryId=hive_20241229164041_8ea3659b-0225-49d1-b049-082ed0fd0a7b); Time taken: 0.044 seconds
INFO  : OK
+-----------+--------------+----------+
| col_name  |  data_type   | comment  |
+-----------+--------------+----------+
| col1      | int          |          |
| col2      | varchar(10)  |          |
+-----------+--------------+----------+
2 rows selected (0.416 seconds)
0: jdbc:hive2://cdh6:10000>


0: jdbc:hive2://cdh6:10000> desc formatted t1;

查詢SELECT運行

0: jdbc:hive2://cdh6:10000> select * from t1;
INFO  : Compiling command(queryId=hive_20241229164441_d6147638-c6d2-4609-a354-3b8912751f67): select * from t1
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:t1.col1, type:int, comment:null), FieldSchema(name:t1.col2, type:varchar(10), comment:null)], properties:null)
INFO  : Completed compiling command(queryId=hive_20241229164441_d6147638-c6d2-4609-a354-3b8912751f67); Time taken: 0.08 seconds
INFO  : Executing command(queryId=hive_20241229164441_d6147638-c6d2-4609-a354-3b8912751f67): select * from t1
INFO  : Completed executing command(queryId=hive_20241229164441_d6147638-c6d2-4609-a354-3b8912751f67); Time taken: 0.0 seconds
INFO  : OK
+----------+----------+
| t1.col1  | t1.col2  |
+----------+----------+
+----------+----------+
No rows selected (0.123 seconds)
0: jdbc:hive2://cdh6:10000>









Ref:
https://hive.apache.org/
https://aws.amazon.com/tw/what-is/apache-hive/
https://data-flair.training/blogs/apache-hive-architecture/
https://ithelp.ithome.com.tw/articles/10194882

留言

張貼留言

這個網誌中的熱門文章

何謂淨重(Net Weight)、皮重(Tare Weight)與毛重(Gross Weight)

-
圖片
當談到貨物的重量時，往往會分成所謂的淨重(Net Weight)與毛重(Gross Weight)。 會有以下公式關係存在 淨重=毛重-皮重(包裝物的重量) 毛重=淨重+皮重 淨重( Net Weight 縮寫為N.W.) 指物品本身的重量，不包括容器或包裝材料的重量。 凈重是國際貿易中最常見的計重辦法。 例如，如果運輸原材料，原材料的重量就是所運輸貨物的淨重。包裝原材料的容器或包裝不計入淨重。同樣地，當我們考慮一罐豆子時，罐子內所含物品的重量就算作淨重。因此，淨重將包括豆子、罐頭里的任何液體，以及保存豆子所含的物品。 大多數 以重量為計價的貨物買賣 ，採用此計價方法。 若合同中並未明確規範以何種方式計量和計價時，按慣例以凈重計價。 毛重( Gross Weight 縮寫G.W.) 貨物連同它的包裝的重量，是你托運的所有物品的總重量。 皮重(Tare Weight) 指商品外包裝材料的重量(即運輸包裝的重量)，不包括內包裝材料和襯墊物的重量。 比方一個空的貨櫃、容器、或任何包裝材料的重量。 Net Net Weight純淨重 (指從Net Weight中扣除內包裝後的重量) 進出口商品為了因應運輸及消費需求, 一般都有內包裝與外包裝。 一般在買賣合同與信用狀中,通常只要求於裝箱單上註明Gross Weight和Net Weight即可, 但有些L/C 要求 Net Net Weight,大多是海關徵收從量稅時的依據 運輸重量對於航運業或者航空運輸等各自都通用這些術語 為何特別在意重量? 主要就在於會影響像是傳輸安全乘載限制。 就運輸層面(不同方式的運輸) 航空運輸：對機長而言，毛重包括皮重、產品淨重以及飛機、燃料、乘客和機組人員的重量。 公路/鐵路運輸:對於火車車長而言，毛重包括產品淨重、皮重和運輸車輛的重量。 水路航運運輸：對船長而言，毛重就是淨重和皮重之和。 就公司ERP成本角度 成本一般都會採用 "淨重" 主要是因為若用毛重，可能會有輔材不可控因素存在 比方一個 5cm 固定塑膠件，今天用一個 10cm 紙箱測重，明天用一個 100cm 紙箱測重，那可能就容易導致ERP資料比較會失真。 就物流層面來探討 通常還會有一名詞即所謂「實際重量」(Actual Weight) 根據稱重(過磅)所得到的重量，實際重量分為實際毛重(Gross Weig...
閱讀完整內容

Architecture(架構) 和 Framework(框架) 有何不同?_軟體設計前的事前規劃的藍圖概念

-
圖片
一個應用程式(軟體) 不管是  互動拍照 也好、 投影也好、車牌偵測... 舞台演唱會後方電視牆的互動應用程序、 粒子特效、3D或2D遊戲  等等 開發者通常都需要在一開始做規劃 ㄟ  假設我今天要寫 跟影像有關 可能需要偵測、可能需要提取前景、可能需要偵測圓形 之類的 我有  emgucv 、AForge.Net、 opencv 等等可以用 但是 假設我今天要做的應用程序是需要有視窗介面的~~ emgucv 跟 C# windows form 媒合性 就很高 而且直接在 visual studio 做開發 opencv 我可能還需要依賴 Qt 之類等等  framework 假設我今天是要寫一個 演唱會電視牆互動粒子特效 可能就會挑   openframeworks  、 processing 、kinect 來寫互動 Achitecture  --->全稱 :  Software Architecture   軟體架構 Achitecture   由好多 framework 組成 軟體架構（Software Architecture）是一種軟體在開發前的設計藍圖， 用來告訴軟體的結構，功能，介面，用法，與其他系統的構連以及資料交換等等規範， 但它並沒有叫你要用什麼方式實作， 因此軟體架構通常會產生文件，圖樣，原型以及規格等， 就是沒有可用的程式碼，因為那不是軟體架構應該有的東西， 就像蓋房子時是給你藍圖，而不是一幢蓋好的房子。 軟體框架（Framework):是一個已經成形的方法，而且有程式碼實體 （例如鋼構工法也是要有鋼材才能做），並且會告訴你要如何使用它 （即 Framework Documentation，MSDN Library 即為一最佳例子）
閱讀完整內容

經得起原始碼資安弱點掃描的程式設計習慣培養(五)_Missing HSTS Header

-
圖片
  接續前幾篇系列 經得起原始碼資安弱點掃描的程式設計習慣培養(一)_OWASP Top 10(十大網站安全風險)_學習寫更安全程式碼的網站推薦 經得起原始碼資安弱點掃描的程式設計習慣培養(二)_8.Insecure Deserialization ：不安全的反序列化漏洞ASP.NET處理方式 經得起原始碼資安弱點掃描的程式設計習慣培養(三)_7.Cross Site Scripting(XSS)_Stored XSS_Reflected XSS All Clients 經得起原始碼資安弱點掃描的程式設計習慣培養(四)_1.Injection注入攻擊_SQL Injection)_order by 語句正確參數化套入 最近又遇到被若安掃描到高風險要修正的程式碼啦.... 一看這還真是搞不懂該怎麼修呢 HSTS(HTTP Strict Transport Security)  主要是一份國際標準規格 (RFC 6797) 的網際網路瀏覽安全機制， 用於宣告瀏覽器與伺服器之間通訊方式必須強制採用 TLS/SSL 加密通道。 只要從伺服器端送出一個 Strict-Transport-Security 標頭 (Header) 給瀏覽器，即可告知瀏覽器於未來的某段時間內一律使用 SSL 來和該網站連接 (設定可涵蓋所有子域名網站)， 一旦發生憑證失效情況，使用者將無法再瀏覽該網站，如此一來便可大幅減少中間人攻擊的問題發生。 再更白話一點 HSTS Header 就是負責將 http 強制轉為 https CheckMarx掃碼報告給的說明 ============================================================ 風險: 如果web config沒有設置HSTS表頭、"max-age"(有效期)不足一年， 或沒有設定"includeSubDomains"(包含所有子網域)，可能會使用戶容易遭受中間人攻擊。 發生原因: 許多使用者只要在瀏覽器的網址列輸入網域名稱(Domain Name)即可瀏覽網站， 並沒有輸入協定(Protocol)的名稱。 瀏覽器會自動假設使用者使用的是HTTP協定而不是有加密機制的HTTPS協定。 在第一次發出前往特定網站的請求時，攻擊者可以執行中間人攻擊並將用戶轉址到...
閱讀完整內容