HDFS指令和cloudera manager網頁管理介面筆記

-


cloudera manager網頁管理介面
(另外一套Apache Ambari也是類似網頁管理工具，是開源的。)
Cloudera Manager是Cloudera專門for Hadoop所釋出的管理工具，分免費與企業版本。 

點開NameNode網頁介面
Browse the file system







在 Hadoop 的 HDFS 架構中，NameNode 是核心元件之一。
它的兩個主要 Port 分別具有不同的用途：

一個是8020的 RPC port
用於 DataNode 和 NameNode 之間的內部通信。
客戶端（例如 Hadoop 的 FileSystem API 或 CLI）會通過這個 Port 與 NameNode 交互，執行文件系統相關的操作（例如讀寫文件、創建目錄、刪除文件等）。
負責處理 Hadoop Distributed File System (HDFS) 的 RPC（Remote Procedure Call）請求。


一個是web ui port
CDH5版本50070    (Hadoop 1.x)
CDH6版本9870     (Hadoop 2.x 及以上版本)
提供 Web 介面，讓用戶可以通過瀏覽器查看 HDFS 的狀態和統計信息。
支援用戶檢視文件系統的目錄結構、DataNode 的狀態、內存使用情況、複製因數等。
適用於系統監控和管理。

通常可以在 Hadoop 配置檔案（如 core-site.xml 和 hdfs-site.xml）中找到相關設定。
Hadoop 配置檔案路徑確認
ls -l /etc/hadoop/conf/
cat /etc/hadoop/conf/core-site.xml
cat /etc/hadoop/conf/hdfs-site.xml




其他配置檔路徑
Spark:
ls -l /etc/spark/conf/
Hive:
ls -l /etc/hive/conf/
Apache Flume:
ls -l /etc/flume-ng/conf/

目前登入的os user資訊


查看hdfs block的副本個數(正式環境建議要設置至少3個)
cat /etc/hadoop/conf/hdfs-site.xml | grep replication -A 1


目前hdfs工具連線到哪個Hadoop cluster?
cat /etc/hadoop/conf/core-site.xml | grep defaultFS -B 1 -A 2

指定明確的目標所要連線的Hadoop Cluster位置
hdfs dfs -ls hdfs://cdh6:8020/user/cloudera




查看HDFS幫助文檔
hdfs --help




hdfs跟yarn本身底層都是一個shell檔案運行








關於hdfs dfs 跟hadoop dfs差異?
指令同等紀錄
hadoop fs = hdfs dfs
hadoop jar = yarn jar
fs是檔案系統， dfs是分散式檔案系統。
在 Hadoop 的文件系統操作中
hdfs dfs :
Hadoop 2.x 及以上，推薦使用，標準化操作方式，專注於 HDFS。
  • 專門用於與 HDFS（Hadoop Distributed File System） 進行互動。
  • 提供與 HDFS 文件系統的操作指令，例如：
    創建目錄、上傳文件到 HDFS、下載文件、檢視文件內容等。
hdfs dfs -ls /   # 列出 HDFS 根目錄下的文件和目錄
hdfs dfs -put localfile /hdfs/path   # 將本地文件上傳到 HDFS
hdfs dfs -get /hdfs/path localfile   # 從 HDFS 下載文件到本地

hadoop dfs :
Hadoop 1.x在使用的指令，已被標記為過時（deprecated）。






陳列hdfs家目錄清單
hdfs dfs -ls 是 Hadoop 中用於檢視 HDFS（Hadoop Distributed File System） 目錄內容的指令，類似於 Linux 中的 ls 命令。它能幫助我們了解目錄下的文件結構、屬性、權限等詳細資訊。

hdfs dfs -ls
hdfs dfs -ls /user/cloudera
對照web UI
明確要求顯示某個HDFS目錄
(是否能夠成功顯示,要看當前使用者權限有無滿足所要查看HDFS目錄的權限設定)
因Hadoop無自己的身分驗證系統,所以會仰賴hadoop client端所提供的os user當作hadoop user。
在HDFS下,最高權限者為hdfs,不是root!
hdfs dfs -ls /
hdfs dfs -ls /user/



上傳本地端檔案到HDFS 
hdfs dfs -put localfile remotefile

被依照128MB 拆分兩個Block，預設HDFS Block Size為128M。
該檔案200M(預設HDFS blocksize若為128M,則此檔案將被分成2個HDFS block)

HDFS 建議使用情境應該要是大量的大檔案(至少>=100MB)，而非即大量的小檔案所組成。

第二個區塊

再上傳一個檔案從web 介面跟指令確認上傳成功與否

以這個檔案較大，會拆分成比較多個Block。



HDFS下載檔案指令
從HDFS將一個目錄下載到Local Filesystem的一個目錄
hdfs dfs -get 目標檔案名稱


hdfs fsck 指令
hdfs fsck [path] [options]
hdfs fsck 是 Hadoop 中的一個診斷命令，用於檢查 HDFS 文件系統的健康狀態。它可以幫助你分析文件的狀態，檢查數據是否損壞、不一致，或者是否存在丟失的塊。是一個readonlt命令，執行時不會對 HDFS 進行任何更改。

檢查 /user/cloudera 目錄的健康狀況
hdfs fsck /user/cloudera
返回文件的複製因子、塊分佈和丟失的塊。


Status :文件系統狀態，可能是 HEALTHY 或有問題（如損壞或丟失塊）。
Total size :文件的總大小（字節）。
Total dirs :目錄的總數量。
Total files :文件的總數量。
Total blocks :檢查的塊數量。
Under-replicated blocks :複製因子不足的塊數量。
Over-replicated blocks :複製因子超過要求的塊數量。
Corrupt blocks :損壞的塊數量（需要關注）。
Missing replicas :丟失的塊副本數量。

顯示HDFS file的組成區塊
hdfs fsck -blocks -files /user/cloudera/spark-2.4.0-bin-hadoop2.7.tgz

每個hdfs block其實是data node主機local filesystem的一個檔案

建立一個HDFS目錄

 hdfs dfs -mkdir testdir


為何我用hdfs dfs -ls /user/cloudera有列出但是在終端嘗試要cd到 /user/cloudera不會成功?

因為HDFS（Hadoop Distributed File System） 和 本地文件系統（Local File System） 是兩個完全不同的文件系統。終端的 cd 命令操作的是本地文件系統。因此，無法直接使用 cd 切換到 HDFS 路徑。


從HDFS將HDFS file內容顯示在hdfs工具的客戶端
hdfs dfs -cat
hdfs dfs -cat emp1.csv



DataNode資料(HDFS block)存放位置預設放在/dfs/dn


使用webHDFS陳列目錄(返回REST API JSON) 跟 hdfs對照
curl http://cdh6:9870/webhdfs/v1/user/cloudera?op=liststatus
hdfs dfs -ls

要特別留意,當使用webHDFS時,http所連線的主機為NameNode(Active)的webUI port。

使用Cloudera Manager啟動flume
 Cluser 1 -> Flume -> Instances -> "Agent" + start








Flume Agent所監聽的source port
使用netcat客戶端(nc)連線到localhost:9999。打印訊息做測試會返回OK。


當前Agent的sink設定為logger(因此source所輸入訊息將寫入到Flume-ng.log)
也可透過WEB UI去查看。
Cluser 1 -> Flume -> Instances -> Agent -> Logs -> Role log file






Cloudera Manager is a management application for Hadoop clusters
Cloudera Manager管理控制台
管理大象的好幫手-Cloudera Manager
hadoop fs、hadoop dfs、hdfs dfs的差別

https://how64bit.com/categories/hadoop/
ssh cloudera@192.168.56.103

留言

張貼留言

這個網誌中的熱門文章

何謂淨重(Net Weight)、皮重(Tare Weight)與毛重(Gross Weight)

-
圖片
當談到貨物的重量時，往往會分成所謂的淨重(Net Weight)與毛重(Gross Weight)。 會有以下公式關係存在 淨重=毛重-皮重(包裝物的重量) 毛重=淨重+皮重 淨重( Net Weight 縮寫為N.W.) 指物品本身的重量，不包括容器或包裝材料的重量。 凈重是國際貿易中最常見的計重辦法。 例如，如果運輸原材料，原材料的重量就是所運輸貨物的淨重。包裝原材料的容器或包裝不計入淨重。同樣地，當我們考慮一罐豆子時，罐子內所含物品的重量就算作淨重。因此，淨重將包括豆子、罐頭里的任何液體，以及保存豆子所含的物品。 大多數 以重量為計價的貨物買賣 ，採用此計價方法。 若合同中並未明確規範以何種方式計量和計價時，按慣例以凈重計價。 毛重( Gross Weight 縮寫G.W.) 貨物連同它的包裝的重量，是你托運的所有物品的總重量。 皮重(Tare Weight) 指商品外包裝材料的重量(即運輸包裝的重量)，不包括內包裝材料和襯墊物的重量。 比方一個空的貨櫃、容器、或任何包裝材料的重量。 Net Net Weight純淨重 (指從Net Weight中扣除內包裝後的重量) 進出口商品為了因應運輸及消費需求, 一般都有內包裝與外包裝。 一般在買賣合同與信用狀中,通常只要求於裝箱單上註明Gross Weight和Net Weight即可, 但有些L/C 要求 Net Net Weight,大多是海關徵收從量稅時的依據 運輸重量對於航運業或者航空運輸等各自都通用這些術語 為何特別在意重量? 主要就在於會影響像是傳輸安全乘載限制。 就運輸層面(不同方式的運輸) 航空運輸：對機長而言，毛重包括皮重、產品淨重以及飛機、燃料、乘客和機組人員的重量。 公路/鐵路運輸:對於火車車長而言，毛重包括產品淨重、皮重和運輸車輛的重量。 水路航運運輸：對船長而言，毛重就是淨重和皮重之和。 就公司ERP成本角度 成本一般都會採用 "淨重" 主要是因為若用毛重，可能會有輔材不可控因素存在 比方一個 5cm 固定塑膠件，今天用一個 10cm 紙箱測重，明天用一個 100cm 紙箱測重，那可能就容易導致ERP資料比較會失真。 就物流層面來探討 通常還會有一名詞即所謂「實際重量」(Actual Weight) 根據稱重(過磅)所得到的重量，實際重量分為實際毛重(Gross Weig...
閱讀完整內容

Architecture(架構) 和 Framework(框架) 有何不同?_軟體設計前的事前規劃的藍圖概念

-
圖片
一個應用程式(軟體) 不管是  互動拍照 也好、 投影也好、車牌偵測... 舞台演唱會後方電視牆的互動應用程序、 粒子特效、3D或2D遊戲  等等 開發者通常都需要在一開始做規劃 ㄟ  假設我今天要寫 跟影像有關 可能需要偵測、可能需要提取前景、可能需要偵測圓形 之類的 我有  emgucv 、AForge.Net、 opencv 等等可以用 但是 假設我今天要做的應用程序是需要有視窗介面的~~ emgucv 跟 C# windows form 媒合性 就很高 而且直接在 visual studio 做開發 opencv 我可能還需要依賴 Qt 之類等等  framework 假設我今天是要寫一個 演唱會電視牆互動粒子特效 可能就會挑   openframeworks  、 processing 、kinect 來寫互動 Achitecture  --->全稱 :  Software Architecture   軟體架構 Achitecture   由好多 framework 組成 軟體架構（Software Architecture）是一種軟體在開發前的設計藍圖， 用來告訴軟體的結構，功能，介面，用法，與其他系統的構連以及資料交換等等規範， 但它並沒有叫你要用什麼方式實作， 因此軟體架構通常會產生文件，圖樣，原型以及規格等， 就是沒有可用的程式碼，因為那不是軟體架構應該有的東西， 就像蓋房子時是給你藍圖，而不是一幢蓋好的房子。 軟體框架（Framework):是一個已經成形的方法，而且有程式碼實體 （例如鋼構工法也是要有鋼材才能做），並且會告訴你要如何使用它 （即 Framework Documentation，MSDN Library 即為一最佳例子）
閱讀完整內容

經得起原始碼資安弱點掃描的程式設計習慣培養(五)_Missing HSTS Header

-
圖片
  接續前幾篇系列 經得起原始碼資安弱點掃描的程式設計習慣培養(一)_OWASP Top 10(十大網站安全風險)_學習寫更安全程式碼的網站推薦 經得起原始碼資安弱點掃描的程式設計習慣培養(二)_8.Insecure Deserialization ：不安全的反序列化漏洞ASP.NET處理方式 經得起原始碼資安弱點掃描的程式設計習慣培養(三)_7.Cross Site Scripting(XSS)_Stored XSS_Reflected XSS All Clients 經得起原始碼資安弱點掃描的程式設計習慣培養(四)_1.Injection注入攻擊_SQL Injection)_order by 語句正確參數化套入 最近又遇到被若安掃描到高風險要修正的程式碼啦.... 一看這還真是搞不懂該怎麼修呢 HSTS(HTTP Strict Transport Security)  主要是一份國際標準規格 (RFC 6797) 的網際網路瀏覽安全機制， 用於宣告瀏覽器與伺服器之間通訊方式必須強制採用 TLS/SSL 加密通道。 只要從伺服器端送出一個 Strict-Transport-Security 標頭 (Header) 給瀏覽器，即可告知瀏覽器於未來的某段時間內一律使用 SSL 來和該網站連接 (設定可涵蓋所有子域名網站)， 一旦發生憑證失效情況，使用者將無法再瀏覽該網站，如此一來便可大幅減少中間人攻擊的問題發生。 再更白話一點 HSTS Header 就是負責將 http 強制轉為 https CheckMarx掃碼報告給的說明 ============================================================ 風險: 如果web config沒有設置HSTS表頭、"max-age"(有效期)不足一年， 或沒有設定"includeSubDomains"(包含所有子網域)，可能會使用戶容易遭受中間人攻擊。 發生原因: 許多使用者只要在瀏覽器的網址列輸入網域名稱(Domain Name)即可瀏覽網站， 並沒有輸入協定(Protocol)的名稱。 瀏覽器會自動假設使用者使用的是HTTP協定而不是有加密機制的HTTPS協定。 在第一次發出前往特定網站的請求時，攻擊者可以執行中間人攻擊並將用戶轉址到...
閱讀完整內容