CDH Hadoop集群虛擬機本地配置搭建筆記_part5_安裝Cloudera Manager(6.3) Server跟Agent(關閉透明巨頁配置)

-





Cloduera Manager 管理介面
Cloudera Manager Web UI顯示，看起來有一台主機節點host2運行有問題沒出現。



預設剛開始歡迎介面









Step1.透明巨頁（Transparent HugePages, THP）的配置，避免消耗更多記憶體資源的風險。

透明巨頁是一種記憶體管理技術，用於自動將多個標準大小（通常是 4KB）的頁面合併為較大的頁面（例如 2MB 或更大），這可以減少頁面表的大小並提高應用程序的性能，尤其是在大量記憶體訪問的情況下。

不過，在某些情況下，如運行數據庫等特定類型的應用時，透明巨頁可能會導致性能下降。Hadoop 及其相關組件（如 HBase 和其他在大數據生態系統中運行的應用）可能會受到透明巨頁啟用時的負面影響，因為這些應用通常需要處理大量的隨機存取記憶體操作。

在三個節點都執行關閉透明巨頁配置
禁用透明巨頁的碎片整理
禁用透明巨頁
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
確保重新啟動後設置仍然有效
echo never >> /etc/rc.local  



查看透明巨頁是否啟用
cat /sys/kernel/mm/transparent_hugepage/enabled
輸出結果
[always] madvise never 表示透明巨頁始終啟用。
always [madvise] never 表示透明巨頁只在建議的時候啟用（madvise）。
always madvise [never] 表示透明巨頁從不啟用。

查看透明巨頁的碎片整理設置
cat /sys/kernel/mm/transparent_hugepage/defrag
輸出結果
[always] defer defer+madvise madvise never


像是host2尚未配置，所以預設是有開啟的

Step2.在host1上安裝server , agent，此外以下順序是固定的，優先安裝daemon!
server,agent安裝依賴於daemon

yum install -y cloudera-manager-daemons cloudera-manager-server   cloudera-manager-agent




Step3.在host2,host3安裝agent，一樣優先安裝daemon!
yum install -y cloudera-manager-daemons cloudera-manager-agent

安裝等一陣子

host1安裝好後結果



host2,host3安裝好後結果


step4.分別在host1~host3節點，cm server全指向host1
agent所在節點位置配置文件config.ini內容
vi /etc/cloudera-scm-agent/config.ini
server_host=host1



step5.在host1主機建目錄，並上傳mysql連接driver到/usr/share/java
創建目錄/usr/share/java
mkdir -p /usr/share/java

更名上傳
mysql-connector-java-5.1.47.jar ->mysql-connector-java.jar



step6.在host1初始化SCM資料庫
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm root root



step7.上傳以下的三個CDH6大數據服務組件資源package到host1上的/opt/cloudera/parcel-repo目錄
/opt/cloudera/parcel-repo 這個目錄是在安裝好cm server,cm agent後自動產生的目錄

CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel
CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha
manifest.json

這邊用Winscp上傳

step8.在主節點host上啟用Cloudera Manager Server

啟動server服務，查看server服務狀態，關閉和配置開啟時自動啟用。
systemctl start cloudera-scm-server
systemctl status cloudera-scm-server
systemctl enable cloudera-scm-server

查看server啟動配置的日誌
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log


大概要等3~5分鐘，可用以下指令查看port: 7180出現沒
netstat -nltp


要等一段時間，Cloudera Manager Server才會初始化並運行起來
由於CM Server初始化配置過程十分耗時，所以不會立即看到7180默認port運行起來。
要等它運行起來，才可以訪問Cloduera Manager Web UI管理介面。

經過漫長等待，終於等到7180運行起來。

這邊可用host1的IP對應Cloudera Manager Web UI端口去開啟訪問
預設會跳登入視窗
http://192.168.80.81:7180



step9.在三台節點host1,host2,host3各自啟動cloudera agent
systemctl start cloudera-scm-agent
systemctl status cloudera-scm-agent
systemctl enable cloudera-scm-agent
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log





在web ui上就能訪問的到三台主機的運行狀況，都被agent給監控。


step10.登入進去選擇授權方案並搭建cluster


預設帳密都是admin，登入進去後介面如下
這邊使用企業版本試用版本60天。
跳到搭建集群階段

命名我們集群名稱mycluster1

選擇Currently Managed Hosts (3)


CDH-6.3.0-1.cdh6.3.0.p0.1279813 選定好
接續等待它分發安裝到其他台節點。
(要一段時間1.5~2.5小時左右~建議就放著做其他事之類的，要等好一陣子請保持網路順暢。)
The selected parcels are being downloaded and installed on all the hosts in the cluster.


安裝過程有時會跳一些異常錯誤記得點開來確認。(不過以下的不影響)




若很在意進度底下收合可打開來查看

偶而出現紅色就放著過一段時間會再度轉藍色









一顆CPU感覺跑會有異常，再調整VM設置。

到Hosts -> Parcels去看進度可觀察到已完成配置




檢測網路跟主機狀況






Ref:
什么是Transparent HugePages
Cloudera Manager CDH离线安装
Centos7使用CDH6.3.0安装大数据集群
動物園之路 -9- 管理大象的好幫手-Cloudera Manager

留言

張貼留言