CDH Hadoop集群虛擬機本地配置搭建筆記_part1透過VMWare創建3台虛擬機(各節點的網路配置)
Cloudera Manager Cluster規劃
正式環境中至少要有三個節點
由於硬體成本昂貴在此就透過虛擬機方式來模擬，這邊會建立三個虛擬主機節點。
配置規格如下:
host1 (192.168.80.81): 會配置並安裝CM Agent ,也會用來當作CM Server。
所以會配置比較大的空間與記憶體給它，大約16G RAM , 60G disk , 1個CPU。
host2 (192.168.80.82): 4G RAM , 30G disk , 1個CPU。只配置安裝CM Agent。
host3 (192.168.80.83): 4G RAM , 30G disk , 1個CPU。只配置安裝CM Agent。
http://docs.cloudera.com.s3-website-us-east-1.amazonaws.com/documentation/enterprise/6/release-notes/topics/rg_hardware_requirements.html#sizing_cm_server_storagereqs
這邊我的物理機是用2021年時期購買的筆電
Acer Predator PH315-54-72VQ 電競筆記型電腦
處理器：Intel® Core™ i7-11800H
記憶體：16GB DDR4 3200MHz Memory
硬碟：512GB PCIe NVMe SSD
顯卡：NVIDIA® GeForce RTX™ 3070
本身外接了1TB硬碟來配備實驗環境
打開控制台
配置16GRAM , 60G硬碟 ,1CPU
當配置好後再Reboot確認OK就在關機。
接續透過host1去複製另外兩台，節省重新安裝配置時間。
等他跑出下面結果才算完成。
分別針對host2,host3調整memory配置降為4G,
disk維持60G就好了，有需要再自己去降即可。(預留一點Buffer)
Step4.調整各節點對應hostname。分別重新更改名稱host1~host3
將所有節點全開機，都先用root帳密登入後編輯/etc/hostname
用vi去編輯
vi /etc/hostname
打i進入編輯模式 , ctrl+c跳出 , :wq存檔寫入。
Step5.各節點的網路配置
vi /etc/sysconfig/network-scripts/ifcfg-ens33
調整如下
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.80.81
GATEWAY=192.168.80.1
NETMASK=255.255.255.0
ONBOOT=yes
代表系統啟動時會自動啟用該網絡介面。
BOOTPROTO=static
這個參數指定網絡介面的 IP 地址獲取方式。static 表示使用靜態 IP 地址，即 IP 地址是固定不變的，需要手動設定 IPADDR、NETMASK 等參數。
另一個常見的選項是 dhcp，就代表 IP 地址由 DHCP 伺服器自動分配。
備註: /etc/sysconfig/network-scripts/ifcfg-ens33 是 Linux 系統中網路設定檔的某一種案例。
這個檔案是用來設定特定網路介面的相關參數，例如 IP 地址、網關、子網遮罩等。
在 CentOS 或 RHEL (Red Hat Enterprise Linux) 這樣的作業系統中，每個網路介面都有一個對應的設定檔。
重啟網卡指令
systemctl restart network
此時用ip addr 查看是還沒生效的
必須重啟網卡讀取新配置
其他兩台節點也依樣畫葫蘆。
host2
host3
Step6.關閉防火牆設置並禁止防火牆開啟時自動啟動
查看目前防火牆配置(更改之前)
systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld
更改之後再次確認目前防火牆配置
systemctl status firewalld
Step7.校時統一各三台節點時區都要是Asia/Taipei
在之前文章設置過
timedatectl set-timezone Asia/Taipei
Step8.禁用Selinux安全權限管理模組
如果 SELinux 啟用，可能會影響網路連通性。
查看SELinux狀態
sestatus
若current mode顯示 enforcing，可暫時關閉
setenforce 0
永久關閉則要調整配置檔如下
vi /etc/sysconfig/selinux
SELINUX=disabled
預設值為enforcing
Step9.確認互相ping各自都能Ping的到
ping等一下就記得ctrl+c中斷
主要確認節點之間網路互相打通，received數量匹配有到不是0即可。
Step10.配置IP跟主機綁定
vi /etc/hosts
192.168.80.81 host1
192.168.80.82 host2
192.168.80.83 host3
三台都比照辦理
並且也能透過host name互相ping到各自
Step11.調整swap空間的swappiness，降低對硬碟的緩存。
永久降低虛擬內存需求率，三台都比照辦理。
echo "vm.swappiness=0" >> /etc/sysctl.conf
sysctl -p
Step12.配置VM guest之間相互之間可免密ssh登入連接
比方我在host1 產生一個密鑰pair
ssh-keygen
都enter到底就好
把已生產出來的蜜鑰複製到各台節點上(host1,host2,host3)
ssh-copy-id host1
ssh-copy-id host2
ssh-copy-id host3
輸入yes跟root密碼接續enter完成
測試從host1免密ssh登入連線到其他台都可以。
要讓VMWare可複製粘貼可以補安裝VMWare Tools
參考:
如何為VMware虛擬機器啟用複製和貼上
Vmware虚拟机和主机之间复制、粘贴内容、拖拽文件的详细方法
https://blog.csdn.net/davidhzq/article/details/101621482
留言
張貼留言