Hvernig á að setja upp og stilla Cloudera Manager á CentOS/RHEL 7 - Part 3

Í þessari grein lýstum við skref fyrir skref ferli til að setja upp Cloudera Manager samkvæmt iðnaðarvenjum. Í hluta 2 höfum við nú þegar farið í gegnum Cloudera forkröfur, vertu viss um að allir netþjónar séu undirbúnir fullkomlega.

Bestu starfshættir fyrir uppsetningu Hadoop Server á CentOS/RHEL 7 – Part 1
Uppsetning Hadoop forkröfur og öryggisherðing – Part 2

Hér ætlum við að hafa 5 hnútaklasa þar sem 2 meistarar og 3 starfsmenn. Ég hef notað 5 AWS EC2 tilvik til að sýna uppsetningarferlið. Ég hef nefnt þessa 5 netþjóna eins og hér að neðan.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager er stjórnunar- og eftirlitstæki fyrir allt CDH. Við stjórnendur köllum það venjulega stjórnunartæki fyrir Cloudera Hadoop. Við getum sett upp, fylgst með, stjórnað og gert stillingarbreytingar með því að nota þetta tól. Þetta er mjög mikilvægt til að stjórna öllum klasanum.

Hér að neðan eru mikilvæg notkun Cloudera Manager.

Dreifa og stilla Hadoop klasa á sjálfvirkan hátt.
Fylgstu með heilsu klasa
Stilla viðvaranir
Úrræðaleit
Skýrslugerð
Að gera skýrslu um klasanotkun
Tilföng stilla á virkan hátt

Skref 1: Uppsetning Apache vefþjóns á CentOS

Við ætlum að nota master1 sem vefþjón fyrir Cloudera geymslur. Einnig er Cloudera Manager WebUI, svo við þurfum að hafa Apache uppsett. Fylgdu skrefunum hér að neðan til að setja upp apache vefþjóninn.

# yum -y install httpd

Þegar httpd hefur verið sett upp skaltu ræsa það og virkja þannig að það verði ræst við ræsingu.

# systemctl start httpd
# systemctl enable httpd

Eftir að httpd hefur verið ræst skaltu tryggja stöðuna.

# systemctl status httpd

Eftir að httpd hefur verið ræst, opnaðu vafra í heimakerfinu þínu og límdu IP tölu master1 í leitarstikuna, þú ættir að fá þessa prófunarsíðu til að ganga úr skugga um að httpd sé í lagi.

Skref 2: Stilltu staðbundið DNS til að leysa IP og hýsingarheiti

Við þurfum að hafa DNS netþjón eða stilla /etc/hosts til að leysa úr IP og hýsingarheiti. Hér erum við að stilla /etc/hosts, en í rauntíma mun sérstakur DNS þjónn vera til staðar fyrir framleiðsluumhverfið.

Fylgdu skrefunum hér að neðan til að gera færslu fyrir alla netþjóna þína í /etc/hosts.

# vi /etc/hosts

Þetta ætti að vera stillt á öllum netþjónum.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Skref 3: Stilltu SSH lykilorðslausa innskráningu

Verið er að setja upp Cloudera Manager á master1 í þessari sýnikennslu. Við þurfum að stilla ssh án lykilorðs frá master1 í alla aðra hnúta. Vegna þess að Cloudera Manager mun nota ssh til að miðla öllum öðrum hnútum til að setja upp pakka.

Fylgdu skrefunum hér að neðan til að stilla ssh án lykilorðs frá master1 yfir á alla netþjóna sem eftir eru. Við ætlum að hafa notanda „tecmint“ til að halda áfram.

Búðu til notanda „tecmint“ alla 4 netþjóna með useradd skipuninni eins og sýnt er.

# useradd -m tecmint

Til að gefa notandanum „tecmint“ rótarréttindi, bættu línunni fyrir neðan í /etc/sudoers skrána. Þú getur bætt þessari línu undir rót eins og gefið er á skjámyndinni.

tecmint   ALL=(ALL)    ALL

Skiptu yfir í notanda „tecmint“ og búðu til ssh lykil í master1 með því að nota skipunina hér að neðan.

# sudo su tecmint
$ ssh-keygen

Afritaðu nú búna lykilinn á alla 4 netþjóna með því að nota ssh-copy-id skipunina eins og sýnt er.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email

Nú ættir þú að geta ssh frá master1 yfir í alla netþjóna sem eftir eru án lykilorðs eins og sýnt er.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

Skref 4: Uppsetning og uppsetning Cloudera Manager

Við getum notað geymsluna seljanda (Cloudera) til að setja upp alla pakka með því að nota pakkastjórnunartækin í RHEL/CentOS. Í rauntíma er besta aðferðin að búa til okkar eigin geymslu þar sem við erum kannski ekki með internetaðgang á framleiðsluþjónunum.

Hér ætlum við að setja upp Cloudera Manager 6.3.1 útgáfuna. Þar sem við ætlum að nota master1 sem endursöluþjóninn, erum við að hlaða niður pakkanum á neðangreindri leið.

Búðu til neðangreindar möppur á master1 þjóninum.

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

Við getum notað wget tólið til að hlaða niður pakka yfir http. Svo settu upp wget með því að nota skipunina hér að neðan.

$ sudo yum -y install wget

Næst skaltu hlaða niður Cloudera Manager tar skránni með því að nota eftirfarandi wget skipun.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Dragðu út tar skrána inn í /var/www/html/clooudera-repos/cm6, nú þegar höfum við gert master1 sem vefþjón með því að setja upp http og við höfum prófað á vafranum.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Nú skaltu ganga úr skugga um að allar Cloudera rpm skrárnar séu til staðar í /var/www/html/clooudera-repos/cm6/RPMS/x86_64 möppunni.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

Búðu til /etc/yum.repos.d/clooudera-manager.repo skrár á öllum netþjónum í þyrpingshýslum með eftirfarandi innihaldi, hér er master1 (65.0.101.148) vefþjónninn.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Nú hefur geymslunni verið bætt við, keyrðu skipunina hér að neðan til að skoða virku geymslurnar.

$ yum repolist

Keyrðu skipunina hér að neðan til að skoða alla tiltæka Cloudera tengda pakka í geymslunni.

$ yum list available | grep cloudera*

Settu upp cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Keyrðu skipunina hér að neðan til að skoða alla uppsettu Cloudera pakkana.

$ yum list installed | grep cloudera*

Keyrðu skipunina hér að neðan til að ræsa cloudera-scm-server-db sem er undirliggjandi gagnagrunnur til að geyma Cloudera Manager og önnur lýsigögn þjónustu.

Sjálfgefið er að Cloudera er að koma með postgre-sql sem er innbyggt í Cloudera Manager. Við erum að setja upp innbyggðan, í rauntíma ytri gagnagrunni sem hægt er að nota. Það getur verið Oracle, MySQL eða PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db

Keyrðu skipunina hér að neðan til að athuga stöðu gagnagrunnsins.

$ sudo systemctl status cloudera-scm-server-db

Stilltu db.properties fyrir Cloudera Manager þjóninn.

$ vi /etc/cloudera-scm-server/db.properties

Stilltu gildið hér að neðan er EMBEDDED til að gera Cloudera Manager til að nota innbyggða gagnagrunninn.

com.cloudera.cmf.db.setupType=EMBEDDED

Keyrðu skipunina hér að neðan til að ræsa Cloudera Manager netþjóninn.

$ sudo systemctl start cloudera-scm-server

Keyrðu skipunina hér að neðan til að athuga stöðu Cloudera Manager netþjónsins.

$ sudo systemctl status cloudera-scm-server

Keyrðu skipunina hér að neðan til að hefja og athuga stöðu Cloudera Manager umboðsmannsins.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Þegar Cloudera Manager Server hefur gengið vel, geturðu skoðað WebUI (innskráningarsíðu) í vafranum með því að nota IP tölu og gáttarnúmer 7180 sem er gáttarnúmer Cloudera Manager.

https://65.0.101.148:7180

Í þessari grein höfum við séð skref fyrir skref ferli til að setja upp Cloudera Manager á CentOS 7. Við munum sjá CDH og aðrar þjónustuuppsetningar í næstu grein.