Hvernig á að setja upp CDH og stilla þjónustustaðsetningar á CentOS/RHEL 7 - Part 4
Í fyrri grein höfum við útskýrt uppsetningu Cloudera Manager, í þessari grein muntu læra hvernig á að setja upp og stilla CDH (Cloudera Distribution Hadoop) í RHEL/CentOS 7.
Við uppsetningu CDH pakkans verðum við að tryggja Cloudera Manager og CDH eindrægni. Cloudera útgáfan er með 3 hluta –
Til dæmis erum við að nota Cloudera Manager 6.3.1 og CDH 6.3.2. Hér er 6 dúr og 3 er smáútgáfan. Major og Minor verða að vera eins til að forðast samhæfnisvandamál.
- Bestu starfshættir fyrir uppsetningu Hadoop Server á CentOS/RHEL 7 – Part 1
- Uppsetning Hadoop forkröfur og öryggisherðing – Part 2
- Hvernig á að setja upp og stilla Cloudera Manager á CentOS/RHEL 7 – Part 3
Við munum taka eftirfarandi 2 hnúta til að setja upp CDH. Nú þegar höfum við sett upp Cloudera Manager í master1, einnig erum við að nota master1 sem endursöluþjón.
master1.linux-console.net worker1.linux-console.net
Skref 1: Sæktu CDH-pakka á Master Server
1. Tengstu fyrst við master1 miðlara og hlaða niður CDH Parcels skrám í /var/www/html/clooudera-repos/cdh möppunni. Við verðum að hlaða niður hér að neðan 3 skrám sem ættu að vera samhæfðar við RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Áður en þú hleður niður þessum skrám, vertu viss um að búa til cdh möppu undir /var/www/html/clooudera-repos/ staðsetningu.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Næst skaltu hlaða niður ofangreindum 3 skrám með því að nota eftirfarandi wget skipun.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Skref 2: Settu upp Cloudera Manager Repo á viðskiptavinum starfsmanna
4. Tengdu nú við starfsmannaþjóna og afritaðu endurhverfaskrána (clooudera-manager.repo) frá endurhverfaþjóninum (master1) yfir á alla vinnuþjónaþjónana sem eftir eru. Þessi endurhverfaskrá tryggir netþjónunum að öllum nauðsynlegum böggum og RPM verði hlaðið niður af endurhverfingaþjóninum á meðan uppsetningin stendur yfir.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Þegar endurhverfunni hefur verið bætt við skaltu skrá virkju geymslurnar til að ganga úr skugga um að cloudera-manager endurhverfan sé virkjuð.
$ yum repolist
Skref 3: Settu upp Cloudera Manager Daemons and Agent á Worker Servers
6. Nú þurfum við að setja upp cloudera-manager-daemons og cloudera-manager-agent á öllum þjónum sem eftir eru.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Næst þarftu að stilla Cloudera Manager umboðsmanninn til að tilkynna Cloudera Manager netþjóninn.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Skiptu um localhost fyrir Cloudera Manager IP tölu netþjóns.
8. Ræstu Cloudera Manager Agent og staðfestu stöðuna.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Skref 4: Settu upp og settu upp CDH
Við erum með CDH böggla í master1 – endurhverfa miðlara. Gakktu úr skugga um að allir netþjónarnir séu með Cloudera Manager endurhverfuskrá í /etc/yum.repos.d/ ef þú fylgir sjálfvirkri uppsetningu með Cloudera Manager.
9. Skráðu þig inn á Cloudera Manager með því að nota slóðina hér að neðan á port 7180 og notaðu sjálfgefið notendanafn og lykilorð Cloudera Manager.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Þegar þú hefur skráð þig inn muntu taka á móti þér með velkomnasíðunni. Hér getur þú fundið útgáfuskýringar, nýja eiginleika Cloudera Manager.
11. Samþykktu leyfið og haltu áfram.
12. Veldu útgáfuna. Prufuútgáfan er sjálfgefið valin, við getum haldið áfram með það.
13. Fylgdu nú skrefunum fyrir uppsetningu klasa. Haltu áfram velkomnasíðunni.
14. Nefndu þyrpinguna og haltu áfram, við höfum nefnt sem \tecmint. Það eru 2 tegundir af þyrpingum sem þú getur skilgreint. Við erum að halda áfram með venjulegur þyrping.
- Venjulegur klasi: Mun samanstanda af geymsluhnútum, tölvuhnútum og annarri nauðsynlegri þjónustu.
- Reiknaklasi: Mun aðeins samanstanda af reiknihnútum. Hægt er að nota ytri geymslu til að geyma gögn.
15. Við höfum þegar sett upp Cloudera Manager Agents á öllum netþjónum. Þú getur fundið þessa netþjóna í \Currently Managed Hosts\ Til að setja upp sjálfvirka uppsetningu þarftu að slá inn FQDN eða IP netþjónanna í \New Hosts valkostinum og leita. Cloudera Manager mun sjálfkrafa greina vélina sem við þurfum að setja upp CDH á.
Hér, smelltu á „Nú stýrðir gestgjafar“, veldu alla gestgjafa með því að velja „Hostname“ og haltu áfram.
16. Veldu Repository – að nota Pakka er ráðlögð leið. Smelltu á „Fleiri valkostir“ til að stilla geymsluna.
17. Sláðu inn vefslóð staðbundinnar geymslu eins og getið er hér að neðan. Fjarlægðu allar opinberu geymslurnar sem eftir eru sem vísa á vefinn (Cloudera geymslur).
Þetta er slóð CDH staðbundinnar geymslu sem við erum með í master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Þegar slóð geymslunnar hefur verið slegin inn mun þessi síða aðeins sýna tiltæka pakka. Haltu áfram þessu skrefi.
19. Nú er verið að hlaða niður, dreifa, pakka niður og virkja pakkana á öllum tiltækum netþjónum.
20. Þegar CDH-pakkarnir eru virkjaðir skaltu skoða klasann. Þetta skref mun gera heilsufarsskoðun á klasanum. Hér erum við að sleppa og halda áfram.
Skref 5: Cluster Configuration
21. Hér þurfum við að velja þjónustuna sem á að setja upp í Cluster. Sumar pakkaðar samsetningar verða sjálfgefnar tiltækar, við erum að fara með sérþjónustu.
22. Í sérþjónustu setjum við aðeins upp kjarnahluta (HDFS og YARN) í þessum kynningartilgangi.
23. Úthlutaðu hlutverkunum á þjóninn. Við getum sérsniðið í samræmi við kröfur okkar. Finndu töfluna hér að neðan sem lýsir ráðlagðri hlutverkadreifingu fyrir lítinn grunnklasa með 5 til 20 hnútum með mikilli aðgengi.
24. Veldu tegund gagnagrunns, hýsingarheiti, DB nafn, notandanafn og lykilorð. Þar sem við erum að nota Embedded PostgreSQL verður það sjálfgefið valið. Prófaðu tenginguna, það ætti að ganga vel.
25. Þessi síða mun sýna sjálfgefna stillingarbreytur HDFS og Yarn, þar á meðal gagnaskrár. Skoðaðu allar stillingarupplýsingarnar og þú getur gert breytingar ef þörf krefur. Haltu svo áfram með þetta.
26. Þessi síða mun sýna upplýsingar um 'First Run' skipunina. Þú getur stækkað það til að sjá upplýsingar um keyrandi skipanir. Ef það eru einhver net- eða leyfisvandamál í þyrpingunni mun þetta skref mistakast. Venjulega ákveður þetta skref hnökralausa uppsetningu klasabyggingarinnar.
27. Þegar ofangreindu skrefi er lokið, Smelltu á ‘Finish’ til að ljúka uppsetningunni. Þetta er mælaborð Cloudera Manager eftir að CDH hefur verið sett upp.
http://104.211.95.96:7180/cmf/home
Við höfum lokið uppsetningu Cloudera Manager og CDH með góðum árangri. Í Cloudera Manager mælaborðinu er hægt að finna fyrirfram skilgreint sett af töflum þar sem þú getur fylgst með Cluster CPU, Disk IO osfrv. Við getum stjórnað öllu Clusternum með því að nota þennan Cloudera Manager. Við munum sjá alla stjórnunaraðgerðir í næstu greinum.