Hvernig á að setja upp mikla aðgengi fyrir Namenode - hluti 5
Hadoop hefur tvo kjarnaþætti sem eru HDFS og YARN. HDFS er til að geyma gögnin, YARN er til að vinna úr gögnunum. HDFS er Hadoop Distributed File System, það hefur Namenode sem Master Service og Datanode sem Slave Service.
Namenode er mikilvægur hluti Hadoop sem er að geyma lýsigögn gagna sem geymd eru í HDFS. Ef Namenode fer niður, verður allur klasinn ekki aðgengilegur, það er einn bilunarpunktur (SPOF). Þannig að framleiðsluumhverfið mun hafa Namenode High Availability til að forðast framleiðslustöðvun ef einn Namenode fer niður vegna ýmissa ástæðna eins og vélahruns, fyrirhugaðrar viðhaldsstarfsemi osfrv.
Hadoop 2.x býður upp á hagkvæmni þar sem við getum haft tvo nafnhnúða, einn verður Active Namenode og annar verður biðnafnanótur.
- Active Namenode – Hann stjórnar öllum aðgerðum viðskiptavinarins.
- Biðstaðanafnahnútur – Það er óþarfi af virkum nafnahnappi. Ef Active NN fer niður, þá mun biðstaða NN taka alla ábyrgð Active NN.
Til að virkja Namenode High Availability þarf Zookeeper sem er skylda fyrir sjálfvirka bilun. ZKFC (Zookeeper Failover Controller) er Zookeeper viðskiptavinur sem er notaður til að viðhalda stöðu Namenode.
- Bestu starfshættir fyrir uppsetningu Hadoop Server á CentOS/RHEL 7 – Part 1
- Uppsetning Hadoop forkröfur og öryggisherðing – Part 2
- Hvernig á að setja upp og stilla Cloudera Manager á CentOS/RHEL 7 – Part 3
- Hvernig á að setja upp CDH og stilla þjónustustaðsetningar á CentOS/RHEL 7 – Part 4
Í þessari grein ætlum við að virkja Namenode High Availability í Cloudera Manager.
Skref 1: Uppsetning á Zookeeper
1. Skráðu þig inn á Cloudera Manager.
http://Your-IP:7180/cmf/home
2. Í Cluster (tecmint) aðgerðatilboðinu skaltu velja \Bæta við þjónustu.
3. Veldu þjónustuna „Dýravörður“.
4. Veldu netþjónana þar sem við ætlum að setja Zookeeper upp.
5. Við ætlum að hafa 3 dýragarðsverði til að stofna dýraverndarsveitina. Veldu netþjóna eins og getið er hér að neðan.
6. Stilltu Zookeeper eiginleikana, hér erum við með sjálfgefna. Í rauntíma þarftu að hafa aðskilda möppu/festingarpunkta til að geyma Zookeeper gögn. Í hluta-1 höfum við útskýrt geymslustillingar fyrir hverja þjónustu. Smelltu á „halda áfram“ til að halda áfram.
7. Uppsetning hefst, þegar Zookeeper hefur verið sett upp verður ræst. Þú getur skoðað bakgrunnsaðgerðirnar hér.
8. Eftir að ofangreindu skrefi hefur verið lokið verður Staðan „Finished“.
9. Nú hefur Zookeeper verið sett upp og stillt. Smelltu á „Ljúka“.
10. Þú getur skoðað Zookeeper þjónustuna á Cloudera Manager mælaborðinu.
Skref 2: Virkja Namenode High Availability
11. Farðu í Cloudera Manager –> HDFS –> Actions –> Enable High Availability.
12. Sláðu inn Nafnaþjónustunafnið sem \nafnaþjónusta1“ – Þetta er algengt nafnrými fyrir bæði virkt og biðnafnafn.
13. Veldu Second Namenode þar sem við ætlum að hafa biðstöðu Namenode.
14. Hér erum við að velja master2.linux-console.net fyrir biðstöðu Namenode.
15. Veldu dagbókarhnúta, þetta eru nauðsynlegar þjónustur til að samstilla virka og biðnafnahnút.
16. Við erum að búa til Quorum Journal með því að setja Journal hnútinn á 3 netþjóna eins og nefnt er hér að neðan. Veldu 3 netþjóna og smelltu á „Í lagi“.
17. Smelltu á 'Halda áfram' til að halda áfram.
18. Sláðu inn skráarslóð Journal Node. Við þurfum bara að nefna slóðina á meðan þessi skrá er sett upp verður sjálfkrafa búin til af þjónustunni sjálfri. Við erum að nefna sem ‘/jn’. Smelltu á 'Halda áfram' til að halda áfram.
19. Það mun byrja að virkja High Availability.
20. Þegar öllum bakgrunnsferlum er lokið fáum við stöðuna „Lokið“.
21. Að lokum munum við fá tilkynningu „Hátt framboð var virkt með góðum árangri“. Smelltu á „Ljúka“.
22. Staðfestu virka og biðstöðunafn með því að fara í Cloudera Manager –> HDFS –> Tilvik.
23. Hér getur þú raða tveimur nafnhnútum, einn verður í „virku“ ástandi og annar verður í „biðstöðu“ ástandi.
Í þessari grein höfum við farið í gegnum skref fyrir skref ferlið til að virkja Namenode High Availability. Það er mjög mælt með því að hafa Namenode High Availability í öllum þyrpingunum í rauntímaumhverfi. Vinsamlegast sendu efasemdir þínar ef þú stendur frammi fyrir einhverri villu meðan á þessu ferli stendur. Við munum sjá Resource Manager High Availability í næstu grein.