Bestu starfsvenjur fyrir uppsetningu Hadoop Server á CentOS/RHEL 7 - Part 1
Í þessari greinaröð ætlum við að fjalla um alla Cloudera Hadoop Cluster Building bygginguna með bestu starfsvenjum söluaðila og iðnaðar.
Uppsetning stýrikerfis og stýrikerfisstig Forkröfur eru fyrstu skrefin til að byggja upp Hadoop þyrping. Hadoop getur keyrt á hinum ýmsu bragðtegundum Linux pallsins: CentOS, RedHat, Ubuntu, Debian, SUSE o.s.frv., Í rauntíma framleiðslu eru flestir Hadoop þyrpingarnir byggðir ofan á RHEL/CentOS, við munum nota CentOS 7 til sýnikennslu. í þessari röð af námskeiðum.
Í fyrirtæki er hægt að setja upp stýrikerfi með því að nota kickstart. Ef það er 3 til 4 hnútaþyrping er handvirk uppsetning möguleg en ef við byggjum stóran þyrping með fleiri en 10 hnútum er leiðinlegt að setja upp stýrikerfi einn í einu. Í þessari atburðarás kemur Kickstart aðferðin inn í myndina, við getum haldið áfram með fjöldauppsetninguna með því að nota kickstart.
Að ná góðum árangri úr Hadoop umhverfi er háð því að útvega réttan vélbúnað og hugbúnað. Svo að byggja upp framleiðslu Hadoop klasa felur í sér mikla íhugun varðandi vélbúnað og hugbúnað.
Í þessari grein munum við fara í gegnum ýmis viðmið um uppsetningu stýrikerfis og nokkrar bestu venjur til að dreifa Cloudera Hadoop Cluster Server á CentOS/RHEL 7.
Mikilvægt íhugun og bestu starfsvenjur fyrir uppsetningu Hadoop Server
Eftirfarandi eru bestu starfsvenjur til að setja upp notkun Cloudera Hadoop Cluster Server á CentOS/RHEL 7.
- Hadoop netþjónar þurfa ekki staðlaða framtaksþjóna til að byggja upp klasa, það krefst vörubúnaðar.
- Í framleiðsluklasanum er mælt með því að hafa 8 til 12 gagnadiska. Eftir eðli vinnuálagsins þurfum við að taka ákvörðun um þetta. Ef þyrpingin er fyrir tölvufrek forrit er best að hafa 4 til 6 drif til að forðast I/O vandamál.
- Gagnadrif ætti að vera skipt í sundur, til dæmis – frá /data01 til /data10.
- Ekki er mælt með RAID stillingum fyrir hnúta starfsmanna, vegna þess að Hadoop sjálft veitir bilanaþol á gögnum með því að endurtaka blokkirnar í 3 sjálfgefið. Þannig að JBOD er best fyrir starfshnúta.
- Fyrir Master Servers er RAID 1 besta aðferðin.
- Sjálfgefið skráarkerfi á CentOS/RHEL 7.x er XFS. Hadoop styður XFS, ext3 og ext4. Mælt er með skráarkerfinu ext3 þar sem það er prófað fyrir góða frammistöðu.
- Allir netþjónar ættu að vera með sömu stýrikerfisútgáfu, að minnsta kosti sömu minni útgáfu.
- Það er best að hafa einsleitan vélbúnað (allir hnútar starfsmanna ættu að hafa sömu vélbúnaðareiginleika (RAM, diskpláss og kjarna osfrv.).
- Samkvæmt þyrpingarvinnuálagi (jafnvægi vinnuálags, reikningsfrekts, I/O ákafur) og stærð, mun áætlanagerð tilfanga (vinnsluminni, örgjörva) á hvern netþjón verða mismunandi.
Finndu dæmið fyrir neðan fyrir diskaskiptingu á netþjónum með 24TB geymsluplássi.
Setur upp CentOS 7 fyrir Hadoop Server Deployment
Hlutir sem þú þarft að vita áður en þú setur upp CentOS 7 miðlara fyrir Hadoop Server.
- Lágmarksuppsetning er nóg fyrir Hadoop netþjóna (vinnuhnúta), í sumum tilfellum er aðeins hægt að setja upp GUI fyrir Master netþjóna eða stjórnunarþjóna þar sem við getum notað vafra fyrir vefviðmót stjórnunartækja.
- Hægt er að stilla netkerfi, hýsilheiti og aðrar stýrikerfistengdar stillingar eftir uppsetningu stýrikerfisins.
- Í rauntíma munu framleiðendur netþjóna hafa sína eigin leikjatölvu til að hafa samskipti og stjórna netþjónunum, til dæmis - Dell netþjónar eru með iDRAC sem er tæki sem er innbyggt í netþjóna. Með því að nota þetta iDRAC viðmót getum við sett upp stýrikerfi með stýrikerfismynd í staðbundnu kerfinu okkar.
Í þessari grein höfum við sett upp OS (CentOS 7) í VMware sýndarvél. Hér munum við ekki vera með marga diska til að framkvæma skipting. CentOS er svipað og RHEL (sama virkni), svo við munum sjá skrefin til að setja upp CentOS.
1. Byrjaðu á því að hlaða niður CentOS 7.x ISO myndinni í þínu staðbundna Windows kerfi og veldu hana á meðan þú ræsir sýndarvélina. Veldu 'Setja upp CentOS 7' eins og sýnt er.
2. Veldu Tungumál, sjálfgefið verður enska og smelltu á halda áfram.
3. Hugbúnaðarval – Veldu „Lágmarksuppsetning“ og smelltu á „Lokið“.
4. Stilltu rót lykilorðið eins og það mun hvetja okkur til að stilla.
5. Uppsetningaráfangastaður - Þetta er mikilvægt skref til að vera varkár. Við þurfum að velja diskinn þar sem OS þarf að setja upp, hollur diskur ætti að vera valinn fyrir OS. Smelltu á 'Installation Destination' og veldu diskinn, í rauntíma verða margir diskar þar, við þurfum að velja, helst 'sda'.
6. Aðrir geymsluvalkostir - Veldu seinni valkostinn (ég mun stilla skiptinguna) til að stilla OS tengda skiptinguna eins og /var, /var/log, /home, /tmp, /opt, /swap.
7. Þegar því er lokið skaltu hefja uppsetninguna.
8. Þegar uppsetningunni er lokið skaltu endurræsa þjóninn.
9. Skráðu þig inn á netþjóninn og stilltu hýsingarheitið.
# hostnamectl status # hostnamectl set-hostname tecmint # hostnamectl status
Í þessari grein höfum við farið í gegnum uppsetningarskref fyrir stýrikerfi og bestu venjur fyrir skiptingu skráakerfis. Þetta eru allt almennar viðmiðunarreglur, í samræmi við eðli vinnuálagsins gætum við þurft að einbeita okkur að fleiri blæbrigðum til að ná sem bestum árangri í klasanum. Klasaskipulagning er list fyrir stjórnanda Hadoop. Við munum fara djúpt ofan í forsendur stýrikerfisstigs og öryggisherðingu í næstu grein.