Hvernig á að setja upp Apache Kafka í CentOS/RHEL 7

Apache Kafka er öflug skilaboðavél, sem er mikið notuð í BigData verkefnum og Data Analytics lífsferli. Það er opinn vettvangur til að byggja rauntíma gagnastraumleiðslur. Það er dreifður vettvangur fyrir útgáfu-áskrift með áreiðanleika, sveigjanleika og endingu.

Við getum haft Kafka sem sjálfstæðan eða sem klasa. Kafka geymir streymisgögnin og hægt er að flokka þau sem efni. Viðfangsefnið mun vera með fjölda skiptinga þannig að það geti séð um handahófskennt magn af gögnum. Einnig getum við haft margar eftirlíkingar fyrir bilanaþol eins og við erum með í HDFS. Í Kafka klasa er miðlarinn hluti sem geymir birt gögn.

Zookeeper er skyldubundin þjónusta til að reka Kafka klasa, þar sem hún er notuð til að stjórna samhæfingu Kafka miðlara. Zookeeper gegnir lykilhlutverki milli framleiðanda og neytenda þar sem hann ber ábyrgð á að viðhalda stöðu allra miðlara.

Í þessari grein munum við útskýra hvernig á að setja upp Apache Kafka í einum hnút CentOS 7 eða RHEL 7.

Að setja upp Apache Kafka í CentOS 7

1. Fyrst þarftu að setja upp Java á vélina þína til að keyra Apache Kafka án nokkurra villna. Svo, settu upp sjálfgefna tiltæka útgáfu af Java með því að nota eftirfarandi yum skipun og staðfestu Java útgáfuna eins og sýnt er.

# yum -y install java-1.8.0-openjdk
# java -version

2. Næst skaltu hlaða niður nýjustu stöðugu útgáfunni af Apache Kafka frá opinberu vefsíðunni eða nota eftirfarandi wget skipun til að hlaða niður henni beint og draga hana út.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
# tar -xzf kafka_2.13-2.7.0.tgz 

3. Búðu til táknrænan hlekk fyrir kafka pakkann, bættu síðan Kafka umhverfisslóð við .bash_profile skrána og frumstilltu hana síðan eins og sýnt er.

# ln -s kafka_2.13-2.7.0 kafka
# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
# source ~/.bash_profile

4. Næst skaltu byrja á Zookeeper, sem kemur innbyggður með Kafka pakkanum. Þar sem það er einn hnútaþyrping geturðu ræst dýragarðsvörðinn með sjálfgefnum eiginleikum.

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Staðfestu hvort dýragarðsvörðurinn sé aðgengilegur eða ekki með því einfaldlega að telnet að Zookeeper höfn 2181.

# telnet localhost 2181

6. Byrjaðu Kafka með sjálfgefnum eiginleikum.

# kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Staðfestu hvort Kafka sé aðgengilegur eða ekki með því einfaldlega að telnet að Kafka höfn 9092

# telnet localhost 9092

8. Næst skaltu búa til sýnishorn.

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Listaðu yfir efnið sem búið var til.

# kafka-topics.sh --zookeeper localhost:2181 --list

Í þessari grein höfum við séð hvernig á að setja upp einn hnút Kafka þyrping í CentOS 7. Við munum sjá hvernig á að setja upp multinode Kafka þyrping í næstu grein.