Konfigurera Kafka: 4 steg

2024 Författare: John Day | [email protected]. Senast ändrad: 2024-01-30 12:44

Introduktion:

Apache Kafka är ett skalbart system med öppen källkod och skalbarhet med hög kapacitet utvecklad av Apache Software Foundation skriven i Scala. Apache Kafka är speciellt utformad för att tillåta ett enda kluster att fungera som den centrala dataraden för en stor miljö. Den har en mycket högre genomströmning jämfört med andra meddelandemäklarsystem som ActiveMQ och RabbitMQ. Den kan hantera stora mängder realtidsdata effektivt. Du kan distribuera Kafka på en enda Apache -server eller i en distribuerad grupperad miljö.

Funktioner:

De allmänna egenskaperna hos Kafka är följande:

Bestå meddelande på hårddisken som ger konstant prestanda.

Hög genomströmning med diskstrukturer som stöder hundratusentals meddelanden per sekund.

Distribuerat system skalas enkelt utan stillestånd.

Stöder flera prenumeranter och balanserar automatiskt konsumenterna under fel.

Denna handledning visar hur du installerar och konfigurerar Apache Kafka på en Ubuntu 16.04 -server.

Krav

En Ubuntu 16.04 -server.

Ej root-användarkonto med superanvändarprivilegier konfigurerat på din server.

Steg 1: Komma igång och installera Java

1) Låt oss börja se till att din Ubuntu 16.04 -server är helt uppdaterad

Du kan uppdatera din server genom att köra följande kommandon:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Installera Java

Kontrollera om din maskin har java som redan är installerad eller har en java-standardversion med följande kommando:-

java -version

Även om du har Java men en lägre version måste du uppgradera den.

Du kan installera Java genom att:-

sudo apt-get install default-jdk

ELLER

Du kan installera Oracle JDK 8 med hjälp av PPA -förvaret för Webupd8 -teamet.

Kör följande kommando för att lägga till förvaret:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Steg 2: Installera Zookeeper

Vad är Zookeeper?

Zookeeper är en centraliserad tjänst för att underhålla konfigurationsinformation, namnge, tillhandahålla distribuerad synkronisering och tillhandahålla grupptjänster. Alla dessa typer av tjänster används i någon form av distribuerade applikationer. Varje gång de implementeras finns det mycket arbete som krävs för att åtgärda buggar och tävlingsförhållanden som är oundvikliga. På grund av svårigheten att implementera denna typ av tjänster, brukar applikationer vanligtvis snåla på dem, vilket gör dem spröda i närvaro av förändringar och svåra att hantera. Även om det görs korrekt leder olika implementeringar av dessa tjänster till hanteringskomplexitet när applikationerna distribueras.

Innan du installerar Apache Kafka måste du ha en djurhållare tillgänglig och köra. ZooKeeper är en öppen källkodstjänst för att underhålla konfigurationsinformation, tillhandahålla distribuerad synkronisering, namnge och tillhandahålla grupptjänster.

1) Som standard är Zookeeper -paketet tillgängligt i Ubuntu standardförvar

Du kan installera det genom att köra följande kommando:-

sudo apt-get install zookeeperd

När installationen är klar startas den automatiskt som en demon. Som standard körs Zookeeper på port 2181.

Du kan testa det genom att köra följande kommando:

netstat -ant | grep: 2181

Utgången bör visa dig att port 2181 lyssnar på.

Steg 3: Installera och starta Kafka Server

Nu när Java och ZooKeeper är installerade är det dags att ladda ner och extrahera Kafka från Apache -webbplatsen.

1) Du kan använda curl eller wget för att ladda ner Kafka: (Kafka version 0.10.1.1)

Kör följande kommando för att ladda ner kafka-installationen:-

curl -O

ELLER

wget

2) Skapa en katalog för Kafka

Skapa sedan en katalog för Kafka -installation:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Packa upp den nedladdade mappen

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Ändra användarnamn enligt ditt användarnamn

4) Starta kafka -servern

Nästa steg är att starta Kafka-servern, du kan starta den genom att köra kafka-server-start.sh-skriptet som ligger i /opt/kafka/kafka_2.11-0.10.1.1/bin/-katalogen med följande kommando:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kontrollera om Kafka Server fungerar bra

Du har nu en Kafka -server som körs och lyssnar på port 9092.

Nu kan vi kontrollera lyssnarportar:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Steg 4: Testa din Kafka -server

Nu är det dags att verifiera att Kafka -servern fungerar korrekt.

1) Skapa ett nytt ämne

För att testa Kafka, skapa ett exempelämne med namnet "testning" i Apache Kafka med följande kommando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partitioner 1 --replikationsfaktor 1

2) Kontrollera om ditt ämne har skapats

Be nu Zookeeper att lista tillgängliga ämnen om Apache Kafka genom att köra följande kommando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Publicera ett meddelande med hjälp av ämnet du skapade

eko "hej världen" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-mäklarlista lokal värd: 9092-ämnetestning

4) Ta emot meddelandet om det skapade ämnet

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topic testing –from-början

5) Skicka en fil med kafka över ett ämne

kafka-console-producer.sh-mäklarlista lokal värd: 9092 –testning