Vendosja e Kafkës: 4 hapa

2024 Autor: John Day | [email protected]. E modifikuara e fundit: 2024-01-30 12:19

Prezantimi:

Apache Kafka është një sistem mesazhesh i shkallëzuar dhe me qarkullim të lartë me burim të hapur i zhvilluar nga Fondacioni Softuer Apache i shkruar në Scala. Apache Kafka është krijuar posaçërisht për të lejuar që një grup i vetëm të shërbejë si shtylla kryesore e të dhënave për një mjedis të madh. Ka një xhiro shumë më të lartë në krahasim me sistemet e ndërmjetësve të tjerë të mesazheve si ActiveMQ dhe RabbitMQ. Shtë në gjendje të trajtojë vëllime të mëdha të të dhënave në kohë reale në mënyrë efikase. Ju mund të vendosni Kafka në një server të vetëm Apache ose në një mjedis të shpërndarë të grupuar.

Karakteristikat:

Karakteristikat e përgjithshme të Kafka janë si më poshtë:

Mesazhi i vazhdueshëm në disk që siguron performancë të vazhdueshme kohore.

Xhiroja e lartë me struktura të diskut që mbështesin qindra mijëra mesazhe në sekondë.

Sistemi i shpërndarë shkallëzohet lehtë pa kohë joproduktive.

Mbështet shumë abonentë dhe balancon automatikisht konsumatorët gjatë dështimit.

Ky tutorial tregon se si të instaloni dhe konfiguroni Apache Kafka në një server Ubuntu 16.04.

Kërkesat

Një server Ubuntu 16.04.

Llogari përdoruesi jo-rrënjësore me super privilegj të përdoruesit të konfiguruar në serverin tuaj.

Hapi 1: Fillimi dhe Instalimi i Java

1) Le të fillojmë të sigurohemi që serveri juaj Ubuntu 16.04 është plotësisht i përditësuar

Ju mund të azhurnoni serverin tuaj duke ekzekutuar komandat e mëposhtme:-

sudo apt -merrni përditësim -y

sudo apt -get upgrade -y

2) Instalimi i Java

Kontrolloni nëse pajisja juaj ka java që është instaluar tashmë ose ka një version java të paracaktuar me komandën e mëposhtme:-

java -version

Edhe nëse keni java por një version më të ulët, do t'ju duhet ta azhurnoni atë.

Ju mund të instaloni Java duke:-

sudo apt-get install default-jdk

OSE

Ju mund të instaloni Oracle JDK 8 duke përdorur depon e ekipit Webupd8 PPA.

Për të shtuar depo, ekzekutoni komandën e mëposhtme:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Hapi 2: Instaloni Zookeeper

Çfarë është Zookeeper?

Zookeeper është një shërbim i centralizuar për ruajtjen e informacionit të konfigurimit, emërtimin, sigurimin e sinkronizimit të shpërndarë dhe sigurimin e shërbimeve në grup. Të gjitha këto lloj shërbimesh përdoren në një formë ose në një tjetër nga aplikacionet e shpërndara. Sa herë që ato zbatohen ka shumë punë që shkon në rregullimin e defekteve dhe kushteve të garës që janë të pashmangshme. Për shkak të vështirësisë së zbatimit të këtyre llojeve të shërbimeve, aplikacionet zakonisht zakonisht i kursejnë ato, gjë që i bën ato të brishtë në prani të ndryshimeve dhe të vështira për t'u menaxhuar. Edhe kur bëhet në mënyrë korrekte, zbatimet e ndryshme të këtyre shërbimeve çojnë në kompleksitetin e menaxhimit kur aplikacionet vendosen.

Para instalimit të Apache Kafka, do t'ju duhet të keni në dispozicion dhe të punoni ruajtës të zooke. ZooKeeper është një shërbim me burim të hapur për ruajtjen e informacionit të konfigurimit, sigurimin e sinkronizimit të shpërndarë, emërtimin dhe ofrimin e shërbimeve në grup.

1) Si parazgjedhje, paketa Zookeeper është e disponueshme në depon e paracaktuar të Ubuntu

Mund ta instaloni duke ekzekutuar komandën e mëposhtme:-

sudo apt-get install zookeeperd

Pasi të ketë përfunduar instalimi, do të fillojë automatikisht si një demon. Si parazgjedhje, Zookeeper do të funksionojë në portin 2181.

Mund ta provoni duke ekzekutuar komandën e mëposhtme:

netstat -ant | grep: 2181

Vendosja jashtë duhet t'ju tregojë se porti 2181 po dëgjohet.

Hapi 3: Instaloni dhe filloni serverin Kafka

Tani që Java dhe ZooKeeper janë instaluar, është koha për të shkarkuar dhe nxjerrë Kafka nga faqja e internetit Apache.

1) Ju mund të përdorni curl ose wget për të shkarkuar Kafka: (Kafka versioni 0.10.1.1)

Drejtoni komandën e mëposhtme për të shkarkuar konfigurimin e kafka:-

curl -O

OSE

wget

2) Krijoni një drejtori për Kafka

Tjetra, krijoni një drejtori për instalimin e Kafka:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Zhbllokoni dosjen e shkarkuar

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Ndryshoni emrin e përdoruesit sipas emrit tuaj të përdoruesit

4) Filloni serverin kafka

Hapi tjetër është të filloni serverin Kafka, mund ta filloni duke ekzekutuar skriptin kafka-server-start.sh të vendosur në /opt/kafka/kafka_2.11-0.10.1.1/bin/ duke përdorur komandën e mëposhtme:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kontrolloni nëse Serveri Kafka po punon mirë

Tani keni një server Kafka që funksionon dhe dëgjon në portin 9092.

Tani, ne mund të kontrollojmë portat e dëgjimit:

- Kopshtin Zoologjik: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Hapi 4: Provoni serverin tuaj Kafka

Tani, është koha për të verifikuar që serveri Kafka po funksionon si duhet.

1) Krijoni një temë të re

Për të testuar Kafka, krijoni një temë shembull me emrin "testimi" në Apache Kafka duke përdorur komandën e mëposhtme:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --krijoni-testime tematike-zoologjik lokalhost: 2181-ndarje 1-faktor përsëritje 1

2) Kontrolloni nëse tema juaj është krijuar me sukses

Tani, kërkoni Zookeeper të listojë temat në dispozicion në Apache Kafka duke ekzekutuar komandën e mëposhtme:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-lista --zookeeper localhost: 2181

3) Publikoni një mesazh duke përdorur temën që keni krijuar

jehonë "përshëndetje botë" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-broker-list localhost: 9092-testimi i temës

4) Merrni mesazhin për temën e krijuar

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092-testimi tematik-nga fillimi

5) Për të dërguar një skedar duke përdorur kafka mbi një temë

kafka-console-producer.sh-lista e ndërmjetësve localhost: 9092-testimi i temës