Phenquestions
Apache Kafka nodalījumu pamati:
Lai saprastu Apache Kafka pamatus Sadalījumss, jums jāzina par Kafku Temats vispirms.
A Temats ir kā datu bāze SQL datu bāzē, piemēram, MariaDB Apache Kafka. A Temats ir nosaukums vai identifikators, kuru izmantojat, lai grupētu ziņojumus Apache Kafka.
A Sadalījums ir kā kanāls katram Temats. A Temats var būt daudz Sadalījumss vai kanāli.
Tīkla kabelim, kas savieno divus datorus, ir divi gali: viens sūta datus, otrs - datus. Tieši tāpat, Apache Kafka Topic ir divi gali, Producentssmiltis Patērētājss. A Producents izveido ziņojumus un nosūta tos vienā no Sadalījumss no a Temats. A Patērētājs no otras puses nolasa ziņojumus no Sadalījumss no a Temats.
Vairāki SadalījumsLai palielinātu atlaišanu, tiek izveidoti s vai kanāli. To izmanto arī ziņojumu grupēšanai konkrētā Temats.
Tie ir Apache Kafka pamati Sadalījumss. Jūs varat uzzināt vairāk par Apache Kafka nodalījumiem citā veltītā rakstā Apache Kafka sadalīšana vietnē https: // linuxhint.com / apache-kafka-partitioning
Apache Kafka instalēšana:
Man ir īpašs detalizēts raksts par to, kā to izdarīt Instalējiet Apache Kafka Ubuntu, kuru varat izlasīt vietnē https: // linuxhint.com / install-apache-kafka-ubuntu /
Ar nelielu pielāgošanu jūs varat instalēt Apache Kafka arī citos Linux izplatījumos.
Apache Kafka servera palaišana:
Ja esat ievērojis manu rakstu, lai instalētu Apache Kafka, vispirms palaidiet Apache Kafka serveri ar šādu komandu:
$ sudo kafka-server-start.sh / etc / kafka.īpašībasJāuzsāk Apache Kafka serveris. Saglabājiet šo termināli atvērtu tik ilgi, kamēr vēlaties palaist Apache Kafka serveri.
Apache Kafka tēmas izveide:
Jūs varat izveidot Apache Kafka Temats testēšana ar šādu komandu:
$ sudo kafka-tēmas.sh \--izveidot \
--zookeeper localhost: 2181 \
--1. replikācijas koeficients \
--partīcijas 1 \
--tēmas pārbaude
The Temats testēšana būtu jāizveido. Šis Temats ir 1 nodalījums.
Ja vēlaties izveidot, teiksim N starpsienas, pēc tam iestatiet -starpsienas uz N.
Izveidosim citu Temats, teiksim lietotājiem, ar 3 Sadalījumss, pēc tam izpildiet šādu komandu:
$ sudo kafka-tēmas.sh \--izveidot \
--zookeeper localhost: 2181 \
--1. replikācijas koeficients \
--nodalījumi 3 \
--tēmas lietotāji
Tēmas lietotāji jāizveido ar 3 Sadalījumss.
Sadalīto ziņojumu pievienošana tēmai:
A Sadalījumsrediģēja a. ziņojumu Temats ir taustiņu un a vērtība. The taustiņu un vērtība parasti atdala a komats vai citu īpašu raksturu. Nav svarīgi, kādu īpašu rakstzīmi izmantojat, lai atdalītu taustiņu un vērtība pāris. Bet jums ir jāizmanto viens un tas pats īpašais raksturs visur Temats. Pretējā gadījumā viss varētu noiet greizi.
The taustiņu tiek izmantots, lai noteiktu, kurš Sadalījums ziņojums par Temats pieder. Tam jābūt unikālam Temats. Ja Jums ir 3 Sadalījumss, tad jums vajadzētu izmantot 3 savādāk taustiņus. Lai ziņojumus varētu sadalīt 3 Sadalījumss.
Teiksim, mūsu lietotājiem Temats ir 3 lietotāji ar 1. taustiņš, 2, un 3, katrs no tiem pieder vienam no 3 Sadalījumss no lietotāju tēma.
Izpildiet šo komandu, lai pievienotu pirmo lietotāju 1. taustiņš izmantojot Kafka Producer API:
$ echo "1, name: 'Shahriar Shovon', valsts: 'BD'" | sudo kafka-konsole-producents.sh \--brokeru saraksta vietējais saimnieks: 9092 \
--tēmas lietotāji \
--īpašuma parsēšana.atslēga = taisnība \
--rekvizīta atslēga.atdalītājs =,
Tagad jūs varat uzskaitīt ziņojumu no lietotājiem Temats izmantojot Kafka Consumer API ar šādu komandu:
$ sudo kafka-console-consumer.sh \--zookeeper localhost: 2181 \
--tēmas lietotāji \
--īpašuma druka.atslēga = taisnība \
--rekvizīta atslēga.atdalītājs =, \
--no sākuma
Kā redzat, taustiņu un vērtība pāris, ko tikko pievienoju lietotājiem Temats ir uzskaitīts.
Es gatavojos saglabāt Patērētājs programma lietotājiem Temats atveriet šo termināli un pievienojiet pārējos lietotājus lietotājiem Temats no cita Termināls un redzēt, kas notiek.
Pievienojiet citu lietotāju ar taustiņš 2 ar šādu komandu:
$ echo "2, name: 'John Doe', valsts: 'BD'" | sudo kafka-konsole-producents.sh \--brokeru saraksta vietējais saimnieks: 9092 \
--tēmas lietotāji \
--īpašuma parsēšana.atslēga = taisnība \
--rekvizīta atslēga.atdalītājs =,
Kā redzat no zemāk redzamās ekrānuzņēmuma atzīmētās sadaļas, jaunais lietotājs tiek nekavējoties iekļauts programmā Consumer.
Pievienosim savu pēdējo lietotāju ar taustiņš 3 ar šādu komandu:
$ echo "3, name: 'Evelina Aquilino', valsts: 'US'" | sudo kafka-konsole-producents.sh \--brokeru saraksta vietējais saimnieks: 9092 \
--tēmas lietotāji \
--īpašuma parsēšana.atslēga = taisnība \
--rekvizīta atslēga.atdalītājs =,
Kā redzat, jaunais lietotājs ir norādīts arī Patērētājs programmu.
Vienam un tam pašam varat pievienot arī daudzus lietotājus Sadalījums. Vienkārši pārliecinieties, ka taustiņu ir tāds pats.
Pievienosim vēl vienu lietotāju Sadalījums ar 1. taustiņš:
$ echo "1, name: 'Lynelle Piatt', valsts: 'CA'" | sudo kafka-konsole-producents.sh \--brokeru saraksta vietējais saimnieks: 9092 \
--tēmas lietotāji \
--īpašuma parsēšana.atslēga = taisnība \
--rekvizīta atslēga.atdalītājs =,
Kā redzat, jaunais lietotājs tiek pievienots pareizajam Sadalījums no lietotāju tēma.
Es varu turpināt pievienot izlases lietotājus lietotājiem Temats un tie tiks nosūtīti caur pareizo nodalījumu, kā redzat zemāk redzamajā ekrānuzņēmumā.
Tā tas ir Sadalījumss Apache Kafka strādā. Katrs Sadalījums ir kā a Rinda, vispirms tiek parādīts pirmais ziņojums, ko nosūtāt caur šo nodalījumu, un pēc tam otrais ziņojums un tā tālāk to nosūtīšanas secībā.
Ja jūs esat Java izstrādātājs, varat izmantot Java programmēšanas valoda un Apache Kafka Java APIs darīt interesantas lietas ar Apache Kafka Sadalījumss. Piemēram, jūs varat piešķirt dažādus Sadalījums dažādām tērzēšanas telpām jūsu tūlītējās ziņojumapmaiņas lietotnei, jo ziņojumi jāparāda to nosūtīšanas secībā.
Tātad tas ir viss šodien. Paldies, ka izlasījāt šo rakstu.
