리눅스 썸네일형 리스트형 [draft] Python으로 Kafka Consumer 생성 Python으로 Kafka Consumer 생성Python에서는 confluent_kafka 라이브러리를 주로 사용하여 Kafka 클러스터와 상호작용합니다.Apache Kafka - Cluster Architecture1. 간단한 Kafka 컨슈머를 만들기confluent_kafka 라이브러리를 설치합니다.pip install confluent_kafkaPython Kafka Consumer 예제Topic : test-topic-1Kafka Broker Server : node1:9092, node2:9092, node3:9092Consumers Group ID : my-consumer-groupvim python_kafka_consumer.pyfrom confluent_kafka import Consu.. 더보기 [draft] Kafdrop 도구를 사용하여 Kafka 클러스터를 관리하는 방법 Kafdrop 도구를 사용하여 Kafka 클러스터를 관리하는 방법docker-compose.yml 파일 생성vim docker-compose.ymlservices: kafdrop: image: obsidiandynamics/kafdrop:latest restart: always container_name: kafdrop hostname: kafdrop extra_hosts: - "node1:192.168.0.111" - "node2:192.168.0.112" - "node3:192.168.0.113" environment: - KAFKA_BROKERCONNECT=node1:9092,node2:9092,node3:9092 ports.. 더보기 [draft] Kafka-UI 도구를 사용하여 Kafka 클러스터를 관리하는 방법 Kafka-UI 도구를 사용하여 Kafka 클러스터를 관리하는 방법docker-compose.yml 파일 생성vim docker-compose.ymlservices: kafka-ui: image: provectuslabs/kafka-ui:latest container_name: kafka-ui restart: always environment: - KAFKA_CLUSTERS_0_NAME=local - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=node1:9092,node2:29092,node3:9092 - KAFKA_CLUSTERS_0_ZOOKEEPER=node1:2181,node2:2181,node3:2181 ports: .. 더보기 [draft] Apache Kafka와 ZooKeeper 클러스터를 구성하는 방법 Apache Kafka와 ZooKeeper 클러스터를 구성하는 방법ZooKeeper는 Kafka의 클러스터 메타데이터를 관리하기 위해 필요하며 Kafka 브로커와 ZooKeeper의 클러스터 구성은 분산 환경에서 높은 가용성과 확장성을 제공합니다.테스트 환경HostnameIPRole비고node1192.168.0.111 node2192.168.0.112 node3192.168.0.113 1. Kafka 및 ZooKeeper 클러스터 구조 개요ZooKeeper는 Kafka 클러스터의 상태를 관리하고 브로커 간의 협력을 조율합니다.Kafka 브로커는 메시지를 저장하고 클라이언트(프로듀서 및 컨슈머)로부터 데이터를 송수신합니다. 여러 개의 브로커가 함께 작동하여 클러스터를 구성합니다.2. 필수 조건서버 :.. 더보기 [draft] 우분투에 Zookeeper와 Kafka를 설치하는 방법 우분투에 OpenJDK, Zookeeper 및 Kafka를 설치하는 방법테스트 환경$ lsb_release -dDescription: Ubuntu 22.04.2 LTS1. OpenJDK 설치OpenJDK를 설치합니다. Kafka와 Zookeeper는 Java 기반으로 동작하므로 OpenJDK가 필요합니다. 저장소 업데이트apt-get updateOpenJDK 설치apt-get install -y openjdk-17-jreOpenJDK 버전 정보 확인java --version$ java --versionopenjdk 17.0.8.1 2023-08-24OpenJDK Runtime Environment (build 17.0.8.1+1-Ubuntu-0ubuntu122.04)OpenJDK 64-Bit Server.. 더보기 [draft] Kafka(Zookeeper)를 systemd를 사용하여 시작, 중지 및 관리하는 방법 Kafka(Zookeeper)를 systemd를 사용하여 시작, 중지 및 관리하는 방법Kafka(Zookeeper)를 Systemd로 관리하기 위해 새로운 Systemd Unit 파일을 생성합니다.systemd 유닛 파일 생성zookeepervim /etc/systemd/system/zookeeper.service[Unit]Requires=network.target remote-fs.targetAfter=network.target remote-fs.target[Service]Type=simpleUser=rootGroup=rootExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.propertie.. 더보기 [draft] Apache Kafka(Zookeeper)를 클러스터 구성하는 방법 Apache Kafka(Zookeeper)를 클러스터 구성하는 방법테스트 환경운영체제 정보$ cat /etc/redhat-releaseCentOS Linux release 7.9.2009 (Core)$ getconf LONG_BIT64카프카 클러스터 다이어그램Apache Kafka(Zookeeper)를 클러스터 구성하는 방법java 설치$ yum install -y java-11-openjdk.x86_64$ java --versionopenjdk 11.0.13 2021-10-19 LTSOpenJDK Runtime Environment 18.9 (build 11.0.13+8-LTS)OpenJDK 64-Bit Server VM 18.9 (build 11.0.13+8-LTS, mixed mode, sharin.. 더보기 [draft] Installing a package to use the Kafka command Installing a package to use the Kafka command(kafka-topics.sh)Install Azul Zulu on RPM-based Linux(CentOS 7)https://docs.azul.com/core/zulu-openjdk/install/rpm-based-linuxInstall from Azul RPM repositoryyum install -y https://cdn.azul.com/zulu/bin/zulu-repo-1.0.0-1.noarch.rpmInstall the required Azul Zulu packageyum install -y zulu11-jdkCheck the java version/usr/lib/jvm/zulu11/bin/java --versio.. 더보기 이전 1 2 3 4 ··· 54 다음
