본문 바로가기
728x90

Kafka

[draft] 우분투에 PHP rdkafka 확장 모듈을 설치하는 방법 우분투에 PHP rdkafka 확장 모듈을 설치하는 방법필수 패키지 설치빌드 도구 설치sudo apt install -y build-essentialre2c 설치sudo apt install -y re2cPHP 개발 도구, PECL 도구 및 librdkafka 개발 헤더 파일 설치sudo apt install -y php-dev php-pear librdkafka-devPECL을 통해 rdkafka 확장 설치현재 PECL 채널 정보 확인sudo pecl channel-info pecl.php.netChannel pecl.php.net Information:=================================Name and Server pecl.php.netAlias .. 더보기
[draft] Python으로 Kafka Consumer 생성 Python으로 Kafka Consumer 생성Python에서는 confluent_kafka 라이브러리를 주로 사용하여 Kafka 클러스터와 상호작용합니다.Apache Kafka - Cluster Architecture1. 간단한 Kafka 컨슈머를 만들기confluent_kafka 라이브러리를 설치합니다.pip install confluent_kafkaPython Kafka Consumer 예제Topic : test-topic-1Kafka Broker Server : node1:9092, node2:9092, node3:9092Consumers Group ID : my-consumer-groupvim python_kafka_consumer.pyfrom confluent_kafka import Consu.. 더보기
[draft] Kafdrop 도구를 사용하여 Kafka 클러스터를 관리하는 방법 Kafdrop 도구를 사용하여 Kafka 클러스터를 관리하는 방법docker-compose.yml 파일 생성vim docker-compose.ymlservices: kafdrop: image: obsidiandynamics/kafdrop:latest restart: always container_name: kafdrop hostname: kafdrop extra_hosts: - "node1:192.168.0.111" - "node2:192.168.0.112" - "node3:192.168.0.113" environment: - KAFKA_BROKERCONNECT=node1:9092,node2:9092,node3:9092 ports.. 더보기
[draft] Kafka-UI 도구를 사용하여 Kafka 클러스터를 관리하는 방법 Kafka-UI 도구를 사용하여 Kafka 클러스터를 관리하는 방법docker-compose.yml 파일 생성vim docker-compose.ymlservices: kafka-ui: image: provectuslabs/kafka-ui:latest container_name: kafka-ui restart: always environment: - KAFKA_CLUSTERS_0_NAME=local - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=node1:9092,node2:29092,node3:9092 - KAFKA_CLUSTERS_0_ZOOKEEPER=node1:2181,node2:2181,node3:2181 ports: .. 더보기
[draft] Apache Kafka와 ZooKeeper 클러스터를 구성하는 방법 Apache Kafka와 ZooKeeper 클러스터를 구성하는 방법ZooKeeper는 Kafka의 클러스터 메타데이터를 관리하기 위해 필요하며 Kafka 브로커와 ZooKeeper의 클러스터 구성은 분산 환경에서 높은 가용성과 확장성을 제공합니다.테스트 환경HostnameIPRole비고node1192.168.0.111  node2192.168.0.112  node3192.168.0.113  1. Kafka 및 ZooKeeper 클러스터 구조 개요ZooKeeper는 Kafka 클러스터의 상태를 관리하고 브로커 간의 협력을 조율합니다.Kafka 브로커는 메시지를 저장하고 클라이언트(프로듀서 및 컨슈머)로부터 데이터를 송수신합니다. 여러 개의 브로커가 함께 작동하여 클러스터를 구성합니다.2. 필수 조건서버 :.. 더보기
Redis, Memcached, Kafka, Elasticsearch, RabbitMQ, MongoDB의 특징과 주요 차이점 Redis, Memcached, Kafka, Elasticsearch, RabbitMQ, MongoDB의 특징과 주요 차이점 모두 NoSQL 데이터베이스 또는 메시징 시스템으로 분류되는 인기 있는 오픈 소스 기술입니다. Redis 키-값 저장소로, 데이터를 키와 값의 쌍으로 저장합니다. Redis는 빠른 성능과 다양한 데이터 구조를 지원하는 것으로 유명합니다. Redis는 캐싱, 로그, 세션 관리, 게임 상태 관리 등 다양한 용도로 사용할 수 있습니다. Memcached Redis와 유사한 키-값 저장소이지만 Redis보다 더 단순한 기능을 제공합니다. Memcached는 빠른 성능으로 유명하며 캐싱에 가장 일반적으로 사용됩니다. Kafka 분산 메시징 시스템으로, 메시지를 게시하고 구독할 수 있는 토픽.. 더보기
[draft] 우분투에 Zookeeper와 Kafka를 설치하는 방법 우분투에 OpenJDK, Zookeeper 및 Kafka를 설치하는 방법테스트 환경$ lsb_release -dDescription: Ubuntu 22.04.2 LTS1. OpenJDK 설치OpenJDK를 설치합니다. Kafka와 Zookeeper는 Java 기반으로 동작하므로 OpenJDK가 필요합니다. 저장소 업데이트apt-get updateOpenJDK 설치apt-get install -y openjdk-17-jreOpenJDK 버전 정보 확인java --version$ java --versionopenjdk 17.0.8.1 2023-08-24OpenJDK Runtime Environment (build 17.0.8.1+1-Ubuntu-0ubuntu122.04)OpenJDK 64-Bit Server.. 더보기
CentOS 7에서 PHP rdkafka 확장(Extension) 모듈을 설치하는 방법 CentOS 7에서 PHP rdkafka 확장(Extension) 모듈을 설치하는 방법 테스트 환경 nginx php-fpm PHP 버전 확인 php -v $ php -v PHP 7.3.27 (cli) (built: Feb 2 2021 10:32:50) ( NTS ) Copyright (c) 1997-2018 The PHP Group Zend Engine v3.3.27, Copyright (c) 1998-2018 Zend Technologies with Zend OPcache v7.3.27, Copyright (c) 1999-2018, by Zend Technologies PHP 저장소 버전 확인 yum info php | egrep 'Name|Arch|Version|Repo' 2 $ yum info p.. 더보기
728x90

티스토리툴바