본문 바로가기

728x90

Kafka

[리눅스] PHP rdkafka 확장(Extension)을 설치하는 방법 PHP rdkafka 확장(Extension)을 설치하는 방법 환경 : nginx - php-fpm php 버전 확인 php -v $ php -v PHP 7.3.27 (cli) (built: Feb 2 2021 10:32:50) ( NTS ) Copyright (c) 1997-2018 The PHP Group Zend Engine v3.3.27, Copyright (c) 1998-2018 Zend Technologies with Zend OPcache v7.3.27, Copyright (c) 1999-2018, by Zend Technologies php 저장소 버전 확인 yum info php | egrep 'Name|Arch|Version|Repo' 2 $ yum info php | egrep 'Na.. 더보기
[Kafka] Systemd Unit(systemctl) 파일 생성 및 Kafka 서버 시작 Systemd Unit(systemctl) 파일 생성 및 Kafka 서버 시작 zookeeper $ vim /etc/systemd/system/zookeeper.service [Unit] Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple User=root Group=root ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh Restart=on-abn.. 더보기
[리눅스] kcat(kafkacat) 명령어 kcat(kafkacat) 명령어 kcat - Apache Kafka 생산자(producer) 및 소비자(consumer) 도구 기본 환경 설명 $ cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) $ getconf LONG_BIT 64 kafkacat 설치 gcc-c++, git, librdkafka-devel 설치 $ yum install -y gcc-c++ git librdkafka-devel kafkacat 다운로드(git clone), 컴파일 및 설치 $ git clone https://github.com/edenhill/kafkacat $ cd kafkacat $ ./configure $ make && make install $ kca.. 더보기
[Kafka] 카프카 producer와 consumer 테스트 카프카 producer와 consumer 테스트 카프카 토픽 생성 topic list $ kafka-topics.sh --list --bootstrap-server localhost:9092 topic create - replication-factor : 복제본 개수(2) - partitions : 파티션 개수(3) $ kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 2 --partitions 3 --topic helloworld Created topic helloworld. topic list $ kafka-topics.sh --list --bootstrap-server localhost:9092 hellow.. 더보기
[Kafka] Apache Kafka(Zookeeper)를 클러스터 구성하는 방법 구성 환경 $ cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) $ getconf LONG_BIT 64 카프카 클러스터 다이어그램 Apache Kafka(Zookeeper)를 클러스터 구성하는 방법 java 설치 $ yum install -y java-11-openjdk.x86_64 $ java --version openjdk 11.0.13 2021-10-19 LTS OpenJDK Runtime Environment 18.9 (build 11.0.13+8-LTS) OpenJDK 64-Bit Server VM 18.9 (build 11.0.13+8-LTS, mixed mode, sharing) 주키퍼 클러스터 구성(Zookeeper Cluster .. 더보기
[Kafka] Installing a package to use the Kafka command(kafka-topics.sh) Installing a package to use the Kafka command(kafka-topics.sh) Install Azul Zulu on RPM-based Linux(CentOS 7) https://docs.azul.com/core/zulu-openjdk/install/rpm-based-linux Install from Azul RPM repository $ yum install -y https://cdn.azul.com/zulu/bin/zulu-repo-1.0.0-1.noarch.rpm Install the required Azul Zulu package $ yum install -y zulu11-jdk Check the java version $ /usr/lib/jvm/zulu11/bin.. 더보기
[Kafka] Check the Kafka(Broker) ZooKeeper version Check the Kafka(Broker), ZooKeeper version Kafka(Broker) version find /usr/share/java/kafka/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' $ find /usr/share/java/kafka/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' kafka/kafka_2.13-7.0.0-ccs.jar Zookeeper version echo srvr | nc localhost 2181 $ echo srvr | nc localhost 2181 Zookeeper version: 3.6.3--6401e4ad2087061bc6b9f80dec2d69f2e3.. 더보기
[Kafka] docker를 사용한 kafka 클러스터 설정 docker를 사용한 kafka 클러스터 설정 이미지 출처 : https://www.haedongg.net/wp-content/uploads/2020/08/zk-kafka.jpg 호스트명 아이피 도커 컨테이너 비고 datanode1 192.168.0.101 zookeeper, kafka(broker) datanode2 192.168.0.102 zookeeper, kafka(broker) datanode3 192.168.0.103 zookeeper, kafka(broker) github 소스 : https://github.com/anti1346/multinode-kafka-cluster.git 도커 컨테이너 실행 datanode1 컨테이너 $ git clone https://github.com/anti13.. 더보기

728x90