본문 바로가기

728x90

Kafka

Redis, Memcached, Kafka, Elasticsearch, RabbitMQ, MongoDB의 특징과 주요 차이점 Redis, Memcached, Kafka, Elasticsearch, RabbitMQ, MongoDB의 특징과 주요 차이점 모두 NoSQL 데이터베이스 또는 메시징 시스템으로 분류되는 인기 있는 오픈 소스 기술입니다. Redis 키-값 저장소로, 데이터를 키와 값의 쌍으로 저장합니다. Redis는 빠른 성능과 다양한 데이터 구조를 지원하는 것으로 유명합니다. Redis는 캐싱, 로그, 세션 관리, 게임 상태 관리 등 다양한 용도로 사용할 수 있습니다. Memcached Redis와 유사한 키-값 저장소이지만 Redis보다 더 단순한 기능을 제공합니다. Memcached는 빠른 성능으로 유명하며 캐싱에 가장 일반적으로 사용됩니다. Kafka 분산 메시징 시스템으로, 메시지를 게시하고 구독할 수 있는 토픽.. 더보기
CentOS 7에서 PHP rdkafka 확장(Extension) 모듈을 설치하는 방법 CentOS 7에서 PHP rdkafka 확장(Extension) 모듈을 설치하는 방법 테스트 환경 nginx php-fpm PHP 버전 확인 php -v $ php -v PHP 7.3.27 (cli) (built: Feb 2 2021 10:32:50) ( NTS ) Copyright (c) 1997-2018 The PHP Group Zend Engine v3.3.27, Copyright (c) 1998-2018 Zend Technologies with Zend OPcache v7.3.27, Copyright (c) 1999-2018, by Zend Technologies PHP 저장소 버전 확인 yum info php | egrep 'Name|Arch|Version|Repo' 2 $ yum info p.. 더보기
Kafka(Zookeeper)를 systemd를 사용하여 시작, 중지 및 관리하는 방법 Kafka(Zookeeper)를 systemd를 사용하여 시작, 중지 및 관리하는 방법 Kafka(Zookeeper)를 Systemd로 관리하기 위해 새로운 Systemd Unit 파일을 생성합니다. systemd 유닛 파일 생성 zookeeper vim /etc/systemd/system/zookeeper.service [Unit] Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple User=root Group=root ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeep.. 더보기
kcat(kafkacat) 명령어 kcat(kafkacat) 명령어 kcat - Apache Kafka 생산자(producer) 및 소비자(consumer) 도구 테스트 환경 $ cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) $ getconf LONG_BIT 64 kafkacat 설치 gcc-c++, git, librdkafka-devel 설치 yum install -y gcc-c++ git librdkafka-devel kafkacat 다운로드(git clone), 컴파일 및 설치 git clone https://github.com/edenhill/kafkacat cd kafkacat ./configure make make install kcat 버전 정보 확인 $ kcat.. 더보기
카프카 producer와 consumer 테스트 카프카 producer와 consumer 테스트 카프카 토픽 생성 topic list kafka-topics.sh --list --bootstrap-server localhost:9092 topic create replication-factor : 복제본 개수(2) partitions : 파티션 개수(3) kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 2 --partitions 3 --topic helloworld $ kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 2 --partitions 3 --topic hel.. 더보기
[리눅스] Apache Kafka(Zookeeper)를 클러스터 구성하는 방법 Apache Kafka(Zookeeper)를 클러스터 구성하는 방법 구성 환경 $ cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) $ getconf LONG_BIT 64 카프카 클러스터 다이어그램 Apache Kafka(Zookeeper)를 클러스터 구성하는 방법 java 설치 $ yum install -y java-11-openjdk.x86_64 $ java --version openjdk 11.0.13 2021-10-19 LTS OpenJDK Runtime Environment 18.9 (build 11.0.13+8-LTS) OpenJDK 64-Bit Server VM 18.9 (build 11.0.13+8-LTS, mixed mode, s.. 더보기
Installing a package to use the Kafka command(kafka-topics.sh) Installing a package to use the Kafka command(kafka-topics.sh) Install Azul Zulu on RPM-based Linux(CentOS 7) https://docs.azul.com/core/zulu-openjdk/install/rpm-based-linux Install from Azul RPM repository yum install -y https://cdn.azul.com/zulu/bin/zulu-repo-1.0.0-1.noarch.rpm Install the required Azul Zulu package yum install -y zulu11-jdk Check the java version /usr/lib/jvm/zulu11/bin/java .. 더보기
Kafka Broker 및 ZooKeeper의 버전을 확인하는 방법 Kafka Broker 및 ZooKeeper의 버전을 확인하는 방법 Kafka Broker 버전 확인 kafka-server-start.sh --version ZooKeeper 버전 확인 zkServer.sh --version 또는 zookeeper-server-status 이러한 명령어를 사용하여 Kafka Broker 및 ZooKeeper의 현재 설치된 버전을 확인할 수 있습니다. Kafka(Broker) version find /usr/share/java/kafka/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' $ find /usr/share/java/kafka/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n].. 더보기

728x90