전체 글 썸네일형 리스트형 [draft] AWS EC2 Instance Connect를 설정하는 방법 AWS EC2 Instance Connect를 설정하는 방법Amazon Linux 2에 EC2 Instance Connect(ec2-instance-connect) 설치yum install ec2-instance-connect인터스턴 생성 시 ec2-instance-connect 패키지기 포함되어 있나 봐요(설치되어 있네요 ㅠㅠ)$ sudo yum install -y ec2-instance-connectLoaded plugins: extras_suggestions, langpacks, priorities, update-motdPackage ec2-instance-connect-1.1-14.amzn2.noarch already installed and latest versionNothing to do/op.. 더보기 [draft] Amazon EC2 파일 시스템 확장 Amazon EC2 파일 시스템 확장(디스크 볼륨 증설)웹 콘솔에서 볼륨 증설리눅스 파일 시스템 확인파일 시스템 확인df -hT | egrep -v 'tmpfs|overlay'$ df -hT | egrep -v 'tmpfs|overlay'Filesystem Type Size Used Avail Use% Mounted on/dev/nvme0n1p1 xfs 20G 17G 3.9G 81% /lsblk 명령어를 사용하여 NVMe 블록 디바이스에 대한 정보를 확인합니다.lsblk$ lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTnvme0n1 259:0 0 30G 0 disk├─nvme0n1p1 259:1 .. 더보기 [draft] Amazon Linux 2 인스턴스에 도커를 설치하는 방법 Amazon Linux 2 인스턴스에 도커(Docker)를 설치하는 방법(docker install)테스트 환경운영체제 정보$ cat /etc/os-release NAME="Amazon Linux"VERSION="2"ID="amzn"ID_LIKE="centos rhel fedora"VERSION_ID="2"PRETTY_NAME="Amazon Linux 2"ANSI_COLOR="0;33"CPE_NAME="cpe:2.3:o:amazon:amazon_linux:2"HOME_URL="https://amazonlinux.com/"Docker 설치Docker 패키지 설치sudo amazon-linux-extras install -y dockerDocker 서비스 시작sudo systemctl --now enable.. 더보기 [draft] Python으로 Kafka Consumer 생성 Python으로 Kafka Consumer 생성Python에서는 confluent_kafka 라이브러리를 주로 사용하여 Kafka 클러스터와 상호작용합니다.Apache Kafka - Cluster Architecture1. 간단한 Kafka 컨슈머를 만들기confluent_kafka 라이브러리를 설치합니다.pip install confluent_kafkaPython Kafka Consumer 예제Topic : test-topic-1Kafka Broker Server : node1:9092, node2:9092, node3:9092Consumers Group ID : my-consumer-groupvim python_kafka_consumer.pyfrom confluent_kafka import Consu.. 더보기 [draft] Kafdrop 도구를 사용하여 Kafka 클러스터를 관리하는 방법 Kafdrop 도구를 사용하여 Kafka 클러스터를 관리하는 방법docker-compose.yml 파일 생성vim docker-compose.ymlservices: kafdrop: image: obsidiandynamics/kafdrop:latest restart: always container_name: kafdrop hostname: kafdrop extra_hosts: - "node1:192.168.0.111" - "node2:192.168.0.112" - "node3:192.168.0.113" environment: - KAFKA_BROKERCONNECT=node1:9092,node2:9092,node3:9092 ports.. 더보기 [draft] Kafka-UI 도구를 사용하여 Kafka 클러스터를 관리하는 방법 Kafka-UI 도구를 사용하여 Kafka 클러스터를 관리하는 방법docker-compose.yml 파일 생성vim docker-compose.ymlservices: kafka-ui: image: provectuslabs/kafka-ui:latest container_name: kafka-ui restart: always environment: - KAFKA_CLUSTERS_0_NAME=local - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=node1:9092,node2:29092,node3:9092 - KAFKA_CLUSTERS_0_ZOOKEEPER=node1:2181,node2:2181,node3:2181 ports: .. 더보기 [draft] Apache Kafka와 ZooKeeper 클러스터를 구성하는 방법 Apache Kafka와 ZooKeeper 클러스터를 구성하는 방법ZooKeeper는 Kafka의 클러스터 메타데이터를 관리하기 위해 필요하며 Kafka 브로커와 ZooKeeper의 클러스터 구성은 분산 환경에서 높은 가용성과 확장성을 제공합니다.테스트 환경HostnameIPRole비고node1192.168.0.111 node2192.168.0.112 node3192.168.0.113 1. Kafka 및 ZooKeeper 클러스터 구조 개요ZooKeeper는 Kafka 클러스터의 상태를 관리하고 브로커 간의 협력을 조율합니다.Kafka 브로커는 메시지를 저장하고 클라이언트(프로듀서 및 컨슈머)로부터 데이터를 송수신합니다. 여러 개의 브로커가 함께 작동하여 클러스터를 구성합니다.2. 필수 조건서버 :.. 더보기 [draft] 우분투에 Zookeeper와 Kafka를 설치하는 방법 우분투에 OpenJDK, Zookeeper 및 Kafka를 설치하는 방법테스트 환경$ lsb_release -dDescription: Ubuntu 22.04.2 LTS1. OpenJDK 설치OpenJDK를 설치합니다. Kafka와 Zookeeper는 Java 기반으로 동작하므로 OpenJDK가 필요합니다. 저장소 업데이트apt-get updateOpenJDK 설치apt-get install -y openjdk-17-jreOpenJDK 버전 정보 확인java --version$ java --versionopenjdk 17.0.8.1 2023-08-24OpenJDK Runtime Environment (build 17.0.8.1+1-Ubuntu-0ubuntu122.04)OpenJDK 64-Bit Server.. 더보기 이전 1 2 3 4 ··· 68 다음
