공부방/Kafka (5) 썸네일형 리스트형 kafka-dump-log 명령어로 로그 파일의 메세지 내용 확인 multipart-topic 이라는 이름의 토픽을 만들어서 연습을 해볼 것이기 때문에 'multipart-topic'이라는 이름의 topic이 있다면 삭제하고 시작하도록 해보겠습니다. kafka-topics --bootstrap-server localhost:9092 --delete --topic multipart-topic multipart-topic 이라는 이름의 topic을 만들도록 해보겠습니다. kafka-topics --bootstrap-server localhost:9092 --create --topic multipart-topic --partitions 3 2000 개의 메세지를 넣어보고 로그를 확인해 보겠습니다. 2000개의 메세지를 만들고 보내보는 커맨드입니다. 2. keyload.log.. Kafka config 구분 및 이해 Kafka-configs 사용하기 broker에 있는 모든 컨피그를 확인해봅시다. broker의 name은 0이 default 값이기 때문에 아래와 같이 설정해주었습니다. kafka-configs --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --all --describe topic에 있는 모든 컨피그를 확인해봅시다. kafka-configs --bootstrap-server localhost:9092 --entity-type topics --entity-name multipart-topic --all --describe topic에 있는 컨피그에서 max.message.bytes 값을 확인해봅시다. kafka-config.. Consumer group 과 Rebalancing 실습 // 파티션 3개 가지는 topic 생성 kafka-topics --bootstrap-server localhost:9092 --create --topic multipart-topic --partitions 3 // Consumer Group id group_01을 가지는 consumer를 3개 생성(아래 명령어 3번 수행) , ㅏkey,value 값을 보낼것이고 partition 값도 보여줘 // consumer를 생성할 때마다 broker에서 rebalancing 되는 것을 확인할 수 있을 것이다. (로그 확인) kafka-console-consumer --bootstrap-server localhost:9092 --group group_01 --topic multipart-topic \ --prop.. Kafka zookeeper -> kafka 실행 # kafka-topics --bootstrap-server 192.168.56.101:9092 # topic 생성 kafka-topics --bootstrap-server localhost:9092 --create --topic test_topic_01 # 9092 브로커에 생성 되어있는 topic들을 확인할 수 있다. kafka-topics --bootstrap-server localhost:9092 --list # partition 3개를 가지는 topic을 만든다. kafka-topics --bootstrap-server localhost:9092 --create --topic test_topic_02 --partitions 3 # topic의 정보를 살펴봄.. kafka 실시간 대용량 event streaming platform - 과거의 messaging system 보다 더 큰 개념 우분투 설치 https://www.virtualbox.org/wiki/Downloads virtualbox 설치 완료 virtualbox 기반으로 해서 ubuntu를 설치해보자. 설치가 완료되면 VM을 켜준다. 새로만들기 클릭 sudo apt-get update sudo apt-get upgrade sudo apt install net-tools -> ipconfig 사용할 수 있도록 함 우분투에 고정 ip 할당하기 파일 -> 도구 -> network manager 어댑터2 설정을 아래와 같이 변경한다. sudo systemctl status sshd 아래 에러 발생 Unit servic.. 이전 1 다음
