Connecting

본 문서는 Kafka 공식 문서 및 GitHub을 기준으로 작성되었음을 알린다. Apache Kafka producer와 consumer를 구현할 때 사용하는 다양한 언어기반의 클라이언트를 제공한다. 지원하는 언어는 다음과 같다. Java Ruby Python C C++ Go 본 글에서는 Go언어를 기반으로 Kafka Example을 작성하는 방법을 알아보도록 한다. Kafka docker-compose.yml 애플리케이션을 실행하기 전에 Apache Kafka를 docker-compose를 통해 실행한다. $ git clone https://github.com/confluentinc/cp-docker-images.git $ cd cp-docker-images/examples/kafka-single-no..

이번 시간에는 Docker를 활용하여 카프카를 실행하고 CLI 환경에서 토픽을 생성하고, 생산자 및 소비자 환경을 구축하여 메시지 전달 방식에 대해 실습한다. 본 실습은 confluent에서 제공하는 기본 튜토리얼을 바탕으로 진행하였으며, Docker 기반으로 실행해야 하므로 본인이 사용하고 있는 환경에 Docker 설치가 완료되어 있어야 한다. 만약 Docker 설치가 어렵거나 네이티브로 실행해야 하는 경우 이전시간에 윈도우, 우분투를 기반으로 설치방법을 기술하였으니 전 챕터를 확인하길 바란다. 카프카 설치 필자 환경은 다음과 같다. MacBook Pro 2019 16인치 Intel Core i9, 32GB macOS Big Sur 11.1 Docker version 20.10.0-rc1, build ..

카프카에 대해서 다시 한번 용어를 정리하면 다음과 같다. 프로듀서 : 카프카로 메시지를 보내는 역할 카프카 : 프로듀서가 보낸 메시지를 저장하는 역할 컨슈머 : 카프카에 저장되어 있는 메시지를 가져오는 역할 주키퍼 : 카프카가 분산 코디네이터인 주키퍼와 연결하여 메타 데이터 및 클러스터 노드 관리 카프카를 활용하기 위해서는 클러스터 구성이 반드시 필요하다. 일반적으로 주키퍼 replication 방식이 홀수를 유지해야 하기 때문에 최소 3대를 구성해야 한다. 왜 홀수로 구성해야 하는지에 대한 내용을 설명하도록 한다. 들어가기 전에... 카프카를 사용하기 위해서는 주키퍼(Zookeeper) 사용이 필수적이다. 주키퍼는 분산 시스템에서 필수적인 계층 구조인 Key-Value 저장 구조를 통해서 대규모 시스템..

Description 본 문서에서는 Kafka를 사용하기 위해 각 OS별로 설치하는 방법에 대해 기술합니다. 이전 이론에 대한 학습과 더불어 본 설치를 통해서 본격적인 실습에 준비하시길 바랍니다. 각 OS 버전에 따라 설치방법이 조금씩 다를 수 있으며, 기술한 버전 이외의 약간의 차이점이 있거나 실행이 정상적으로 진행되지 않을 수 있습니다. 따라서 본인 환경에 직접 적용하기 이전에 가상환경 등 테스트를 진행하는 것을 권장하며 혹은 Docker로 설치하는 것을 적극 권장합니다. Windows 본 설치는 윈도우 2004 버전에서 진행했습니다. Apache Kafka를 설치하기 위해서는 먼저 JDK 1.8이 설치되어 있어야 합니다. 현재 LTS 버전인 JDK 11의 경우 Kafka 설치 및 운영시 오류가 발생..

본 문서는 "실전 아파치 카프카", "카프카 데이터 플랫폼의 최강자" 책과 위키백과 등을 기반으로 작성되었음을 알려드립니다. 지난 시간에는 Apache Kafka (앞으로는 카프카로 지칭)의 대한 탄생배경과 목표, RabbitMQ과 어떠한 차이점을 가지고 있으며, 간단한 성능차이에 대해서 알아보았다. 이번 시간에는 카프카의 장점과 특징과 동작방식에 대해서 서술한다. Kafka Basic 카프카는 기본적으로 대량의 메시지를 처리하기 위한 플랫폼이다. 다른 메시지 큐에 비해서 월등히 빠른 성능을 보여주고 전달하고자 하는 메시가 일부 중복이 발생하더라도 절대 메시지 손실이 발생하지 않는다는 원칙을 가지고 있다. 아래 표를 통해 메시지 전달 보증 수준을 확인해 보자. 종류 개요 재전송 유뮤 중복 삭제 유무 비고..

본 문서는 "실전 아파치 카프카", "카프카 데이터 플랫폼의 최강자" 책과 위키백과 등을 기반으로 작성되었음을 알려드립니다. 아파치 카프카 탄생 배경 아파치 카프카는 2011년 미국 링크드인에서 개발되어 최종적으로 오픈소스화 되었고, 현재는 카프카에 집중하기 위해서 Confluent 회사를 창립했다. 링크드인은 2002년 12월에 설립되어 2003년 5월에 운영을 시작한 미국의 비즈니스 중심의 소셜 네트워크 서비스이며, 당시 링크드인은 두가지 이슈가 존재했다. 데이터 중앙소가 무엇인가? 카프카가 탄생하기 이전 하둡과 빠르게 대응할 수 있는 SQL 데이터베이스가 존재하지 않았다. 모든 데이터를 빠르게 접근하기 위한 방법이 필요했다. 다양한 데이터 소스가 존재한다. 사용할 데이터와 애플리케이션, 이벤트, 네..