Kafka ? 카프카가 뭔데....

Apache Kafka는 분산 스트리밍 플랫폼으로, 대규모 실시간 데이터 처리를 위한 메시지 브로커 역할을 한다.
Kafka는 높은 확장성, 내결함성(fault tolerance), 높은 처리량을 제공하며, 기업의 로그 처리, 이벤트 스트리밍, 데이터 파이프라인 구축 등에 널리 사용된다.

1. Kafka란?

• 대용량 데이터를 빠르고 안정적으로 송수신하기 위한 분산 메시지 시스템
• Pub/Sub(발행-구독) 모델 기반의 메시지 브로커
• 이벤트 기반 시스템 구축 가능
• 실시간 스트리밍 처리 및 비동기 메시징 큐로 활용

2. Kafka 아키텍처

1. Producer(생산자)

• Kafka에 메시지를 전송하는 역할
• 메시지를 Topic에게 게시(Publish) 함
• acks 설정으로 메시지 전송 보장 수준 조절 가능 (acks=0, 1, all)

2. Broker(브로커)

• Kafka 클러스터 내의 개별 서버
• 메시지를 저장하고, 소비자에게 전달하는 역할
• 여러 개의 Broker로 구성되어 분산 아키텍처 지원

3. Topic(토픽)

• Kafka에서 메시지를 저장하는 논리적 단위
• 여러 Producer가 동일한 Topic으로 데이터를 전송할 수 있음
• 파티션(Partition) 단위로 메시지가 저장된다.

4. Partition(파티션)

• Topic을 여러 개의 파티셔으로 나누어 저장한다.
• 각 파티션은 로그(append-only log) 구조로 저장된다.
• 여러 Consumer가 병렬로 처리 가능하여 성능 향상

5. Consumer(소비자)

• Kafka에서 메시지를 가져가는 역할
• 특정 Topic의 파티션을 할당받아 메시지를 읽음
• Consumer Group을 사용하여 병렬 처리 가능

6. Consumer Group(소비자 그룹)

• 여러 Consumer가 하나의 그룹으로 묶여 로드 밸런싱 가능하다.
• 같은 그룹 내 Consumer는 서로 다른 Partition을 할당받는다.
• 모든 Consumer가 동일한 메시지를 가져가려면 각기 다른 그룹 ID를 설정해야 한다.

7. Zookeeper

• Kafka 브로커들의 메타데이터 관리 및 클러스터 조정을 담당
• Leader 선출, 노드 상태 관리, 컨피그 관리 등의 역할 수행

3. Kafka 메세지 저장 & 전송 방식

1. 메시지 저장 방식

Kafka는 메시지를 디스크(Log) 기반으로 저장하며, 지정된 보관 기간 동안 유지된다.

• 고정된 크기의 세그먼트 파일(파일 롤링)로 저장
• 메시지 오프셋 기반 조회 가능
• Consumer는 메시지를 읽더라도 메시지는 삭제되지 않음

2.메시지 전송 보장(Delivery Guarantees)

Kafka는 다양한 메시지 전송 보장 수준을 제공한다.

1. At Most Once(최소 1회 전송)
   • 중복 방지, 데이터 유실 가능
2. At Least Oncee(최소 1회 보장)
   • 중복 메시지 발생 가능, 데이터 유실 없음
3. Exactly Once(한 번만 전달)
   • Kafka Streams 또는 트랜잭션을 사용해 중복없이 단 한번만 메시지 전달

4. Kafka 활용 사례

1. 실시간 데이터 처리

• 로그 수집(ELK, Splunk, Datadog)
• 모니터링 시스템(Prometheus + Kafka)
• 이벤트 스트리밍(Kafka + Flink, Spark)

2. 마이크로서비스 아키텍처(MSA)

• 서비스 간 비동기 이벤트 기반 통신

3. 데이터 파이프라인

• Kafka -> Spark/Flink -> HDFS/Elasticsearch
• 데이터 레이크 구축, ETL 처리