Kafka 등장 배경

LinkedIn 데이터 처리 시스템의 한계

- 각 파이프 라인이 파편화되고 시스템 복잡도가 높은 경우 새로운 시스템을 확정하기 어려움

 

개선 목표

 - 프로듀서와 컨슈머의 분리

 - 영구적인 메시지 데이터를 여러 컨슈머에게 허용

 - 스케일 아웃이 가능한 시스템

 

기존 메시징 시스템

 - Publisher 와 Subscriber로 이루어진 비동기 메시징 전송 방식

 - 메시지(데이터 단위)를 Publisher(Producer)에서 저장하면, Subscriber(Consumer)는 데이터를 수신

 - 메시지는 수신자가 정해져 있지 않은 상태

 - Subscibe된 수신자만이 정해진 메시지를 받음

 

장점

 - 메시징 시스템만 살아 있으면 메시지가 유실되지 않음

 - 확정성이 용이

 

단점

 - 실시간 통신이 아니므로 메시지 sub여부를 판단할 수 없음

 - 메시지 전달 속도가 빠르지 않음