Kafka의 기원

탄생 배경

카프카는 링크드인 내부에서의 데이터 파이프라인 문제를 해결하기 위해 개발됨. 카프카는 다양한 종류의 데이터를 다루고 고성능 메시지 교환 시스템 역할을 할 수 있도록 설계됨.

kafka라는 이름은 어디서 온 것 인가요 ?

카프카 초기 개발자중에 한명인 Jay Kreps가 언급한 내용에 의하면 카프카가 쓰기에 최적화된 시스템이기 때문에, 작가의 이름을 사용하는 것이 맞다고 생각했다고 한다. 대학에서 많은 문학 수업을 들었고 프란츠 카프카의 작품을 좋아했으며, kafka라는 이름은 오픈소스 프로젝트 이름으로서 멋지게 들렸기 때문에 kafka라는 이름을 지엇다고 한다.

Kafka 개발당시 목표

Linkedin의 복잡한 모니터링 시스템과 사용자 추적 시스템의 요구 조건을 모두 만족시킬 수 있으며, 추후 확장도 가능한 메시지 교환 시스템을 개발.

주된 목표 4가지

• push pull model을 사용함으로써 프로듀서와 컨슈머를 분리한다.
• 다수의 컨슈머가 사용할 수 있도록 메시지 교환 시스템의 데이터를 영속적으로 저장한다.
• 높은 메시지 처리량을 모일 수 있도록 최적화 한다.
• 데이터 스트림의 양이 증가함에 따라 시스템을 수평 확장할 수 있도록 한다.