burrow
-
[Kafka] 카프카 개념, Topic, Broker, Partition, Lag, Burrow 등 기초편개발 2021. 7. 21. 20:41
** 본 글은 dev원영 님의 카프카 기초 강의를 기반으로 작성되었습니다. Kafka Application 혹은 서비스와 연결 된 데이터 소스가 많아 짐에 따라 데이터 파이프라인의 관리가 힘듬 데이터 소스와 실제 애플리케이션의 Coupling 을 약하게 만들려는 의도 Fault Tolerance / High Throughput / Low Latency Queue 의 한 종류라고 알면 됨 Topic? 데이터가 들어가는 공간 AMQP 와는 다르게 동작 1. Partition이 하나 인 경우 Kafka 는 하나의 큐처럼 작동함 (FIFO) 하나의 컨슈머가 record 를 가져가도 삭제 되지 않음. consumer 그룹이 다를 경우 이전 데이터를 다른 어플리케이션이 가져 갈 수 있음 조건 컨슈머 그룹이 다를 것..