Kafka
-
[메시지큐] Kafka, RabbitMQ 비교 및 쓰는 이유개발 2021. 7. 21. 21:39
https://ellune.tistory.com/29 메시지 큐는 왜 쓸까? 메시지 큐는 주로 어플리케이션의 요청에 대해 서버가 실시간으로 응답해야 할 때 사용한다. Application 과 서버가 강하게 결합되어 있을 경우, db나 백엔드 단에서 문제가 발생하면 어플리케이션에도 장애가 발생한다. 즉 서버와 어플리케이션 간의 의존성이 높다. 메시지큐를 사용하면.. 느슨하게 결합된 설계 어플리케이션 아키텍쳐가 DB성능에 영향을 덜 받는다. 여러 다른 API 로부터 비동기 통신이 가능하다 다수의 프로세스로부터 메시지 처리 가능 비동기: Queue 에 넣기 때문에 나중에 처리 가능 메시지 큐 종류 Kafka RabbitMQ ActiveMQ 셋 다 비동기 통신하고, Sender 와 Receiver 를 구분하지만..
-
[Kafka] 카프카 개념, Topic, Broker, Partition, Lag, Burrow 등 기초편개발 2021. 7. 21. 20:41
** 본 글은 dev원영 님의 카프카 기초 강의를 기반으로 작성되었습니다. Kafka Application 혹은 서비스와 연결 된 데이터 소스가 많아 짐에 따라 데이터 파이프라인의 관리가 힘듬 데이터 소스와 실제 애플리케이션의 Coupling 을 약하게 만들려는 의도 Fault Tolerance / High Throughput / Low Latency Queue 의 한 종류라고 알면 됨 Topic? 데이터가 들어가는 공간 AMQP 와는 다르게 동작 1. Partition이 하나 인 경우 Kafka 는 하나의 큐처럼 작동함 (FIFO) 하나의 컨슈머가 record 를 가져가도 삭제 되지 않음. consumer 그룹이 다를 경우 이전 데이터를 다른 어플리케이션이 가져 갈 수 있음 조건 컨슈머 그룹이 다를 것..