Kafka
-
Apache Kafka for beginnerKafka 2023. 11. 27. 20:26
아파치 카프카 기초 - 카프카는 Source Application(클릭로그, 결제로그) 과 Taget Application(로그적제, 로그처리)의 커플링을 약하게 하기 위해 등장! - Source Application의 데이터 포맷은 거의 제한이 없다. (json, csv etc..) - 카프카는 위와 그림같이 아주 유연한 큐역할을 한다. - 서버이슈 등에서도 데이터 손실없이 복구할 수 있다. - 낮은 지연과 높은 처리량을 통해서 아주 효과적으로 데이터를 많이 처리할 수 있다. 토픽이란? - 데이터가 들어갈 수 있는 공간 - 하나의 토픽은 여러개의 파티션을 구성될 수 있다. ㆍConsumer는 오래된 파티션순으로 가져간다. (record들을 가져가도 데이터가 삭제되지는 않는다.) - 파티션이 2개이상이라..