Kafka 맨날 까먹는거만 정리

그냥 줄글로 다 남긴다

• log.retention.ms , log.retention.byte 토픽당 설정한만큼 record 들이 살아남음

• 브로커 복제 ISR
  • 카프카는 보통 브로커 3대를 권장함
  • partition 1, replication 2개면 원본 1개와 복제본 2. broker 보단 크게 설정 못함
  • leader partition(진짜), follower partition(복제) = ISR In Sync Replication 구조
  • ack 는 replication 과 관련이 있고, 0(던지고 뒤돌아섬), 1(던지고 응답은받음), all(replication 까지 완료) 얼마나 replication 전파시킬지 결정
• 파티셔너
  • 프로듀서에서 토픽에 어떤 파티션에 넣을지 결정하는 애, record message key가 hash 값으로.
  • 파티션도 나누며, 내가 의도한 곳에서 순서를 지킬수가 있음. vip 고객은 빠르게 하고 싶다면 나눌 수 있을듯.
• 컨슈머
  • 컨슈머 랙
    • offset - 앞에서부터 들어있는 숫자 인덱스값
    • 프로듀서가 넣은 offset - 컨슈머가 가져간 offset = 컨슈머 lag
    • 파티션 2개 일때, lag 이 2개가 존재함.
  • 컨슈머는 partition 갯수보다 적거나 같아야 효율적
  • 컨슈머 그룹 이 중요해. offset 서로 나눠서 저장함.
• 카프카 스트림즈 : Stateful 한 애플리케이션의 복잡한 상태관리
• 카프카 커넥트 : 데이터 파이프라인용