22. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Part 4
Broker-메세지저장과파일관
리
메세지를 로그(log) 자료구조 형태로 디스크에 저장.
로그 자료구조: 새로운 쓰기 작업이 중간에 삽입되지 않고
끝에서만 되는 append-only 특징을 가짐
23. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Part 4
Broker-Zerocopy
Zero Copy
브로커가 세그먼트 파일로부터 메시지를 읽고, 이를 네트워크로 전달하는 과정에서
context switch가 없도록 하는 기술 (CPU 작업을 메모리로 대체)
41. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Part 7
Replication-ISR규칙
Leader
자신보다 일정 기간 뒤쳐진 팔로워가 발생 => 해당 팔로워가 리더가 될 자격이 없다고 판
단 => ISR 에서 제외
Follower
리더와 동일한 내용을 유지하기 위해 일정 주기마다 리더로부터 데이터를 가져온다.
43. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Part 8
KafkaVSRabbitMQ
Kafka는 대용량의 분산 로그 트래픽을 처리한다는 점이 유리
RabbitMQ는 높은 처리량 대신 지정된 수신인에게 원하는 방식으로 메세지를 신뢰성 있게 전
달하는데 초점.
요약
44. ⓒSaebyeol Yu. Saebyeol’s PowerPoint
Part 8
활용사례
Data Pipe Line - Netflix
데이터 버퍼링 - Kafka는 복제된 영구 메시지 대기열 역할을 함
데이터 라우팅 - s3, Elastic, 보조 kafka 데이터 이동하는 역할을 합니다.
비디오 시청 활동 / 사용 빈도 / 에러로그 등 모든 이벤트는 데이터 파
이프라인을 통해 전달