Hello World

  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록

2024/06 2

Kafka Message Flow 살펴보기 [Consumer 편]

Intro지난 글에서는 Producer에서 메시지를 발송하였을 때, message가 어떻게 처리되고 적재되는지 알아보았습니다. 이번 글에서는 적재된 메시지를 다시 꺼내어 처리할 때 consumer 동작 방식과 message(record) flow를 이해하는 것이 목표입니다.Consumer 구조Consumer는 크게 fetcher와 coordinator로 구성되어 있습니다.Fetcherpoll이 실행될 때, 적절한 크기의 record를 client에 return 하기 위해 Kafka Cluster로부터 record를 요청하고, client가 받기 직전에 메모리에 미리 저장하는 역할을 합니다.Fetcher 성능에 영향을 주는 Configurationfetch.min.byte ~ fetch.max.byte :..

IT 2024.06.18

Kafka Message Flow 살펴보기 [Producer 편]

Producer 구성요소 및 동작 방식각 구성요소 및 성능에 영향을 미치는 configuration은 아랫글을 참조합니다.AccumulatorKafka Cluster로 전송할 kafka record를 임시로 memory에 담고 있습니다. 담을 때 적용되는 주요 kafka producer configuration은 아래와 같습니다.Network Thread (io_loop)Accumulator에 쌓인 record를 Broker로 전송하는 역할을 합니다.Producer 성능에 직접적으로 영향을 주는 configurationbuffer.memory : kafka producer가 메시지를 보내기 전 메모리에 보관하는 전체 메시지 용량을 의미합니다. (Default : 32MB)max.request.size :..

IT 2024.06.18
이전
1
다음
더보기
프로필사진

Hello World

삽질기록 아카이브

  • 분류 전체보기 (45)
    • IT (3)
      • Cloud (11)
      • Java Spring (6)
      • OpenSource (4)
      • TypeScript (1)
      • Git (1)
      • Algorithm (2)
      • Security (1)
      • NOSQL (7)
      • 삽질 로그 (2)
      • RDB (0)
      • 미들웨어 (1)
      • FastAPI (0)
      • nestJS (0)
    • 회고 (3)
    • 시험후기 (0)

Tag

Spring, 삽질로그, Kafka, AWS, env parsing, dataordering, Generic Type, gcp cloudfunction, deadqueue, mongodb performance, DynamoDB 설계, 삽질, ASGI, FaaS사용시 주의점, mongodb전략, mongodb index, utility type, MongoDB, ASGI vs WSGI, Servlet,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2024/06   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바