Apache Kafka๋Š” ๋น ๋ฅด๊ณ  ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ์ž‘์—…์„ ์œ„ํ•ด ๋ฐ์ดํ„ฐ ํ”ผ๋“œ์˜ ๋ถ„์‚ฐ ์ŠคํŠธ๋ฆฌ๋ฐ, ํŒŒ์ดํ”„ ๋ผ์ด๋‹ ๋ฐ ์žฌ์ƒ์„ ์œ„ํ•œ ์‹ค์‹œ๊ฐ„ ์ŠคํŠธ๋ฆฌ๋ฐ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•œ ๋ชฉ์ ์œผ๋กœ ์„ค๊ณ„๋œ ์˜คํ”ˆ ์†Œ์Šค ๋ถ„์‚ฐํ˜• ๊ฒŒ์‹œ-๊ตฌ๋… ๋ฉ”์‹œ์ง• ํ”Œ๋žซํผ์ด๋‹ค.

Kafka๋Š” ์„œ๋ฒ„ ํด๋Ÿฌ์Šคํ„ฐ ๋‚ด์—์„œ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆผ์„ ๋ ˆ์ฝ”๋“œ๋กœ ์œ ์ง€ํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ์ž‘๋™ํ•˜๋Š” ๋ธŒ๋กœ์ปค ๊ธฐ๋ฐ˜ ์†”๋ฃจ์…˜์ด๋‹ค. Kafka ์„œ๋ฒ„๋Š” ์—ฌ๋Ÿฌ ๋ฐ์ดํ„ฐ ์„ผํ„ฐ์— ๋ถ„์‚ฐ๋˜์–ด ์žˆ์„ ์ˆ˜ ์žˆ์œผ๋ฉฐ ์—ฌ๋Ÿฌ ์„œ๋ฒ„ ์ธ์Šคํ„ด์Šค์— ๊ฑธ์ณ ๋ ˆ์ฝ”๋“œ ์ŠคํŠธ๋ฆผ(๋ฉ”์‹œ์ง€)์„ ํ† ํ”ฝ์œผ๋กœ ์ €์žฅํ•˜์—ฌ ๋ฐ์ดํ„ฐ ์ง€์†์„ฑ์„ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ๋‹ค.

apache-kafka-diagram


Apache Kafka์˜ ๊ตฌ์„ฑ์š”์†Œ

  • ํ† ํ”ฝ

    • ์ง€์ •๋œ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆผ(์ผ๋ จ์˜ ๋ ˆ์ฝ”๋“œ, ๋ฉ”์‹œ์ง€)์— ๋Œ€ํ•œ ๊ด€์‹ฌ์„ ํ‘œ์‹œํ•˜๋Š”๋ฐ ์‚ฌ์šฉ๋˜๋Š” ์ฃผ์†Œ ์ง€์ •๊ฐ€๋Šฅํ•œ ์ถ”์ƒํ™”
    • ๊ฒŒ์‹œ ๋ฐ ๊ตฌ๋…ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์—์„œ ์ฃผ์–ด์ง„ ๋ฐ์ดํ„ฐ ์Šคํ”„๋ฆผ์— ๋Œ€ํ•œ ๊ด€์‹ฌ์„ ํ‘œ์‹œํ•˜๋Š”๋ฐ ์‚ฌ์šฉ๋˜๋Š” ์ถ”์ƒํ™” ๊ณ„์ธต
    • kafka ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆผ์ด ์–ด๋””์— publish ๋ ์ง€ ์ •ํ•˜๋Š”๋ฐ ์“ฐ์ž„.
    • ํŒŒํ‹ฐ์…˜์„ ๋ชจ์•„๋‘๋Š” ๊ณณ์ด๋ผ๊ณ  ์ดํ•ดํ•ด๋„ ์ข‹๋‹ค
  • ํŒŒํ‹ฐ์…˜

    • ์š”์ฒญํ•˜๋Š” ๋ฉ”์‹œ์ง€๋“ค์˜ ๋ชจ์ž„
    • ํŒŒํ‹ฐ์…˜๋งˆ๋‹ค ์ปค๋ฐ‹๋กœ๊ทธ๊ฐ€ ๋”ฐ๋กœ ์Œ“์ธ๋‹ค.
    • kafka ์‹œ์Šคํ…œ์—์„œ ๊ฐ ๋ ˆ์ฝ”๋“œ/๋ฉ”์‹œ์ง€์—๋Š” ์ง€์ •๋œ ํŒŒํ‹ฐ์…˜์˜ ๋ฉ”์‹œ์ง€/๋ ˆ์ฝ”๋“œ๋ฅผ ์‹๋ณ„ํ•˜๋Š”๋ฐ ์‚ฌ์šฉ๋˜๋Š” ์˜คํ”„์…‹์ด๋ผ๋Š” ์ˆœ์ฐจ ID๊ฐ€ ํ• ๋‹น๋œ๋‹ค
  • ๋ฉ”์„ธ์ง€/๋ ˆ์ฝ”๋“œ

    • byte ๋ฐฐ์—ด๋กœ ์ฃผ๋กœ String, json avro๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค
    • ๋ฉ”์‹œ์ง€ ํฌ๊ธฐ์—๋Š” ์ œํ•œ์ด ์—†์ง€๋งŒ kb์—์„œ ํ•ด๊ฒฐํ•˜๊ธฐ๋ฅผ ๊ถŒ์žฅ
    • ๋ฐ์ดํ„ฐ๋Š” ์‚ฌ์šฉ์ž๊ฐ€ ์ง€์ •ํ•œ ์‹œ๊ฐ„๋งŒํผ ์ €์žฅ๋œ๋‹ค.
    • ํŒŒํ‹ฐ์…˜์— ๋“ค์–ด๊ฐ€๋Š” ์ตœ์†Œ๋‹จ์œ„
  • ์˜์†์„ฑ

    • kafka๋Š” ๋ ˆ์ฝ”๋“œ/๋ฉ”์‹œ์ง€๊ฐ€ ๊ฒŒ์‹œ๋  ๋•Œ ์ง€์†์ ์œผ๋กœ ์œ ์ง€๋˜๋Š” ์„œ๋ฒ„ ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์œ ์ง€/๊ด€๋ฆฌํ•˜์—ฌ ์ž‘๋™ํ•œ๋‹ค.
    • kafka ํด๋Ÿฌ์Šคํ„ฐ๋Š” ๋ณด์กด ์‹œ๊ฐ„ ์ œํ•œ์„ ์‚ฌ์šฉํ•˜์—ฌ ์†Œ๋น„์— ๊ด€๊ณ„์—†์ด ์ฃผ์–ด์ง„ ๋ ˆ์ฝ”๋“œ๊ฐ€ ์ง€์†๋˜๋Š” ๊ธฐ๊ฐ„์„ ๊ฒฐ์ •ํ•œ๋‹ค.
    • ๋ ˆ์ฝ”๋“œ/๋ฉ”์‹œ์ง€๊ฐ€ ๋ณด์กด ์‹œ๊ฐ„ ์ œํ•œ ๋‚ด์— ์žˆ๋Š” ๋™์•ˆ ๋ ˆ์ฝ”๋“œ/๋ฉ”์‹œ์ง€๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๊ณ , ๋ณด์กด ์‹œ๊ฐ„์„ ์ดˆ๊ณผํ•  ์‹œ ๋ ˆ์ฝ”๋“œ/๋ฉ”์‹œ์ง€๋Š” ์‚ญ์ œ๋˜๋Š” ๊ณต๊ฐ„์ด ํ™•๋ณด๋œ๋‹ค.
  • ํ”„๋กœ๋“€์„œ

    • ์ฃผ์–ด์ง„ ๋ ˆ์ฝ”๋“œ/๋ฉ”์‹œ์ง€๊ฐ€ ๊ฒŒ์‹œ๋˜์–ด์•ผํ•˜๋Š” ํ† ํ”ฝ์„ ์ •์˜ํ•˜๊ณ , ํŒŒํ‹ฐ์…˜๋„ ์ •์˜ํ•  ์ˆ˜ ์žˆ๋‹ค.
    • ํŒŒํ‹ฐ์…˜์„ ์ง€์ •ํ•˜์ง€ ์•Š์„ ์‹œ์—” ๋ฉ”์‹œ์ง€๋Š” ํŒŒํ‹ฐ์…˜์— ๋ผ์šด๋“œ ๋กœ๋นˆ ๋ฐฉ์‹์œผ๋กœ ๋ถ„๋ฐฐ๋œ๋‹ค (๋กœ๋“œ ๋ฐธ๋Ÿฐ์‹ฑ)
  • ์ปจ์Šˆ๋จธ

    • ๋ ˆ์ฝ”๋“œ/๋ฉ”์‹œ์ง€๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ์—”ํ‹ฐํ‹ฐ์ด๋‹ค.
    • ์ปจ์Šˆ๋จธ๋Š” ๊ฐœ๋ณ„ ์›Œํฌ๋กœ๋“œ์—์„œ ๋…๋ฆฝ์ ์œผ๋กœ ์ž‘์—…ํ•˜๊ฑฐ๋‚˜, ์ง€์ •๋œ ์›Œํฌ๋กœ๋“œ์—์„œ ๋‹ค๋ฅธ ์ปจ์Šˆ๋จธ์™€ ํ˜‘๋ ฅํ•˜์—ฌ ์ž‘์—…ํ•˜๋„๋ก ๊ตฌ์„ฑํ•  ์ˆ˜ ์žˆ๋‹ค.(๋กœ๋“œ๋ฐธ๋Ÿฐ์‹ฑ)
    • ์ปจ์Šˆ๋จธ๋Š” ์ปจ์Šˆ๋จธ ๊ทธ๋ฃน ์ด๋ฆ„์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์›Œํฌ๋กœ๋“œ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ๊ด€๋ฆฌํ•œ๋‹ค.
    • ์ปจ์Šˆ๋จธ ๊ทธ๋ฃน ์ด๋ฆ„์„ ์‚ฌ์šฉํ•˜๋ฉด ์ปจ์Šˆ๋จธ๋ฅผ ๋‹จ์ผ ํ”„๋กœ์„ธ์Šค ๋‚ด, ์—ฌ๋Ÿฌ ํ”„๋กœ์„ธ์Šค, ์‹ฌ์ง€์–ด ์—ฌ๋Ÿฌ ์‹œ์Šคํ…œ์— ๋ถ„์‚ฐ์‹œํ‚ฌ ์ˆ˜ ์žˆ๋‹ค.
  • Broker Cluster

    • ์ž„์˜ ๊ฐœ์ˆ˜์˜ ๋…ธ๋“œ๋กœ ๊ตฌ์„ฑ๋˜๋Š” ํด๋Ÿฌ์Šคํ„ฐ๋กœ ํ† ํ”ฝ์„ ์ž„์˜ ๊ฐœ์ˆ˜๋งŒํผ ํ˜ธ์ŠคํŒ…ํ•  ์ˆ˜ ์žˆ๋‹ค

    • ๋ธŒ๋กœ์ปค๋Š” Replication Factor๋ฅผ ์กฐ์ ˆํ•  ์ˆ˜ ์žˆ๋‹ค. Replication Factor๋ฅผ 2๋กœ ์ง€์ •ํ•˜๋ฉด ํ† ํ”ฝ์— ๋‚˜๋ˆ ์„œ ํ•œ๋ฒˆ ์”ฉ ๋‹ด๊ธฐ๊ฒŒ ๋˜๋Š” ๊ตฌ์กฐ๋ฅผ ๊ฐ€์ง„๋‹ค. ์ด์ค‘ ํ•œ ๋ธŒ๋กœ์ปค๊ฐ€ ์—†์–ด์ง€๋”๋ผ๋„ ์™„์ „ํžˆ ์„œ๋น™์ด ๋  ์ˆ˜ ์žˆ๊ฒŒ ํ•˜๊ธฐ ์œ„ํ•จ์ด๋‹ค.

    • Replication Factor๋ฅผ ์„ค์ •ํ•˜๋ฉด ๋ฆฌ๋”๋ฅผ ๊ฐ€์ง„๋‹ค. ๊ทธ ๋ฆฌ๋”๋ฅผ ์ค‘์‹ฌ์œผ๋กœ ์“ฐ๊ธฐ ์ฝ๊ธฐ๊ฐ€ ๊ฐ€๋Šฅ ํ•˜๋‹ค. ๋ฆฌ๋”๊ฐ€ ์‚ฌ๋ผ์ง€๋ฉด ๋‹ค์Œ Broker๊ฐ€ ๋ฐ›์•„์„œ ๋ฆฌ๋”๊ฐ€ ๋œ๋‹ค.

  • ํ† ํ”ฝ/ํŒŒํ‹ฐ์…˜ ํ™•์žฅ

    • kafka๋Š” ์„œ๋ฒ„ ํด๋Ÿฌ์Šคํ„ฐ๋กœ ์ž‘๋™ํ•˜๊ธฐ ๋•Œ๋ฌธ์— ์ฃผ์–ด์ง„ ํ† ํ”ฝ/ํŒŒํ‹ฐ์…˜์—์„œ ๊ฐ ์„œ๋ฒ„์— ๋ถ€ํ•˜๋ฅผ ๊ณต์œ ํ•˜์—ฌ ํ† ํ”ฝ/ํŒŒํ‹ฐ์…˜์„ ํ™•์žฅํ•  ์ˆ˜ ์žˆ๋‹ค.
    • ์ด ๋ถ€ํ•˜ ๊ณต์œ ๋ฅผ ํ†ตํ•ด kafka ํด๋Ÿฌ์Šคํ„ฐ์˜ ๊ฐ ์„œ๋ฒ„๋Š” ์ฃผ์–ด์ง„ ํ† ํ”ฝ/ํŒŒํ‹ฐ์…˜์— ๋Œ€ํ•œ ๋ ˆ์ฝ”๋“œ/๋ฉ”์‹œ์ง€์˜ ๋ฐฐํฌ ๋ฐ ์˜์†์„ฑ์„ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ๋‹ค.
    • ๊ฐœ๋ณ„ ์„œ๋ฒ„๊ฐ€ ๋ชจ๋“  ๋ฐฐํฌ ๋ฐ ์˜์†์„ฑ์„ ์ฒ˜๋ฆฌํ•˜๋Š” ๋™์•ˆ ๋ชจ๋“  ์„œ๋ฒ„๋Š” ์„œ๋ฒ„๊ฐ€ ์‹คํŒจํ•  ๊ฒฝ์šฐ ๋‚ด๊ฒฐํ•จ์„ฑ๊ณผ ๊ณ ๊ฐ€์šฉ์„ฑ์„ ์ œ๊ณตํ•˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋ณต์ œํ•œ๋‹ค
    • ํŒŒํ‹ฐ์…˜์€ ํŒŒํ‹ฐ์…˜ ๋ฆฌ๋”๋กœ ์„ ํƒ๋œ ํ•œ๊ฐœ ์„œ๋ฒ„์™€ ํŒ”๋กœ์›Œ ์—ญํ• ์„ ํ•˜๋Š” ๋‹ค๋ฅธ ๋ชจ๋“  ์„œ๋ฒ„๋“ค๋กœ ๋ถ„ํ• ๋œ๋‹ค.
    • ํŒŒํ‹ฐ์…˜ ๋ฆฌ๋”์ธ ์„œ๋ฒ„๋Š” ๋ฐ์ดํ„ฐ์˜ ๋ชจ๋“  ๋ฐฐํฌ ๋ฐ ์˜์†์„ฑ (์ฝ๊ธฐ/์“ฐ๊ธฐ)์„ ์ฒ˜๋ฆฌํ•˜๊ณ  ํŒ”๋กœ์›Œ ์„œ๋ฒ„๋Š” ๋‚ด๊ฒฐํ•จ์„ฑ์„ ์œ„ํ•œ ๋ณต์ œ ์„œ๋น„์Šค๋ฅผ ์ œ๊ณตํ•œ๋‹ค.

Apache Kafka ์‚ฌ์šฉ ์‚ฌ๋ก€

  • ์„œ๋กœ ๋‹ค๋ฅธ ๊ตฌ์„ฑ ์š”์†Œ ๊ฐ„์˜ ์•ˆ์ •์ ์ธ ๋ฐ์ดํ„ฐ ๊ตํ™˜

    • ๋ถ„์‚ฐ ํ์ž‰ ์‹œ์Šคํ…œ
      • ์–ด๋–ค ์„œ๋น„์Šค์˜ ์›น ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ์„œ๋ฒ„์—์„œ ์ฒ˜๋ฆฌํ•˜๋Š”๋ฐ ์ž์›์„ ๋งŽ์ด ์†Œ๋น„ํ•ด์•ผํ•  ๋•Œ, ๋‚ด๋ถ€์—์„œ ์ฒ˜๋ฆฌํ•˜์ง€ ์•Š๊ณ  ๋ฐฑ๊ทธ๋ผ์šด๋“œ์˜ ๋‹ค๋ฅธ ํƒœ์Šคํฌ ํ”„๋กœ์„ธ์„œ์— ์š”์ฒญํ•˜๊ธฐ ์œ„ํ•œ ๊ทœ๋กœ ์‚ฌ์šฉ
  • ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ ์‹ค์‹œ๊ฐ„ ์ŠคํŠธ๋ฆฌ๋ฐ

    • ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ ์—…๋ฐ์ดํŠธ ex) ํ†ต๊ณ„
    • ์ฑ„ํŒ…
  • ๋ฐ์ดํ„ฐ ๋ฉ”์‹œ์ง€ ์žฌ์ƒ์— ๋Œ€ํ•œ ๊ธฐ๋ณธ ์ง€์›


Kafka vs Socket

์‹ค์‹œ๊ฐ„์œผ๋กœ ํ†ต์‹ ํ•˜๊ณ , Pub-Sub ๊ตฌ์กฐ๋กœ ํ†ต์‹ ์„ ํ•˜๋Š” ๋ฐฉ๋ฒ•์ด ํ•„์š”ํ•˜๋‹ค๋ฉด ์†Œ์ผ“์œผ๋กœ๋„ ์ถฉ๋ถ„ํžˆ ํ•ด๊ฒฐ ๊ฐ€๋Šฅํ•˜๋‹ค. ์†Œ์ผ“์ด ํ›จ์”ฌ ๊ฐ€๋ณ๊ธฐ์— ์ด์™€ ๊ฐ™์€ ์ƒํ™ฉ์—์„  ์†Œ์ผ“์ด ๊ฐ€์žฅ ์ž˜ ๋งž๋Š”๋‹ค. ๊ทธ๋Ÿผ kafka๋Š” ์–ธ์ œ ์“ฐ์ผ๊นŒ? ๋จผ์ € ์†Œ์ผ“์˜ ๋‹จ์ ๋ถ€ํ„ฐ ์•Œ์•„๋ณด์ž.

์†Œ์ผ“์˜ ๋‹จ์ 

  1. producer์™€ consumer๊ฐ€ ๋™์‹œ์— ์˜จ๋ผ์ธ ์ƒํƒœ์—ฌ์•ผํ•œ๋‹ค. ๋‘˜ ์ค‘ ํ•˜๋‚˜๊ฐ€ ์˜คํ”„๋ผ์ธ์ด๋ฉด ์–ด๋–ค ๋ฉ”์„ธ์ง€๋„ ๋ณด๋‚ด์ง€์ง€ ์•Š๊ณ , ๋ฐ›์•„์ง€์ง€๋„ ์•Š๋Š”๋‹ค.
  2. consumer๋Š” producer๋งŒํผ ์Šค์ผ€์ผ ์—… ๋˜์–ด์•ผํ•œ๋‹ค. producer๊ฐ€ 10๋ฐฐ์˜ ๋ฉ”์„ธ์ง€๋ฅผ ๋ณด๋‚ด๋ฉด, consumer๋„ 10๋ฐฐ ๋” ๋ฐ›์„ ์ˆ˜ ์žˆ์–ด์•ผํ•œ๋‹ค.
  3. consumer์™€ producer๊ฐ€ ์„œ๋กœ๋ฅผ ์•Œ์•„์•ผํ•œ๋‹ค.
  4. ๋˜๋‹ค๋ฅธ consumer๊ฐ€ ์ƒ๊ธฐ๋ฉด producer๋„ ์ ์ ˆํ•œ ์ฒ˜๋ฆฌ๋ฅผ ํ•ด์ค˜์•ผํ•œ๋‹ค.
  5. ํ•œ๋ฒˆ ๋ณด๋‚ด์ง„ ๋ฉ”์„ธ์ง€๋Š” ํŠน์ˆ˜ํ•œ ์ฒ˜๋ฆฌ๋ฅผ ํ•˜์ง€ ์•Š๋Š”ํ•œ ์ €์žฅ๋˜์ง€ ์•Š๋Š”๋‹ค.

kafka ๋“ฑ ๋ฉ”์„ธ์ง• ์‹œ์Šคํ…œ์—์„œ๋Š”

  1. consumer์™€ producer๊ฐ€ ๋™์‹œ์— online์ผ ํ•„์š”๊ฐ€ ์—†๋‹ค.
  2. consumer์™€ producer๊ฐ€ ์„œ๋กœ๋ฅผ ๋ชฐ๋ผ๋„ ๋œ๋‹ค. ๋ธŒ๋กœ์ปค๋งŒ ์•Œ๋ฉด ๋˜๊ณ , ๋”ฐ๋ผ์„œ consumer์™€ producer ์‹œ์Šคํ…œ ๊ฐ„ ์กฐ์ •์„ ํ•˜์ง€ ์•Š์•„๋„ ๋œ๋‹ค.
  3. ๋ฉ”์‹œ์ง• ์‹œ์Šคํ…œ์ด consumer์™€ producer ์‚ฌ์ด์—์„œ ๋ฒ„ํผ๋กœ ์ž‘๋™ํ•œ๋‹ค. ๋ฉ”์„ธ์ง€ ๋ณผ๋ฅจ์ด ์ปค์ง€๋ฉด, ๊ทธ ๋ฉ”์„ธ์ง€๋“ค์€ ์นดํ”„์นด์—์„œ ๋ฒ„ํผ๋กœ ๊ด€๋ฆฌ๋œ๋˜๊ณ , consumer๋Š” ํ•˜๋‚˜์”ฉ ๊ฐ€์ ธ์˜ค๋ฉด ๋œ๋‹ค. ๋”ฐ๋ผ์„œ ๋งค๋ฒˆ ๋ณด๋‚ด๋Š” ๋ฉ”์„ธ์ง€์˜ ๋ณผ๋ฅจ ์‚ฌ์ด์ฆˆ๊ฐ€ ์ž์ฃผ ๋ณ€๋™๋˜๋ฉด, kafka๋Š” ์ข‹์€ ์„ ํƒ์ง€์ด๋‹ค. ๋ฌผ๋ก  ๊ณ„์† ๋งŽ์€ ๋ฉ”์„ธ์ง€๊ฐ€ ์˜ค๋ฉด consumer๋Š” ์Šค์ผ€์ผ ์—… ํ•  ํ•„์š”๊ฐ€ ์žˆ์ง€๋งŒ, ๊ฐ€๋”๋งŒ ๋งŽ์ด ์˜ค๋ฉด kafka๊ฐ€ ์ ์ ˆํ•˜๋‹ค
  4. ๋ธŒ๋กœ์ปค๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด, consumer์™€ producer๋Š” ์ƒˆ๋กœ์šด ๋ˆ„๊ตฐ๊ฐ€๊ฐ€ ๋ณด๋‚ด๊ณ  ๋ฐ›๋Š”์ง€๋ฅผ ์‹ ๊ฒฝ์“ฐ์ง€ ์•Š์•„๋„ ๋œ๋‹ค. ๋ธŒ๋กœ์ปค๋งŒ ์‹ ๊ฒฝ ์“ฐ๋ฉด ๋œ๋‹ค.
  5. ๋ฉ”์„ธ์ง€๋ฅผ ์ €์žฅํ•˜๊ณ , offset์œผ๋กœ ์ ‘๊ทผํ•  ์ˆ˜ ์žˆ๋‹ค.

์ด์™€ ๊ฐ™์ด kafka๋Š” socket์˜ ๋‹จ์ ์„ ํ•ด๊ฒฐํ•ด์ค„ ์ˆ˜ ์žˆ๋Š” ๋ฐฉ๋ฒ•์ด๋ฉฐ, ๋”ฐ๋ผ์„œ socket์˜ ๋‹จ์ ์ด ๋ฌธ์ œ๊ฐ€ ๋  ๋•Œ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์ด๋‹ค. ๋‹จ์ˆœํžˆ ํด๋ผ์ด์–ธํŠธ์™€ ์‹ค์‹œ๊ฐ„ ํ†ต์‹ ์„ ํ•˜๋Š” ์ •๋„๋Š” socket์œผ๋กœ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ์ง€๋งŒ, ์ข€ ๋” ๋ณต์žกํ•œ ์ƒํ™ฉ์—์„œ๋Š” kafka๊ฐ€ ํ•„์š”ํ•˜๋‹ค. ๊ทธ๋ ‡๊ธฐ์— kafka๋Š” ์ฃผ๋กœ ๋ฐฑ์—”๋“œ ์„œ๋น„์Šค๋“ค ์‚ฌ์ด์˜ ํ†ต์‹ ์„ ํ•˜๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉํ•œ๋‹ค.

์˜ˆ๋ฅผ๋“ค์–ด 128๋Œ€์˜ ์„œ๋ฒ„๊ฐ„ ๋งํ˜•ํƒœ๋กœ ์—ฐ๊ฒฐ์ด ํ•„์š”ํ•œ ๊ฒฝ์šฐ 128^2๊ฐœ์˜ ์†Œ์ผ“์ด ํ•„์š”ํ•˜๋‹ค. ํ•˜์ง€๋งŒ kafka๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด 128๊ฐœ์˜ ์—ฐ๊ฒฐ๋งŒ์œผ๋กœ๋„ ํ•ด๊ฒฐ์ด ๊ฐ€๋Šฅํ•˜๋‹ค.


์ถœ์ฒ˜