https://www.inflearn.com/course/%EC%95%84%ED%8C%8C%EC%B9%98-%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%9E%85%EB%AC%B8

์นดํ”„์นด ๊ฐœ์š” ๋ฐ ์„ค๋ช…

์ฒ˜์Œ์—๋Š” source application๊ณผ target application ๊ณผ์˜ ํ†ต์‹ ์ด ๋‹จ๋ฐฉํ–ฅ์ด์—ˆ์ง€๋งŒ ์‹œ๊ฐ„์ด ๊ฐˆ์ˆ˜๋ก ๋‹ค์–‘ํ•œ ์š”์†Œ๊ฐ€ ์ƒ๊ธฐ๋ฉด์„œ ๋ณต์žกํ•ด์กŒ๋‹ค.

์•„ํŒŒ์น˜ ์นดํ”„์นด๋Š” source ์™€ target ์‚ฌ์ด์˜ ์ปคํ”Œ๋ง์„ ์•ฝํ•˜๊ฒŒ ํ•˜๊ธฐ ์œ„ํ•ด ๋งŒ๋“ค์–ด์กŒ๋‹ค.

  • source(producer)๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋ณด๋‚ด๊ธฐ๋งŒ ํ•œ๋‹ค
  • target(consumer)์€ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ›๊ธฐ๋งŒ ํ•œ๋‹ค

์นดํ”„์นด ํŠน์ง•

  • ๊ณ ๊ฐ€์šฉ์„ฑ : ์„œ๋ฒ„์— ์ด์Šˆ๊ฐ€ ์ƒ๊ธฐ๋Š” ์ƒํ™ฉ์—์„œ๋„ ์†์‹ค์—†์ด ๋ณต๊ตฌ๊ฐ€๋Šฅํ•จ
  • ๋‚ฎ์€ ์ง€์—ฐ๊ณผ ๋†’์€ ์ฒ˜๋ฆฌ๋Ÿ‰์œผ๋กœ ๋น…๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ์— ์œ ์šฉํ•˜๋‹ค

์นดํ”„์นด ํ† ํ”ฝ

ํ† ํ”ฝ = ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์˜ ํ…Œ์ด๋ธ”, ํŒŒ์ผ์‹œ์Šคํ…œ์˜ ํด๋”์™€ ์œ ์‚ฌํ•จ.

  • Producer๊ฐ€ ํ† ํ”ฝ์— ๋ฐ์ดํ„ฐ๋ฅผ ๋„ฃ์œผ๋ฉด Consumer๊ฐ€ ๊ฐ€์ ธ๊ฐˆ ์ˆ˜ ์žˆ์Œ.
  • ํ† ํ”ฝ์—๋Š” ์ด๋ฆ„์„ ์ง€์ •ํ•  ์ˆ˜ ์žˆ๋‹ค.

ํ† ํ”ฝ์˜ ๋‚ด๋ถ€ ๊ตฌ์กฐ

  • ํ•˜๋‚˜์˜ ํ† ํ”ฝ์€ ์—ฌ๋Ÿฌ๊ฐœ์˜ ํŒŒํ‹ฐ์…˜์œผ๋กœ ๊ตฌ์„ฑ๋จ
  • ๋ฐ์ดํ„ฐ๋Š” ํŒŒํ‹ฐ์…˜์— ํ์™€๊ฐ™์ด ์ฐจ๊ณก์ฐจ๊ณก ์Œ“์ด๊ฒŒ ๋œ๋‹ค. Consumer๋Š” ์ด ๋ฐ์ดํ„ฐ๋ฅผ ์ฐจ๋ก€๋Œ€๋กœ ๋ฐ›์„ ์ˆ˜ ์žˆ๋‹ค
  • ๋งŒ์•ฝ์— ๋ฐ์ดํ„ฐ๊ฐ€ ์–ด๋А์ •๋„ ์Œ“์ธ ์ƒํƒœ์—์„œ ์ƒˆ๋กœ์šด Consumer๊ฐ€ ์—ฐ๊ฒฐ๋˜์—ˆ์„ ๊ฒฝ์šฐ ์ด์ „์— ์Œ“์—ฌ์ง„ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ›์„ ์ˆ˜๋„ ์žˆ๋‹ค.
    • ์ปจ์Šˆ๋จธ ๊ทธ๋ฃน์ด ๋‹ค๋ฅด๋ฉฐ, auto.offset.reset = earliest ์„ค์ •์ด ๋˜์–ด์žˆ์„ ๊ฒฝ์šฐ
  • ๋ฐ์ดํ„ฐ๋Š” Consumer๊ฐ€ ๊ฐ€์ ธ๊ฐ€๋„ ์‚ญ์ œ ๋˜์ง€ ์•Š์œผ๋ฉฐ, ์‚ญ์ œ๋˜๋Š” ํƒ€์ด๋ฐ์€ ์˜ต์…˜์— ๋”ฐ๋ผ ์ง€์ •ํ•  ์ˆ˜ ์žˆ๋‹ค
  • ํŒŒํ‹ฐ์…˜์ด ๋‘๊ฐœ ์ด์ƒ์ธ ๊ฒฝ์šฐ
    • ํ‚ค๊ฐ€ null์ด๊ณ  ๊ธฐ๋ณธ ํŒŒํ‹ฐ์…”๋„ˆ ์‚ฌ์šฉ์ค‘์ธ ๊ฒฝ์šฐ : round-robin์œผ๋กœ ๋ฐ์ดํ„ฐ๊ฐ€ ๋“ค์–ด๊ฐ„๋‹ค
    • ํ‚ค๊ฐ€ ์žˆ๊ณ , ๊ธฐ๋ณธ ํŒŒํ‹ฐ์…”๋„ˆ ์‚ฌ์šฉ์ค‘์ธ ๊ฒฝ์šฐ : ํ‚ค์˜ ํ•ด์‹œ ๊ฐ’์„ ๊ตฌํ•ด์„œ ํŠน์ • ํŒŒํ‹ฐ์…˜์— ๋“ค์–ด๊ฐ„๋‹ค
  • ํŒŒํ‹ฐ์…˜์„ ๋Š˜๋ฆฌ๋Š” ๊ฒƒ์€ ๊ฐ€๋Šฅํ•˜์ง€๋งŒ, ํŒŒํ‹ฐ์…˜์„ ์ค„์ผ ์ˆ˜๋Š” ์—†๋‹ค.
    • ํŒŒํ‹ฐ์…˜์„ ๋Š˜๋ฆฌ๋ฉด ์ปจ์Šˆ๋จธ์˜ ๊ฐœ์ˆ˜๋ฅผ ๋Š˜๋ ค์„œ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๋ฅผ ๋ถ„์‚ฐ์‹œํ‚ฌ ์ˆ˜๋„ ์žˆ๋‹ค

Broker, Replication, ISR

Broker

  • ์นดํ”„์นด๊ฐ€ ์„ค์น˜๋˜์–ด ์žˆ๋Š” ์„œ๋ฒ„ ๋‹จ์œ„
  • ๋ณดํ†ต 3๊ฐœ๋ฅผ ๊ถŒ์žฅํ•œ๋‹ค

Replication

  • ํŒŒํ‹ฐ์…˜์˜ ๋ณต์ œ๋ฅผ ๋œปํ•˜๋ฉฐ, ์ตœ๋Œ€ ๋ธŒ๋กœ์ปค์˜ ๊ฐœ์ˆ˜๋งŒํผ ์กด์žฌํ•  ์ˆ˜ ์žˆ๋‹ค.
  • Replication ์ค‘ ํ•œ๋Œ€๋ฅผ ์›๋ณธ(Leader)๋ผ๊ณ  ํ•˜๋ฉฐ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ›๋Š” ๊ณณ์œผ๋กœ ์ง€์ •ํ•œ๋‹ค. ๋‚˜๋จธ์ง€๋Š” ๋ณต์ œ๋ณธ(Follwer)๋“ค์ด๋ฉฐ, ์›๋ณธ์—์„œ ๋ฐ›์€ ๋ฐ์ดํ„ฐ๋ฅผ ๋ณต์‚ฌํ•ด์„œ ์ €์žฅํ•œ๋‹ค.
  • ํŒŒํ‹ฐ์…˜์˜ ๊ณ ๊ฐ€์šฉ์„ฑ์„ ์œ„ํ•ด ์‚ฌ์šฉํ•จ
  • ๋ฆฌ๋” ๋ธŒ๋กœ์ปค์— ๋ฌธ์ œ๊ฐ€ ์ƒ๊ธฐ๋ฉด ํŒ”๋กœ์›Œ๊ฐ€ ๋ฆฌ๋”๋ฅผ ์Šน๊ณ„ํ•  ์ˆ˜ ์žˆ๋‹ค
  • Replication์€ ๋„ˆ๋ฌด ๋งŽ์•„์ง€๋ฉด ๋ฆฌ์†Œ์Šค ์‚ฌ์šฉ๋Ÿ‰์ด ๋งŽ์•„์ง€๊ธฐ์— 3๊ฐœ ์ด์ƒ์˜ ๋ธŒ๋กœ์ปค์—์„œ๋„ 3๊ฐœ ์ •๋„๋ฅผ ๊ถŒ์žฅํ•œ๋‹ค

ISR

  • In Sync Replica ์˜ ์•ฝ์ž๋กœ, Leader + Follwer ํŒŒํ‹ฐ์…˜์„ ํ•ฉ์ณ์„œ ๋ถ€๋ฅด๋Š” ๋ง.

ACK

  • Producer ์˜ ์˜ต์…˜์œผ๋กœ ์˜ต์…˜์— ๋”ฐ๋ผ ๋Œ€์‘๊ฐ€๋Šฅํ•œ ๊ฐ€์šฉ์„ฑ ๋ฒ”์œ„๊ฐ€ ๋‹ฌ๋ผ์ง„๋‹ค
  • 0์ผ ๊ฒฝ์šฐ : producer๊ฐ€ ์ „์†ก ํ›„ ์‘๋‹ต ๊ฐ’์„ ๋ฐ›์ง€ ์•Š์Œ. ๋”ฐ๋ผ์„œ ๋น ๋ฅด์ง€๋งŒ ๋ฐ์ดํ„ฐ ์œ ์‹ค ๊ฐ€๋Šฅ์„ฑ ์žˆ์Œ
  • 1์ผ ๊ฒฝ์šฐ : ์ „์†ก ํ›„ leader๊ฐ€ ์ œ๋Œ€๋กœ ๋ฐ›์•˜๋‹ค๋Š” ์‘๋‹ต์„ ๋ฐ›์Œ. ํ•˜์ง€๋งŒ ๋ณต์ œ๊ฐ€ ์™„๋ฃŒ๋˜์—ˆ๋Š”์ง€๋Š” ๋ฐ›์ง€ ์•Š์Œ
  • all์ผ ๊ฒฝ์šฐ : ์ „์†ก ํ›„ ๋ณต์ œ๊นŒ์ง€ ์™„๋ฃŒ๋˜์—ˆ๋‹ค๋Š” ์‘๋‹ต์„ ๋ฐ›์Œ. ๋ฐ์ดํ„ฐ ์œ ์‹ค์€ ์•ˆ๋˜์ง€๋งŒ, ์†๋„๋Š” ๋А๋ฆฌ๋‹ค.