์นดํ์นด ๊ฐ์ ๋ฐ ์ค๋ช
์ฒ์์๋ source application๊ณผ target application ๊ณผ์ ํต์ ์ด ๋จ๋ฐฉํฅ์ด์์ง๋ง ์๊ฐ์ด ๊ฐ์๋ก ๋ค์ํ ์์๊ฐ ์๊ธฐ๋ฉด์ ๋ณต์กํด์ก๋ค.
์ํ์น ์นดํ์นด๋ source ์ target ์ฌ์ด์ ์ปคํ๋ง์ ์ฝํ๊ฒ ํ๊ธฐ ์ํด ๋ง๋ค์ด์ก๋ค.
- source(producer)๋ ๋ฐ์ดํฐ๋ฅผ ๋ณด๋ด๊ธฐ๋ง ํ๋ค
- target(consumer)์ ๋ฐ์ดํฐ๋ฅผ ๋ฐ๊ธฐ๋ง ํ๋ค
์นดํ์นด ํน์ง
- ๊ณ ๊ฐ์ฉ์ฑ : ์๋ฒ์ ์ด์๊ฐ ์๊ธฐ๋ ์ํฉ์์๋ ์์ค์์ด ๋ณต๊ตฌ๊ฐ๋ฅํจ
- ๋ฎ์ ์ง์ฐ๊ณผ ๋์ ์ฒ๋ฆฌ๋์ผ๋ก ๋น ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ์ ์ฉํ๋ค
์นดํ์นด ํ ํฝ
ํ ํฝ = ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ํ ์ด๋ธ, ํ์ผ์์คํ ์ ํด๋์ ์ ์ฌํจ.
- Producer๊ฐ ํ ํฝ์ ๋ฐ์ดํฐ๋ฅผ ๋ฃ์ผ๋ฉด Consumer๊ฐ ๊ฐ์ ธ๊ฐ ์ ์์.
- ํ ํฝ์๋ ์ด๋ฆ์ ์ง์ ํ ์ ์๋ค.
ํ ํฝ์ ๋ด๋ถ ๊ตฌ์กฐ
- ํ๋์ ํ ํฝ์ ์ฌ๋ฌ๊ฐ์ ํํฐ์ ์ผ๋ก ๊ตฌ์ฑ๋จ
- ๋ฐ์ดํฐ๋ ํํฐ์ ์ ํ์๊ฐ์ด ์ฐจ๊ณก์ฐจ๊ณก ์์ด๊ฒ ๋๋ค. Consumer๋ ์ด ๋ฐ์ดํฐ๋ฅผ ์ฐจ๋ก๋๋ก ๋ฐ์ ์ ์๋ค
- ๋ง์ฝ์ ๋ฐ์ดํฐ๊ฐ ์ด๋์ ๋ ์์ธ ์ํ์์ ์๋ก์ด Consumer๊ฐ ์ฐ๊ฒฐ๋์์ ๊ฒฝ์ฐ ์ด์ ์ ์์ฌ์ง ๋ฐ์ดํฐ๋ฅผ ๋ฐ์ ์๋ ์๋ค.
- ์ปจ์๋จธ ๊ทธ๋ฃน์ด ๋ค๋ฅด๋ฉฐ,
auto.offset.reset = earliest์ค์ ์ด ๋์ด์์ ๊ฒฝ์ฐ
- ์ปจ์๋จธ ๊ทธ๋ฃน์ด ๋ค๋ฅด๋ฉฐ,
- ๋ฐ์ดํฐ๋ Consumer๊ฐ ๊ฐ์ ธ๊ฐ๋ ์ญ์ ๋์ง ์์ผ๋ฉฐ, ์ญ์ ๋๋ ํ์ด๋ฐ์ ์ต์ ์ ๋ฐ๋ผ ์ง์ ํ ์ ์๋ค
- ํํฐ์
์ด ๋๊ฐ ์ด์์ธ ๊ฒฝ์ฐ
- ํค๊ฐ null์ด๊ณ ๊ธฐ๋ณธ ํํฐ์ ๋ ์ฌ์ฉ์ค์ธ ๊ฒฝ์ฐ : round-robin์ผ๋ก ๋ฐ์ดํฐ๊ฐ ๋ค์ด๊ฐ๋ค
- ํค๊ฐ ์๊ณ , ๊ธฐ๋ณธ ํํฐ์ ๋ ์ฌ์ฉ์ค์ธ ๊ฒฝ์ฐ : ํค์ ํด์ ๊ฐ์ ๊ตฌํด์ ํน์ ํํฐ์ ์ ๋ค์ด๊ฐ๋ค
- ํํฐ์
์ ๋๋ฆฌ๋ ๊ฒ์ ๊ฐ๋ฅํ์ง๋ง, ํํฐ์
์ ์ค์ผ ์๋ ์๋ค.
- ํํฐ์ ์ ๋๋ฆฌ๋ฉด ์ปจ์๋จธ์ ๊ฐ์๋ฅผ ๋๋ ค์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ฅผ ๋ถ์ฐ์ํฌ ์๋ ์๋ค
Broker, Replication, ISR
Broker
- ์นดํ์นด๊ฐ ์ค์น๋์ด ์๋ ์๋ฒ ๋จ์
- ๋ณดํต 3๊ฐ๋ฅผ ๊ถ์ฅํ๋ค
Replication
- ํํฐ์ ์ ๋ณต์ ๋ฅผ ๋ปํ๋ฉฐ, ์ต๋ ๋ธ๋ก์ปค์ ๊ฐ์๋งํผ ์กด์ฌํ ์ ์๋ค.
- Replication ์ค ํ๋๋ฅผ ์๋ณธ(Leader)๋ผ๊ณ ํ๋ฉฐ ๋ฐ์ดํฐ๋ฅผ ๋ฐ๋ ๊ณณ์ผ๋ก ์ง์ ํ๋ค. ๋๋จธ์ง๋ ๋ณต์ ๋ณธ(Follwer)๋ค์ด๋ฉฐ, ์๋ณธ์์ ๋ฐ์ ๋ฐ์ดํฐ๋ฅผ ๋ณต์ฌํด์ ์ ์ฅํ๋ค.
- ํํฐ์ ์ ๊ณ ๊ฐ์ฉ์ฑ์ ์ํด ์ฌ์ฉํจ
- ๋ฆฌ๋ ๋ธ๋ก์ปค์ ๋ฌธ์ ๊ฐ ์๊ธฐ๋ฉด ํ๋ก์๊ฐ ๋ฆฌ๋๋ฅผ ์น๊ณํ ์ ์๋ค
- Replication์ ๋๋ฌด ๋ง์์ง๋ฉด ๋ฆฌ์์ค ์ฌ์ฉ๋์ด ๋ง์์ง๊ธฐ์ 3๊ฐ ์ด์์ ๋ธ๋ก์ปค์์๋ 3๊ฐ ์ ๋๋ฅผ ๊ถ์ฅํ๋ค
ISR
- In Sync Replica ์ ์ฝ์๋ก, Leader + Follwer ํํฐ์ ์ ํฉ์ณ์ ๋ถ๋ฅด๋ ๋ง.
ACK
- Producer ์ ์ต์ ์ผ๋ก ์ต์ ์ ๋ฐ๋ผ ๋์๊ฐ๋ฅํ ๊ฐ์ฉ์ฑ ๋ฒ์๊ฐ ๋ฌ๋ผ์ง๋ค
- 0์ผ ๊ฒฝ์ฐ : producer๊ฐ ์ ์ก ํ ์๋ต ๊ฐ์ ๋ฐ์ง ์์. ๋ฐ๋ผ์ ๋น ๋ฅด์ง๋ง ๋ฐ์ดํฐ ์ ์ค ๊ฐ๋ฅ์ฑ ์์
- 1์ผ ๊ฒฝ์ฐ : ์ ์ก ํ leader๊ฐ ์ ๋๋ก ๋ฐ์๋ค๋ ์๋ต์ ๋ฐ์. ํ์ง๋ง ๋ณต์ ๊ฐ ์๋ฃ๋์๋์ง๋ ๋ฐ์ง ์์
- all์ผ ๊ฒฝ์ฐ : ์ ์ก ํ ๋ณต์ ๊น์ง ์๋ฃ๋์๋ค๋ ์๋ต์ ๋ฐ์. ๋ฐ์ดํฐ ์ ์ค์ ์๋์ง๋ง, ์๋๋ ๋๋ฆฌ๋ค.