Apache Kafka๋ ๋น ๋ฅด๊ณ ํ์ฅ ๊ฐ๋ฅํ ์์ ์ ์ํด ๋ฐ์ดํฐ ํผ๋์ ๋ถ์ฐ ์คํธ๋ฆฌ๋ฐ, ํ์ดํ ๋ผ์ด๋ ๋ฐ ์ฌ์์ ์ํ ์ค์๊ฐ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๊ธฐ ์ํ ๋ชฉ์ ์ผ๋ก ์ค๊ณ๋ ์คํ ์์ค ๋ถ์ฐํ ๊ฒ์-๊ตฌ๋ ๋ฉ์์ง ํ๋ซํผ์ด๋ค.
Kafka๋ ์๋ฒ ํด๋ฌ์คํฐ ๋ด์์ ๋ฐ์ดํฐ ์คํธ๋ฆผ์ ๋ ์ฝ๋๋ก ์ ์งํ๋ ๋ฐฉ์์ผ๋ก ์๋ํ๋ ๋ธ๋ก์ปค ๊ธฐ๋ฐ ์๋ฃจ์ ์ด๋ค. Kafka ์๋ฒ๋ ์ฌ๋ฌ ๋ฐ์ดํฐ ์ผํฐ์ ๋ถ์ฐ๋์ด ์์ ์ ์์ผ๋ฉฐ ์ฌ๋ฌ ์๋ฒ ์ธ์คํด์ค์ ๊ฑธ์ณ ๋ ์ฝ๋ ์คํธ๋ฆผ(๋ฉ์์ง)์ ํ ํฝ์ผ๋ก ์ ์ฅํ์ฌ ๋ฐ์ดํฐ ์ง์์ฑ์ ์ ๊ณตํ ์ ์๋ค.
![]()
Apache Kafka์ ๊ตฌ์ฑ์์
-
ํ ํฝ
- ์ง์ ๋ ๋ฐ์ดํฐ ์คํธ๋ฆผ(์ผ๋ จ์ ๋ ์ฝ๋, ๋ฉ์์ง)์ ๋ํ ๊ด์ฌ์ ํ์ํ๋๋ฐ ์ฌ์ฉ๋๋ ์ฃผ์ ์ง์ ๊ฐ๋ฅํ ์ถ์ํ
- ๊ฒ์ ๋ฐ ๊ตฌ๋ ํ ์ ์์ผ๋ฉฐ ์ ํ๋ฆฌ์ผ์ด์ ์์ ์ฃผ์ด์ง ๋ฐ์ดํฐ ์คํ๋ฆผ์ ๋ํ ๊ด์ฌ์ ํ์ํ๋๋ฐ ์ฌ์ฉ๋๋ ์ถ์ํ ๊ณ์ธต
- kafka ๋ฐ์ดํฐ ์คํธ๋ฆผ์ด ์ด๋์ publish ๋ ์ง ์ ํ๋๋ฐ ์ฐ์.
- ํํฐ์ ์ ๋ชจ์๋๋ ๊ณณ์ด๋ผ๊ณ ์ดํดํด๋ ์ข๋ค
-
ํํฐ์
- ์์ฒญํ๋ ๋ฉ์์ง๋ค์ ๋ชจ์
- ํํฐ์ ๋ง๋ค ์ปค๋ฐ๋ก๊ทธ๊ฐ ๋ฐ๋ก ์์ธ๋ค.
- kafka ์์คํ ์์ ๊ฐ ๋ ์ฝ๋/๋ฉ์์ง์๋ ์ง์ ๋ ํํฐ์ ์ ๋ฉ์์ง/๋ ์ฝ๋๋ฅผ ์๋ณํ๋๋ฐ ์ฌ์ฉ๋๋ ์คํ์ ์ด๋ผ๋ ์์ฐจ ID๊ฐ ํ ๋น๋๋ค
-
๋ฉ์ธ์ง/๋ ์ฝ๋
- byte ๋ฐฐ์ด๋ก ์ฃผ๋ก String, json avro๋ฅผ ์ฌ์ฉํ๋ค
- ๋ฉ์์ง ํฌ๊ธฐ์๋ ์ ํ์ด ์์ง๋ง kb์์ ํด๊ฒฐํ๊ธฐ๋ฅผ ๊ถ์ฅ
- ๋ฐ์ดํฐ๋ ์ฌ์ฉ์๊ฐ ์ง์ ํ ์๊ฐ๋งํผ ์ ์ฅ๋๋ค.
- ํํฐ์ ์ ๋ค์ด๊ฐ๋ ์ต์๋จ์
-
์์์ฑ
- kafka๋ ๋ ์ฝ๋/๋ฉ์์ง๊ฐ ๊ฒ์๋ ๋ ์ง์์ ์ผ๋ก ์ ์ง๋๋ ์๋ฒ ํด๋ฌ์คํฐ๋ฅผ ์ ์ง/๊ด๋ฆฌํ์ฌ ์๋ํ๋ค.
- kafka ํด๋ฌ์คํฐ๋ ๋ณด์กด ์๊ฐ ์ ํ์ ์ฌ์ฉํ์ฌ ์๋น์ ๊ด๊ณ์์ด ์ฃผ์ด์ง ๋ ์ฝ๋๊ฐ ์ง์๋๋ ๊ธฐ๊ฐ์ ๊ฒฐ์ ํ๋ค.
- ๋ ์ฝ๋/๋ฉ์์ง๊ฐ ๋ณด์กด ์๊ฐ ์ ํ ๋ด์ ์๋ ๋์ ๋ ์ฝ๋/๋ฉ์์ง๋ฅผ ์ฌ์ฉํ ์ ์๊ณ , ๋ณด์กด ์๊ฐ์ ์ด๊ณผํ ์ ๋ ์ฝ๋/๋ฉ์์ง๋ ์ญ์ ๋๋ ๊ณต๊ฐ์ด ํ๋ณด๋๋ค.
-
ํ๋ก๋์
- ์ฃผ์ด์ง ๋ ์ฝ๋/๋ฉ์์ง๊ฐ ๊ฒ์๋์ด์ผํ๋ ํ ํฝ์ ์ ์ํ๊ณ , ํํฐ์ ๋ ์ ์ํ ์ ์๋ค.
- ํํฐ์ ์ ์ง์ ํ์ง ์์ ์์ ๋ฉ์์ง๋ ํํฐ์ ์ ๋ผ์ด๋ ๋ก๋น ๋ฐฉ์์ผ๋ก ๋ถ๋ฐฐ๋๋ค (๋ก๋ ๋ฐธ๋ฐ์ฑ)
-
์ปจ์๋จธ
- ๋ ์ฝ๋/๋ฉ์์ง๋ฅผ ์ฒ๋ฆฌํ๋ ์ํฐํฐ์ด๋ค.
- ์ปจ์๋จธ๋ ๊ฐ๋ณ ์ํฌ๋ก๋์์ ๋ ๋ฆฝ์ ์ผ๋ก ์์ ํ๊ฑฐ๋, ์ง์ ๋ ์ํฌ๋ก๋์์ ๋ค๋ฅธ ์ปจ์๋จธ์ ํ๋ ฅํ์ฌ ์์ ํ๋๋ก ๊ตฌ์ฑํ ์ ์๋ค.(๋ก๋๋ฐธ๋ฐ์ฑ)
- ์ปจ์๋จธ๋ ์ปจ์๋จธ ๊ทธ๋ฃน ์ด๋ฆ์ ๊ธฐ๋ฐ์ผ๋ก ์ํฌ๋ก๋๋ฅผ ์ฒ๋ฆฌํ๋ ๋ฐฉ๋ฒ์ ๊ด๋ฆฌํ๋ค.
- ์ปจ์๋จธ ๊ทธ๋ฃน ์ด๋ฆ์ ์ฌ์ฉํ๋ฉด ์ปจ์๋จธ๋ฅผ ๋จ์ผ ํ๋ก์ธ์ค ๋ด, ์ฌ๋ฌ ํ๋ก์ธ์ค, ์ฌ์ง์ด ์ฌ๋ฌ ์์คํ ์ ๋ถ์ฐ์ํฌ ์ ์๋ค.
-
Broker Cluster
-
์์ ๊ฐ์์ ๋ ธ๋๋ก ๊ตฌ์ฑ๋๋ ํด๋ฌ์คํฐ๋ก ํ ํฝ์ ์์ ๊ฐ์๋งํผ ํธ์คํ ํ ์ ์๋ค

-
๋ธ๋ก์ปค๋ Replication Factor๋ฅผ ์กฐ์ ํ ์ ์๋ค. Replication Factor๋ฅผ 2๋ก ์ง์ ํ๋ฉด ํ ํฝ์ ๋๋ ์ ํ๋ฒ ์ฉ ๋ด๊ธฐ๊ฒ ๋๋ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ง๋ค. ์ด์ค ํ ๋ธ๋ก์ปค๊ฐ ์์ด์ง๋๋ผ๋ ์์ ํ ์๋น์ด ๋ ์ ์๊ฒ ํ๊ธฐ ์ํจ์ด๋ค.
-
Replication Factor๋ฅผ ์ค์ ํ๋ฉด ๋ฆฌ๋๋ฅผ ๊ฐ์ง๋ค. ๊ทธ ๋ฆฌ๋๋ฅผ ์ค์ฌ์ผ๋ก ์ฐ๊ธฐ ์ฝ๊ธฐ๊ฐ ๊ฐ๋ฅ ํ๋ค. ๋ฆฌ๋๊ฐ ์ฌ๋ผ์ง๋ฉด ๋ค์ Broker๊ฐ ๋ฐ์์ ๋ฆฌ๋๊ฐ ๋๋ค.
-
-
ํ ํฝ/ํํฐ์ ํ์ฅ
- kafka๋ ์๋ฒ ํด๋ฌ์คํฐ๋ก ์๋ํ๊ธฐ ๋๋ฌธ์ ์ฃผ์ด์ง ํ ํฝ/ํํฐ์ ์์ ๊ฐ ์๋ฒ์ ๋ถํ๋ฅผ ๊ณต์ ํ์ฌ ํ ํฝ/ํํฐ์ ์ ํ์ฅํ ์ ์๋ค.
- ์ด ๋ถํ ๊ณต์ ๋ฅผ ํตํด kafka ํด๋ฌ์คํฐ์ ๊ฐ ์๋ฒ๋ ์ฃผ์ด์ง ํ ํฝ/ํํฐ์ ์ ๋ํ ๋ ์ฝ๋/๋ฉ์์ง์ ๋ฐฐํฌ ๋ฐ ์์์ฑ์ ์ฒ๋ฆฌํ ์ ์๋ค.
- ๊ฐ๋ณ ์๋ฒ๊ฐ ๋ชจ๋ ๋ฐฐํฌ ๋ฐ ์์์ฑ์ ์ฒ๋ฆฌํ๋ ๋์ ๋ชจ๋ ์๋ฒ๋ ์๋ฒ๊ฐ ์คํจํ ๊ฒฝ์ฐ ๋ด๊ฒฐํจ์ฑ๊ณผ ๊ณ ๊ฐ์ฉ์ฑ์ ์ ๊ณตํ๋ ๋ฐ์ดํฐ๋ฅผ ๋ณต์ ํ๋ค
- ํํฐ์ ์ ํํฐ์ ๋ฆฌ๋๋ก ์ ํ๋ ํ๊ฐ ์๋ฒ์ ํ๋ก์ ์ญํ ์ ํ๋ ๋ค๋ฅธ ๋ชจ๋ ์๋ฒ๋ค๋ก ๋ถํ ๋๋ค.
- ํํฐ์ ๋ฆฌ๋์ธ ์๋ฒ๋ ๋ฐ์ดํฐ์ ๋ชจ๋ ๋ฐฐํฌ ๋ฐ ์์์ฑ (์ฝ๊ธฐ/์ฐ๊ธฐ)์ ์ฒ๋ฆฌํ๊ณ ํ๋ก์ ์๋ฒ๋ ๋ด๊ฒฐํจ์ฑ์ ์ํ ๋ณต์ ์๋น์ค๋ฅผ ์ ๊ณตํ๋ค.
Apache Kafka ์ฌ์ฉ ์ฌ๋ก
-
์๋ก ๋ค๋ฅธ ๊ตฌ์ฑ ์์ ๊ฐ์ ์์ ์ ์ธ ๋ฐ์ดํฐ ๊ตํ
- ๋ถ์ฐ ํ์ ์์คํ
- ์ด๋ค ์๋น์ค์ ์น ์ ํ๋ฆฌ์ผ์ด์ ์๋ฒ์์ ์ฒ๋ฆฌํ๋๋ฐ ์์์ ๋ง์ด ์๋นํด์ผํ ๋, ๋ด๋ถ์์ ์ฒ๋ฆฌํ์ง ์๊ณ ๋ฐฑ๊ทธ๋ผ์ด๋์ ๋ค๋ฅธ ํ์คํฌ ํ๋ก์ธ์์ ์์ฒญํ๊ธฐ ์ํ ๊ท๋ก ์ฌ์ฉ
- ๋ถ์ฐ ํ์ ์์คํ
-
๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ฅผ ์ํ ์ค์๊ฐ ์คํธ๋ฆฌ๋ฐ
- ์ค์๊ฐ ๋ฐ์ดํฐ ์ ๋ฐ์ดํธ ex) ํต๊ณ
- ์ฑํ
-
๋ฐ์ดํฐ ๋ฉ์์ง ์ฌ์์ ๋ํ ๊ธฐ๋ณธ ์ง์
Kafka vs Socket
์ค์๊ฐ์ผ๋ก ํต์ ํ๊ณ , Pub-Sub ๊ตฌ์กฐ๋ก ํต์ ์ ํ๋ ๋ฐฉ๋ฒ์ด ํ์ํ๋ค๋ฉด ์์ผ์ผ๋ก๋ ์ถฉ๋ถํ ํด๊ฒฐ ๊ฐ๋ฅํ๋ค. ์์ผ์ด ํจ์ฌ ๊ฐ๋ณ๊ธฐ์ ์ด์ ๊ฐ์ ์ํฉ์์ ์์ผ์ด ๊ฐ์ฅ ์ ๋ง๋๋ค. ๊ทธ๋ผ kafka๋ ์ธ์ ์ฐ์ผ๊น? ๋จผ์ ์์ผ์ ๋จ์ ๋ถํฐ ์์๋ณด์.
์์ผ์ ๋จ์
- producer์ consumer๊ฐ ๋์์ ์จ๋ผ์ธ ์ํ์ฌ์ผํ๋ค. ๋ ์ค ํ๋๊ฐ ์คํ๋ผ์ธ์ด๋ฉด ์ด๋ค ๋ฉ์ธ์ง๋ ๋ณด๋ด์ง์ง ์๊ณ , ๋ฐ์์ง์ง๋ ์๋๋ค.
- consumer๋ producer๋งํผ ์ค์ผ์ผ ์ ๋์ด์ผํ๋ค. producer๊ฐ 10๋ฐฐ์ ๋ฉ์ธ์ง๋ฅผ ๋ณด๋ด๋ฉด, consumer๋ 10๋ฐฐ ๋ ๋ฐ์ ์ ์์ด์ผํ๋ค.
- consumer์ producer๊ฐ ์๋ก๋ฅผ ์์์ผํ๋ค.
- ๋๋ค๋ฅธ consumer๊ฐ ์๊ธฐ๋ฉด producer๋ ์ ์ ํ ์ฒ๋ฆฌ๋ฅผ ํด์ค์ผํ๋ค.
- ํ๋ฒ ๋ณด๋ด์ง ๋ฉ์ธ์ง๋ ํน์ํ ์ฒ๋ฆฌ๋ฅผ ํ์ง ์๋ํ ์ ์ฅ๋์ง ์๋๋ค.
kafka ๋ฑ ๋ฉ์ธ์ง ์์คํ ์์๋
- consumer์ producer๊ฐ ๋์์ online์ผ ํ์๊ฐ ์๋ค.
- consumer์ producer๊ฐ ์๋ก๋ฅผ ๋ชฐ๋ผ๋ ๋๋ค. ๋ธ๋ก์ปค๋ง ์๋ฉด ๋๊ณ , ๋ฐ๋ผ์ consumer์ producer ์์คํ ๊ฐ ์กฐ์ ์ ํ์ง ์์๋ ๋๋ค.
- ๋ฉ์์ง ์์คํ ์ด consumer์ producer ์ฌ์ด์์ ๋ฒํผ๋ก ์๋ํ๋ค. ๋ฉ์ธ์ง ๋ณผ๋ฅจ์ด ์ปค์ง๋ฉด, ๊ทธ ๋ฉ์ธ์ง๋ค์ ์นดํ์นด์์ ๋ฒํผ๋ก ๊ด๋ฆฌ๋๋๊ณ , consumer๋ ํ๋์ฉ ๊ฐ์ ธ์ค๋ฉด ๋๋ค. ๋ฐ๋ผ์ ๋งค๋ฒ ๋ณด๋ด๋ ๋ฉ์ธ์ง์ ๋ณผ๋ฅจ ์ฌ์ด์ฆ๊ฐ ์์ฃผ ๋ณ๋๋๋ฉด, kafka๋ ์ข์ ์ ํ์ง์ด๋ค. ๋ฌผ๋ก ๊ณ์ ๋ง์ ๋ฉ์ธ์ง๊ฐ ์ค๋ฉด consumer๋ ์ค์ผ์ผ ์ ํ ํ์๊ฐ ์์ง๋ง, ๊ฐ๋๋ง ๋ง์ด ์ค๋ฉด kafka๊ฐ ์ ์ ํ๋ค
- ๋ธ๋ก์ปค๋ฅผ ์ฌ์ฉํ๋ฉด, consumer์ producer๋ ์๋ก์ด ๋๊ตฐ๊ฐ๊ฐ ๋ณด๋ด๊ณ ๋ฐ๋์ง๋ฅผ ์ ๊ฒฝ์ฐ์ง ์์๋ ๋๋ค. ๋ธ๋ก์ปค๋ง ์ ๊ฒฝ ์ฐ๋ฉด ๋๋ค.
- ๋ฉ์ธ์ง๋ฅผ ์ ์ฅํ๊ณ , offset์ผ๋ก ์ ๊ทผํ ์ ์๋ค.
์ด์ ๊ฐ์ด kafka๋ socket์ ๋จ์ ์ ํด๊ฒฐํด์ค ์ ์๋ ๋ฐฉ๋ฒ์ด๋ฉฐ, ๋ฐ๋ผ์ socket์ ๋จ์ ์ด ๋ฌธ์ ๊ฐ ๋ ๋ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ์ด๋ค. ๋จ์ํ ํด๋ผ์ด์ธํธ์ ์ค์๊ฐ ํต์ ์ ํ๋ ์ ๋๋ socket์ผ๋ก ํด๊ฒฐํ ์ ์์ง๋ง, ์ข ๋ ๋ณต์กํ ์ํฉ์์๋ kafka๊ฐ ํ์ํ๋ค. ๊ทธ๋ ๊ธฐ์ kafka๋ ์ฃผ๋ก ๋ฐฑ์๋ ์๋น์ค๋ค ์ฌ์ด์ ํต์ ์ ํ๊ธฐ ์ํด ์ฌ์ฉํ๋ค.
์๋ฅผ๋ค์ด 128๋์ ์๋ฒ๊ฐ ๋งํํ๋ก ์ฐ๊ฒฐ์ด ํ์ํ ๊ฒฝ์ฐ 128^2๊ฐ์ ์์ผ์ด ํ์ํ๋ค. ํ์ง๋ง kafka๋ฅผ ์ฌ์ฉํ๋ฉด 128๊ฐ์ ์ฐ๊ฒฐ๋ง์ผ๋ก๋ ํด๊ฒฐ์ด ๊ฐ๋ฅํ๋ค.
์ถ์ฒ
- https://www.tibco.com/ko/reference-center/what-is-apache-kafka
- https://engineering.linecorp.com/ko/blog/how-to-use-kafka-in-line-1/
- https://magpienote.tistory.com/212
- https://www.reddit.com/r/learnprogramming/comments/l0vqao/should_i_use_websockets_or_kafk
- https://ence2.github.io/2020/11/kafka%EC%B9%B4%ED%94%84%EC%B9%B4%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80/