Elasticsearch๋ ์๊ฐ์ด ๊ฐ์๋ก ์ฆ๊ฐํ๋ ๋ฌธ์ ๋ฅผ ์ฒ๋ฆฌํ๋ ๋ถ์ฐํ RESTful ๊ฒ์ ๋ฐ ๋ถ์ ์์ง์ ๋๋ค. Elastic Stack์ ํต์ฌ ์ ํ์ธ Elasticsearch๋ ๋ฐ์ดํฐ๋ฅผ ์ค์์ ์ ์ฅํ์ฌ ์์ฝ๊ฒ ํ์ฅ๋๋ ๊ด์์ ๊ฐ๊น์ด ๋น ๋ฅธ ๊ฒ์, ์ ๊ตํ๊ฒ ์กฐ์ ๋ ์ ํ๋, ๊ฐ๋ ฅํ ๋ถ์์ ์ ๊ณตํฉ๋๋ค.
(ElasticSearch ๊ณต์ ๋ฌธ๊ตฌ)
ElasticSearch๋ Apache Lucene(์ํ์น ๋ฃจ์ฌ) ๊ธฐ๋ฐ์ Java ์คํ์์ค ๋ถ์ฐ ๊ฒ์์์ง์ด๋ค. ElasticSearch๋ฅผ ํตํด ๋ฃจ์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ๋จ๋ ์ผ๋ก ์ฌ์ฉํ ์ ์๊ฒ ๋์์ผ๋ฉฐ, ๋ฐฉ๋ํ ์์ ๋ฐ์ดํฐ๋ฅผ ์ ์ํ๊ฒ ๊ฑฐ์ ์ค์๊ฐ์ผ๋ก ์ ์ฅ, ๊ฒ์, ๋ถ์ํ ์ ์๋ค.
ElasticSearch์ ๊ฒ์์ ์ํด ๋จ๋ ์ผ๋ก ์ฌ์ฉ๋๊ธฐ๋ ํ๊ณ , ELK(ElasticSearch / logstash / kibana) ์คํ์ผ๋ก ์ฌ์ฉ๋๊ธฐ๋ ํ๋ค
ELK ์คํ
- Logstash : ๋ค์ํ ์์ค์ ๋ก๊ทธ ๋๋ ํธ๋์ญ์ ๋ฐ์ดํฐ๋ฅผ ์์ง, ์ง๊ณ, ํ์ฑํ์ฌ ElasticSearch๋ก ์ ๋ฌ
- ElasticSearch : Logstash๋ก๋ถํฐ ๋ฐ์ ๋ฐ์ดํฐ๋ฅผ ๊ฒ์ ๋ฐ ์ง๊ณํ์ฌ ํ์ํ ๊ด์ฌ์๋ ์ ๋ณด๋ฅผ ํ๋
- Kibana : ElasticSearch์ ๋น ๋ฅธ ๊ฒ์์ ํตํด ๋ฐ์ดํฐ๋ฅผ ์๊ฐํ ๋ฐ ๋ชจ๋ํฐ๋ง
ElasticSearch์ RDBMS ์ฉ์ด ๋น๊ต
| RDBMS | ElasticSearch |
|---|---|
| Database | index |
| Table | Type |
| Row | Document |
| Column | Field |
| Index | Analyze |
| Primary key | _id |
| schema | Mapping |
| Physical partition | Shared |
| Logical Partition | Route |
| Relational | Parent/Child, Nested |
| SQL | Query DSL |
ElasticSearch ์ํคํ ์ฒ / ์ฉ์ด ์ ๋ฆฌ
- ํด๋ฌ์คํฐ
- ElasticSearch์์ ๊ฐ์ฅ ํฐ ์์คํ ๋จ์์ด๋ฉฐ, ์ต์ ํ๋ ์ด์์ ๋ ธ๋๋ก ์ด๋ฃจ์ด์ง ๋ ธ๋๋ค์ ์งํฉ์ด๋ค
- ์๋ก ๋ค๋ฅธ ํด๋ฌ์คํฐ๋ ๋ฐ์ดํฐ์ ์ ๊ทผ, ๊ตํ์ ํ ์ ์๋ ๋ ๋ฆฝ์ ์ธ ์์คํ ์ผ๋ก ์ ์ง๋๋ฉฐ, ์ฌ๋ฌ ๋์ ์๋ฒ๊ฐ ํ๋์ ํด๋ฌ์คํฐ๋ฅผ ๊ตฌ์ฑํ ์ ์๊ณ , ํ ์๋ฒ์ ์ฌ๋ฌ ๊ฐ์ ํด๋ฌ์คํฐ๊ฐ ์กด์ฌํ ์๋ ์๋ค
- ๋
ธ๋
- ElasticSearch๋ฅผ ๊ตฌ์ฑํ๋ ํ๋์ ๋จ์ ํ๋ก์ธ์ค
- ์ญํ ์ ๋ฐ๋ผ ๋ค์๊ณผ ๊ฐ์ด ๊ตฌ๋ถ๋๋ค
- Master-eligible node : ํด๋ฌ์คํฐ๋ฅผ ์ ์ดํ๋ ๋ง์คํฐ๋ก ์ ํํ ์ ์๋ ๋
ธ๋.
- ์ธ๋ฑ์ค ์์ฑ, ์ญ์
- ํด๋ฌ์คํฐ ๋ ธ๋๋ค์ ์ถ์ , ๊ด๋ฆฌ
- ๋ฐ์ดํฐ ์ ๋ ฅ ์ ์ด๋ ์ค๋์ ํ ๋นํ ๊ฑด์ง ์ ํ
- Data node : ๋ฐ์ดํฐ์ ๊ด๋ จ๋ CRUD ์์ ์ ํ๋ ๋ ธ๋. CPU, ๋ฉ๋ชจ๋ฆฌ ๋ฑ ์์์ ๋ง์ด ์๋นํ๋ฏ๋ก ๋ชจ๋ํฐ๋ง์ด ํ์ํ๋ฉฐ master ๋ ธ๋์ ๋ถ๋ฆฌ๋๋ ๊ฒ์ด ์ข๋ค
- ingest node : ๋ฐ์ดํฐ๋ฅผ ๋ณํํ๋ ๋ฑ ์ฌ์ ์ฒ๋ฆฌ ํ์ดํ๋ผ์ธ์ ์คํ
- coordination only node : ๋ก๋๋ฐธ๋ฐ์์ ๊ฐ์ด data node์ master-eligible node์ ์ผ์ ๋์ ํ๋ค
- Master-eligible node : ํด๋ฌ์คํฐ๋ฅผ ์ ์ดํ๋ ๋ง์คํฐ๋ก ์ ํํ ์ ์๋ ๋
ธ๋.
- ์ธ๋ฑ์ค : RDBMS์ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋์ํ๋ ๊ฐ๋ .
- ์ค๋(Shard)
- ๋ฐ์ดํฐ๋ฅผ ๋ถ์ฐํด์ ์ ์ฅํ๋ ๋ฐฉ๋ฒ. ์ค์ผ์ผ ์์์ ์ํด ์ธ๋ฑ์ค๋ฅผ ์ฌ๋ฌ ์ค๋๋ก ์ชผ๊ฐ ๋ค.
- ๊ธฐ๋ณธ์ ์ผ๋ก๋ ํ๊ฐ๊ฐ ์กด์ฌํ๋ฉฐ, ๊ฒ์ ์ฑ๋ฅ ํฅ์์ ์ํด ํด๋ฌ์คํฐ์ ์ค๋ ๊ฐฏ์๋ฅผ ์กฐ์ ํ๋ ํ๋์ ํ๊ธฐ๋ ํ๋ค.
- ์ค๋์ ์ข
๋ฅ
- ํ๋ผ์ด๋จธ๋ฆฌ ์ค๋ : ๋ฐ์ดํฐ์ ์๋ณธ. ElasticSearch์์ ๋ฐ์ดํฐ ์ ๋ฐ์ดํธ ์์ฒญ์ ๋ ๋ฆฌ๋ฉด ๋ฐ๋์ ํ๋ผ์ด๋จธ๋ฆฌ ์ค๋์ ์์ฒญํ๊ฒ ๋๊ณ , ํด๋น ๋ด์ฉ์ ๋ ํ๋ฆฌ์นด ์ค๋์ ๋ณต์ ๋๋ค.
- ๋ ํ๋ฆฌ์นด(Replica) ์ค๋
- ํ๋ผ์ด๋จธ๋ฆฌ ์ค๋์ ๋ณต์ ๋ณธ. ๋ ธ๋๋ฅผ ์์คํ์ ๊ฒฝ์ฐ ๋ฐ์ดํฐ์ ์ ๋ขฐ์ฑ์ ์ํด ์ค๋๋ค์ ๋ณต์ ํ๋ค.
- ๋ฐ๋ผ์ ๋ ํ๋ฆฌ์นด๋ ์๋ก ๋ค๋ฅธ ๋ ธ๋์ ์กด์ฌํ ๊ฒ์ ๊ถ์ฅํ๋ค.
- ์ธ๊ทธ๋จผํธ
- ElasticSearch์์ ๋ฌธ์์ ๋น ๋ฅธ ๊ฒ์์ ์ํด ์ค๊ณ๋ ์๋ฃ๊ตฌ์กฐ.
- ์ค๋์ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง๊ณ ์๋ ๋ฌผ๋ฆฌ์ ์ธ ํ์ผ์ด๋ค. ๊ฐ ์ค๋๋ ๋ค์์ ์ธ๊ทธ๋จผํธ๋ก ๊ตฌ์ฑ๋์ด์์ผ๋ฏ๋ก ๊ฒ์ ์์ฒญ์ ๋ถ์ฐ์ฒ๋ฆฌํ์ฌ ํจ์ฌ ํจ์จ์ ์ธ ๊ฒ์์ด ๊ฐ๋ฅํ๋ค.
- ์ค๋์์ ๊ฒ์ ์, ๋จผ์ ๊ฐ ์ธ๊ทธ๋จผํธ๋ฅผ ๊ฒ์ํ์ฌ ๊ฒฐ๊ณผ๋ฅผ ์กฐํฉํ ํ ์ต์ข ๊ฒฐ๊ณผ๋ฅผ ํด๋น ์ค๋์ ๊ฒฐ๊ณผ๋ก ๋ฐํํ๊ฒ ๋๋ค. ์ด๋ ์ธ๊ทธ๋จผํธ๋ ๋ด๋ถ์ ์์ธ๋ ๋ฐ์ดํฐ๊ฐ ์ญ์์ธ ๊ตฌ์กฐ๋ก ์ ์ฅ๋์ด ์์ผ๋ฏ๋ก ๊ฒ์ ์๋๊ฐ ๋งค์ฐ ๋น ๋ฅด๋ค.
- ์ธ๋ฉ๋ชจ๋ฆฌ ๋ฒํผ
- ๋งค ์์ฒญ๋ง๋ค ์๋ก์ด ์ธ๊ทธ๋จผํธ๋ฅผ ๋ง๋ค๋ฉด ๋นํจ์จ์ ์ด๋ฏ๋ก, ์์ฒญ์ ๋จผ์ ์ ์ฅํ๋ ๋ฒํผ์ด๋ค. ์ธ๋ฉ๋ชจ๋ฆฌ ๋ฒํผ๊ฐ ๊ฐ๋์ฐจ๊ฑฐ๋ ์ผ์ ์๊ฐ์ด ์ง๋๋ฉด flush ์์ ์ด ์ผ์ด๋๊ณ , ์์คํ ์บ์์ ์ธ๊ทธ๋จผํธ๊ฐ ์์ฑ๋๋ค. ์ด ์์ ์์ ๋ฐ์ดํฐ ๊ฒ์์ด ๊ฐ๋ฅํด์ง๋ค.
- ์์คํ ์บ์์ ์ ์ฅ๋ ์ธ๊ทธ๋จผํธ๋ ์ผ์ ์๊ฐ์ด ์ง๋๋ฉด commit์ ํตํด ๋ฌผ๋ฆฌ์ ์ธ ๋์คํฌ์ ์ ์ฅ๋๋ค.
- ์ ์ฅ๋ ์ธ๊ทธ๋จผํธ๋ ์๊ฐ์ด ์ง๋ ์๋ก ํ๋๋ก ๋ณํฉํ๋ ๊ณผ์ ์ ์ํํ๊ณ , ๋ณํฉ์ ํตํด ์ธ๊ทธ๋จผํธ๋ฅผ ํ๋๋ก ์ค์ฌ ์ฃผ๋ฉด, ๊ฒ์ํ ์ธ๊ทธ๋จผํธ์ ๊ฐ์๊ฐ ์ค์ด๋ค๊ธฐ ๋๋ฌธ์ ๊ฒ์ ์ฑ๋ฅ์ด ํฅ์๋๋ค.
ElasticSearch์ ํน์ง
-
Scale out : ์ค๋๋ฅผ ํตํด ๊ท๋ชจ๊ฐ ์ํ์ ์ผ๋ก ๋์ด๋ ์ ์์
-
๊ณ ๊ฐ์ฉ์ฑ : Replica๋ฅผ ํตํด ๋ฐ์ดํฐ์ ์์ ์ฑ์ ๋ณด์ฅ
-
Schema Free : Json ๋ฌธ์๋ฅผ ํตํด ๋ฐ์ดํฐ ๊ฒ์์ ์ํํ๋ฏ๋ก ์คํค๋ง ๊ฐ๋ ์ด ์์
-
Restful : ๋ฐ์ดํฐ CRUD ์์ ์ HTTP Restful API๋ฅผ ํตํด ์ํํ๋ฉฐ ๊ฐ๊ฐ ๋ค์๊ณผ ๊ฐ์ด ๋์ํ๋ค
CRUD Elasticsearch Restful SELECT GET INSERT PUT UPDATE POST DELETE DELETE
ElasticSearch์ ์ญ์์ธ
์ํ์น ๋ฃจ์ฌ์ ๊ธฐ๋ณธ์ ์ผ๋ก ์ญ์์ธ์ด๋ผ๋ ๊ตฌ์กฐ๋ก ๋ฐ์ดํฐ๋ฅผ ์ ์ฅํ๋ค. ElasticSearch๋ ๋ฃจ์ฌ ๊ธฐ๋ฐ์ด๋ฏ๋ก ์ญ์์ธ์ ์ฌ์ฉํ๋ค.
์ญ์์ธ(inverted index)์ด๋, ์ฑ ์ ๋งจ ๋ค์ ํค์๋๊ฐ ์ด๋ค ํ์ด์ง์ ์๋์ง ์๋ ค์ฃผ๋ ํ์ด์ง์ฒ๋ผ, ๊ฐ์ ํตํด ์์น๋ฅผ ์์๋ด๋ ๋ฐฉ์์ ํตํด RDBMS๋ณด๋ค ์ ๋ฌธ ๊ฒ์(full text search)์ ๋น ๋ฅธ ์ฑ๋ฅ์ ๋ณด์ธ๋ค.
์๋ฅผ ๋ค์ด โLorem Ipsum is simply dummy text of the printing and typesetting industryโ ๋ ๋ฌธ์ฅ์ด ์์ผ๋ฉด ์ด ๋ฌธ์ฅ์ ๋ชจ๋ ํ์ฑํด์ ๊ฐ ๋จ์ด๋ค์ ์ ์ฅํ๊ณ , ๋๋ฌธ์๋ ์๋ฌธ์ ์ฒ๋ฆฌํ๊ณ , ์ ์ฌ์ด๋ ์ฒดํฌํ์ฌ ํ ์คํธ๋ฅผ ์ ์ฅํ๋ค. ๊ทธ๋ฆฌ๊ณ ํค์๋์ ํจ๊ป ๊ฒ์ ์์ฒญ์ด ์ค๋ฉด, ํค์๋๋ฅผ ํตํด ๋ฌธ์๋ฅผ ์ฐพ์๋ด์ด ๊ฒ์ ์ฑ๋ฅ์ด ๋งค์ฐ ๋น ๋ฅด๋ค.
ElasticSearch ๋จ์
- ์ค์๊ฐ ์ฒ๋ฆฌ๊ฐ ๋ถ๊ฐ๋ฅํ๋ค
- ElasticSearch์ ์ธ๋ฉ๋ชจ๋ฆฌ ๋ฒํผ๋ฅผ ์ฌ์ฉํ๋ฏ๋ก, ์ฐ๊ธฐ๊ฐ ๋ฐ์ํด๋ ์ธ๊ทธ๋จผํธ ์์ฑ ์ ๊น์ง๋ ํด๋น ๋ฐ์ดํฐ๋ฅผ ๊ฒ์ํ ์ ์๋ค
- ํธ๋์ญ์
์ ์ง์ํ์ง ์๋๋ค
- ๋ถ์ฐ ์์คํ ๊ตฌ์ฑ์ ํน์ง๋๋ฌธ์ ์์คํ ์ ์ผ๋ก ๋น์ฉ ์๋ชจ๊ฐ ํฐ ํธ๋์ญ์ ๋ฐ ๋กค๋ฐฑ์ ์ง์ํ์ง ์๋๋ค
- ์ง์ ํ ์๋ฏธ์ ์
๋ฐ์ดํธ๋ฅผ ์ง์ํ์ง ์๋๋ค.
- ์ธ๊ทธ๋จผํธ์์ ๋ฐ์ดํฐ๊ฐ ์ญ์ ๋๋ฉด soft delete๋ฅผ ํ๋ค
- ์ธ๊ทธ๋จผํธ์์ ๋ฐ์ดํฐ๊ฐ ์์ ๋๋ฉด soft delete๋ฅผ ํ๊ณ ์์ ๋ ๋ฐ์ดํฐ๋ฅผ ์๋ก์ด ์ธ๊ทธ๋จผํธ๋ก ์์ฑํ๋ค
- RDBMS์ index์ ์ ์ฌํ ๋์
NoSql๊ณผ์ ์ฐจ์ด
| ElasticSearch | NoSQL | |
|---|---|---|
| ์ค์๊ฐ ์ฒ๋ฆฌ | ๋ถ๊ฐ๋ฅ | ๊ฐ๋ฅ |
| ์ญ์์ธ ์๋ฃ๊ตฌ์กฐ | ์์ | ์์ |
| ๊ตฌ์กฐ | ๊ฒ์ ์์ง | ๋ฐ์ดํฐ ์ ์ฅ์ |