엘라스틱서치(Elasticsearch) 적용 후기

📙 1. 엘라스틱서치(Elasticsearch)를 사용하게 된 계기

  프로젝트를 진행하면서 상대적으로 크기가 큰 동물 데이터(130만 건의 데이터)를 사용할 일이 있었다.

  필요한 작업은 '동물의 계층적 분류를 나타내는 값에서 특정 계층이 있는 동물을 조회하는 것'이었다. 이러한 과정에서 어떻게 하면 조회 시간을 단축시킬 수 있을까 고민하였고 그 결과 엘라스틱서치(Elasticsearch)를 사용하게 되었다.

  작업에 대해서 조금 더 자세하게 살펴보도록 하자. 원하는 동작은 '동물의 계층적 분류(higherClassification)에서 특정 계층(포유류, 양서류, 조류,...)이 존재하는 동물들을 가져오는 것'이다.

  데이터는 아래와 같이 구성되어 있다.

{
  ...
  "higherClassification": "Animalia; Chordata; Vertebrata; Mammalia; Proboscidea; Elephantidae"
  ...
},
{
  ...
  "higherClassification": "Animalia; Chordata; Vertebrata; Mammalia; Rodentia; Mymorpha"
  ...
}

  만약 Mammalia(포유류)라는 계층을 포함하고 있는 동물을 가져온다고 하면 아래 2개의 데이터를 모두 가져올 것이다.

{
  ...
  "higherClassification": "Animalia; Chordata; Vertebrata; Mammalia; Proboscidea; Elephantidae"
  ...
},
{
  ...
  "higherClassification": "Animalia; Chordata; Vertebrata; Mammalia; Rodentia; Mymorpha"
  ...
}

  하지만, Elephantidae(코끼리과)라는 계층을 포함하고 있는 동물을 가져온다고 하면, 2개가 아닌 1개의 데이터만 가져올 것이다.

{
  ...
  "higherClassification": "Animalia; Chordata; Vertebrata; Mammalia; Proboscidea; Elephantidae"
  ...
},
{
  ...
  "higherClassification": "Animalia; Chordata; Vertebrata; Mammalia; Rodentia; Mymorpha"
  ...
}

  즉, 130만 건의 데이터에서 특정 속성(동물의 계층적 분류, higherClassification)의 값을 나타내는 문자열에 특정 문자열(포유류, 양서류, 조류,...)이 있는지 확인하고 그 값을 가져와야 했다.

  데이터에서 원하는 값을 빠르게 가져오기 위해 아래 3가지 기술을 고려해 보았다.

 

📌 1. MySQL

  MySQL로 위의 작업을 하게 된다면 Full-Scan을 한다는 문제점이 있었다.

  또한, 문자열에서 특정 문자가 존재하는지 알기 위해 LIKE 사용하게 된다. LIKE가 동작하게 되면 Turbo Boyer-Moore 알고리즘이 작동하게 된다.

  공식문서를 살펴보면, LIKE를 사용하는 경우 일반적으로 인덱스가 걸려있는 경우 B-Tree를 이용하고, 그렇지 않은 경우에는 Turbo Boyer-알고리즘을 사용한다고 되어있다.

MySQL :: MySQL 8.0 Reference Manual :: 8.3.9 Comparison of B-Tree and Hash Indexes

  Turbo Boyer-Moore에 대한 내용은 아래의 글을 참고하자.

Turbo-BM algorithm

  이러한 사실과 함께 시간복잡도를 계산해 보면 O(데이터의 크기_130만 건) x O(문자열의 길이)가 되게 된다.

 

📌 2. Apatch Hive

  Apatch Hive란 구조화된 빅데이터를 처리하는 데 사용되면 HiveQL을 이용하여 편리하게 하둡(분산 파일 시스템)을 이용할 수 있게 하는 것이다.

  HiveQL을 통해서 조회를 실행하면 내부적으로 맵-리듀스 언어로 변환하는 작업을 거치기 때문에, 맵과 리듀스 간의 셔플링 작업으로 인하여 속도가 느리다는 단점이 있다.

 

📌 3. Elasticsearch

  Elasticsearch(이하 ES)는 역인덱스(Inverted Index, 역색인)를 이용한다. (ES에 대한 자세한 설명은 아래에 나옵니다.)

  역인덱스를 활용하여 키워드를 통해 문서를 찾는다. 그래서 우리가 원하는 조회 작업이 매우 빠르다는 장점이 있다. 

 

  3가지 기술을 비교분석한 결과, ES가 '상대적으로 큰 데이터에서 특정 문자열을 가진 데이터를 찾는 작업'에 가장 적절하다고 생각하여 ES를 쓰기로 하였다. 

 

📙 2. ES 개념 & 특징

📌 1. 개념

  ES는 Apache Lucene 기반의 오픈소스 분산 검색 엔진이다. (Apache Lucene은 모든 검색엔진의 시초라고 할 수 있다.)

  기본적으로 데이터를 인덱싱하여 저장하고, 검색, 집계 등의 기능을 수행한다.

📌 2. 특징

  ES의 가장 큰 특징은 우리가 흔히 아는 인덱스(forward index)가 아닌 역인덱스(inverted index)를 사용한다는 것이다.

  인덱스를 사용한다면 아래와 같이 데이터가 저장될 것이다.

Document	Words
문서1	사과, 바나나, 귤
문서2	사과, 장미
문서3	사과, 공, 귤

  반면, 역인덱스를 이용한다면 아래와 같이 데이터가 저장된다.

Word	Document
사과	문서1, 문서2, 문서3
귤	문서1, 문서3
바나나	문서1
장미	문서2
공	문서3

 

  귤을 가지고 있는 데이터를 가져온다고 해보자. 인덱스를 이용하여 조회하면 다음과 같이 텍스트를 하나하나 읽으면서 검색을 할 것이다.

Document	Words	검색(비교해보는 동작)	조회(가져오는 동작)
문서1	사과, 바나나, 귤	O	O
문서2	사과, 장미	O	X
문서3	사과, 공, 귤	O	O

  하지만, 역인덱스를 이용하여 조회하면 텍스트를 하나하나 읽지 않고도 키워드에 해당하는 값을 바로 얻을 수 있다.

Word	Document	검색(비교해보는 동작)	조회(가져오는 동작)
사과	문서1, 문서2, 문서3	X	X
귤	문서1, 문서3	O	O
바나나	문서1	X	X
장미	문서2	X	X
공	문서3	X	X

  이러한 이유로 ES를 이용하면 빠른 속도로 조회를 할 수 있다.

 

📙 3. 적용

  스프링부트 환경에서 ES를 적용하였다. 'ES 사용을 위한 환경 세팅, 데이터 삽입, 데이터 조회'라는 3가지 단계를 이용하여 살펴보자.

📌 1. ES 사용을 위한 환경 세팅

1. dependency 추가

dependencies {
  implementation 'org.springframework.data:spring-data-elasticsearch:4.2.2'
}

2. config 설정

@Configuration
@EnableElasticsearchRepositories(basePackageClasses = {Animal.class})
public class ElasticSearchConfig extends AbstractElasticsearchConfiguration {

    @Value("${elasticsearch.host}")
    private String host;

    @Value("${elasticsearch.port}")
    private int port;

    @Override
    public RestHighLevelClient elasticsearchClient() {
        ClientConfiguration clientConfiguration = ClientConfiguration.builder()
                .connectedTo(host + ":" + port)
                .build();
        return RestClients.create(clientConfiguration).rest();
    }
}

3. 객체 생성

@NoArgsConstructor
@Getter
public class Animal {

    @Id
    private Long id;
    private String continent;
    private String country;
    private String decimalLatitude;
    private String decimalLongitude;
    private String scientificName;
    private String family;
    private String genus;
    private String higherClassification;

    @Builder
    private Animal(Long id, String continent, String country, 
            String decimalLatitude, String decimalLongitude, String scientificName, 
            String family, String genus, String higherClassification) {
        this.id = id;
        this.continent = continent;
        this.country = country;
        this.decimalLatitude = decimalLatitude;
        this.decimalLongitude = decimalLongitude;
        this.scientificName = scientificName;
        this.family = family;
        this.genus = genus;
        this.higherClassification = higherClassification;
    }
}

4. Repository 생성

  JpaRepository와 유사한 방법으로 ElasticRepository를 사용하여 Repository를 만들면 된다.

public interface AnimalRepository extends ElasticsearchRepository<Animal, Long>, 
        CrudRepository<Animal, Long> {

    List<Animal> findByHigherClassificationContains(String country);
}

📌 2. 데이터 삽입

  기존 데이터베이스에 있는 값을 이용하여 ES에 값을 넣어주었다.

public void addAnimalAtES(List<Animal> animals) {
    animalRepository.saveAll(animals);
}

📌 3. 데이터 조회

  다음과 같이 특정 계층 값을 이용하여 조회한다.

public List<Animal> getAnimalsBy(String higherClass) {
    return AnimalRepository.findByHigherClassificationContains(higherClass);
}

 

📙 4. 결과

  변경 전 걸린 시간(MySQL을 사용하는 경우)과 변경 후 걸린 시간(ES를 사용하는 경우)은 다음과 같다.

	변경 전(ms)	변경 후(ms)
포유류	1332.6	75.8
파충류	1318.0	64.3
조류	1393.8	87.2
양서류	1353.3	87.7
갑각류	1325.2	89.8

	변경 전(ms)	변경 후(ms)
전체	1346.3	81.9

 

  ES를 활용하여 기존 대비(MySQL) 약 16배의 개선된 성능을 확인할 수 있었다. (5개의 상황에 대해서 각각 20번씩, 총 100번의 비교를 진행한 결과입니다.)

 

해당 글은
Yoon Sung님의 'Mysql Like 동작 방식',
MySQL 공식문서 '8.3.9 Comparision of B-Tree and Hash Indexes',
'Turbo-BM algorithm',
yeomyaloo님의 '쇼핑몰 만들기 프로젝트 - 엘라스틱서치(elasticsearch)와 스프링부트 연동해보자',
쏘니님의 '[spring boot] 스프링부트에서 elasticsearch 시작하기',
msjeong97님의 'Elasticsearch란',
justdoIT0703님의 '[Elastic Search] 엘라스틱서치란? 2. 역 색인(Inverted Index)',
제이온(Jayon)님의 '[데이터베이스] 역색인이란?',
을 참고하였습니다.