Elasticsearch

[Elasticsearch] 클러스터 구성하기

운영 환경 모든 노드는 동일 private network로 묶여 있습니다. OS : Contos 7 3대 master 노드 1대 (172.25.1.10) data 노드 2대 (172.25.1.11, 172.25.1.12) Java 11 Elasticsearch 7.17.7 클러스터 구성 전 $ curl localhost:9200 { "name" : "master", "cluster_name" : "my-cluster", "cluster_uuid" : "w4dI8ZN8CTO--P52i2Jbqo", "version" : { "number" : "7.17.7", "build_flavor" : "default", "build_type" : "rpm", "build_hash" : "48dcaba8cee33438b..

[Elasticsearch] maximum shards open 에러

Problem 기존에 운영중이던 Elasticsearch에 새로운 index를 만드려고 시도하는 중에 아래와 같이 maximum shards open 에러 로그가 출력되었습니다. { "type": "validation_exception", "reason": "Validation Failed: 1: this action would add [2] total shards, but this cluster currently has [1000]/[1000] maximum shards open;" } 현재 노드당 최대 shard 개수가 1000개인데, 1000개가 모두 열려 있는 상태에서 새로운 index를 생성하려다가 에러가 발생하였습니다. 현재 shard 확인 $ curl -s -XGET localhost:920..

[Elasticsearch] 전체 문서 조회 max_result_window 이슈 (Scroll API)

Problem Elasticsearch에 색인되어 있는 문서(document)를 전체 조회해야 하는데, Elasticsearch에서는 데이터를 paging 하여 조회할 때 from과 size를 사용합니다. 그런데 Document의 숫자가 10,000번 째를 넘어가는 순간 데이터를 가져오지 못하고 아래와 같은 에러가 발생합니다. Result window is too large, from + size must be less than or equal to: [10000] but was [10010]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.m..