elastic install with Docker Table of contents es -> kibana https://www.elastic.co/guide/en/kibana/current/docker.html Docker image pull (elasticsearch) docker network create elastic docker ...

단순 linux 환경에서 es, kibana install

total

twitter usage logstash에 twitter 밀어넣는 방법 한글 형태소 분석기를 설치하고 활용하는 방법 한글 형태소 분석기를 적용하기 위해 기존의 인덱스를 리인덱싱하는 방법 키바나로 데이터를 시각화하는 방법 id: elastic pw: k6i0mUo3cpY-P4...

kaggle usage Data-visualizer: CSV file -> ElasticSearch에 저장, 단 100MB 이하의 파일에 대해서만 사용가능 - csv 파일을 visualizer를 사용하면 무난하게 넣을 수 있지만, 들어간 데이터가 [] 형태여야 하는데 json 이라던지 하는 등 분석에 장애를 주는 데이터 형식은 l...

kibana Kibana에서는 인덱스 패턴을 통해 es의 인덱스에 접근한다. 인덱스 패턴(index pattern) : 인덱스 매핑 정보를 키바나에서 사용하기 적합하게 미리 캐싱해 둔 것 왜 중간에 인덱스 패턴을 두는가? - 복수의 인덱스에 대한 매핑을 사전에 병합해두어 쿼리생성이나 시각화에 활용할 수 있기 때문 kibana - dis...

beats 비츠 : 가볍고 사용하기 쉬운 데이터 수집기. Go 언어로 잓ㅇ된 경량 프로그램 수집한 데이터를 엘라스틱으로 실어나르기 위해 최전방에 위치. 온프레미스 환경 뿐 아니라 가상머신과 컨테이너 쿠버네티스 환경에서도 사용할 수 있다. 과정 : 비츠 다운 -> 2. 비트 설정파일 수정 -> 3. 엘라스틱과 키바나 대쉬보드 사용...

Logstash Log-Stash : 로그를 저장한다 / 데이터 전처리 과정을 별도의 어플리케이션 작성과정 없이 저장한다. 데이터를 저장하기 이전에, 원하는 형태로 가공한다. ======================================================================================...

Aggregations Q. SQL의 distinct와 비슷한 효과를 내려면 어떤 집계를 사용해야할까? 해당 집계에서 precision_threshold값은 무엇을 의미하는가? A. 카디널리티 집계(Cardinality Aggregation) 정확도 수치를 의미하며 기본값은 3000이다. 높을수록 정확하며 리소스도 많이 소모한다. Q. 금요일날 판...

실운영환경 운영 노드 구성시 마스터 노드와 데이터 노드는 각각 몇대 이상을 구성해야하는가? 그 이유는 무엇인가? Elastic-Search는 데이터 저장소를 구성하는 단계에서 미러링 정책을 권장하는가? 권장한다면 그 이유는 무엇이고, 아니라면 그 이유는 무엇인가? 운영리눅스 JVM 설정시 주의해야할 ...