total

twitter usage logstash에 twitter 밀어넣는 방법 한글 형태소 분석기를 설치하고 활용하는 방법 한글 형태소 분석기를 적용하기 위해 기존의 인덱스를 리인덱싱하는 방법 키바나로 데이터를 시각화하는 방법 id: elastic pw: k6i0mUo3cpY-P4...

kaggle usage Data-visualizer: CSV file -> ElasticSearch에 저장, 단 100MB 이하의 파일에 대해서만 사용가능 - csv 파일을 visualizer를 사용하면 무난하게 넣을 수 있지만, 들어간 데이터가 [] 형태여야 하는데 json 이라던지 하는 등 분석에 장애를 주는 데이터 형식은 l...

kibana Kibana에서는 인덱스 패턴을 통해 es의 인덱스에 접근한다. 인덱스 패턴(index pattern) : 인덱스 매핑 정보를 키바나에서 사용하기 적합하게 미리 캐싱해 둔 것 왜 중간에 인덱스 패턴을 두는가? - 복수의 인덱스에 대한 매핑을 사전에 병합해두어 쿼리생성이나 시각화에 활용할 수 있기 때문 kibana - dis...

beats 비츠 : 가볍고 사용하기 쉬운 데이터 수집기. Go 언어로 잓ㅇ된 경량 프로그램 수집한 데이터를 엘라스틱으로 실어나르기 위해 최전방에 위치. 온프레미스 환경 뿐 아니라 가상머신과 컨테이너 쿠버네티스 환경에서도 사용할 수 있다. 과정 : 비츠 다운 -> 2. 비트 설정파일 수정 -> 3. 엘라스틱과 키바나 대쉬보드 사용...

Logstash Log-Stash : 로그를 저장한다 / 데이터 전처리 과정을 별도의 어플리케이션 작성과정 없이 저장한다. 데이터를 저장하기 이전에, 원하는 형태로 가공한다. ======================================================================================...

Aggregations Q. SQL의 distinct와 비슷한 효과를 내려면 어떤 집계를 사용해야할까? 해당 집계에서 precision_threshold값은 무엇을 의미하는가? A. 카디널리티 집계(Cardinality Aggregation) 정확도 수치를 의미하며 기본값은 3000이다. 높을수록 정확하며 리소스도 많이 소모한다. Q. 금요일날 판...

실운영환경 운영 노드 구성시 마스터 노드와 데이터 노드는 각각 몇대 이상을 구성해야하는가? 그 이유는 무엇인가? Elastic-Search는 데이터 저장소를 구성하는 단계에서 미러링 정책을 권장하는가? 권장한다면 그 이유는 무엇이고, 아니라면 그 이유는 무엇인가? 운영리눅스 JVM 설정시 주의해야할 ...

cluster and nodes elastic - cluster elastic search 구성방법 클러스터 : 여러 대의 컴퓨터를 병렬로 연결해 하나의 시스템을 구성하는 것을 말한다 - 여러 노드의 집합 노드 노드의 통신모듈 2가지 ...

인덱스와 도큐먼트 생성(C) Elastic-Search는 모든 기능이 RestAPI 형식이다. Elastic-Search의 현재 상태를 빠르게 확인하는 방법으로는 cat(compact and aligned text) API를 사용하면 된다. 다음 명령어로 cat API가 지원하는 목록을 확인한다. GET _cat 파일 구조는 index(...

Docker Swarm 여러대 서버를 묶을 때 고려사항 1) 새로운 서버나 컨테이너를 발견(Discovery) 2) 스케줄러와 로드밸런서 3) 클러스터 내 서버 다운시 고가용성 -> docker swarm, swarm mode 가 나오게 됨 Docker Swarm? Swarm Mode! docker swarm docker sw...

Docker Compose 서비스의 개발과 CI를 위해 여러 개의 컨테이너를 하나의 프로젝트로서 다루기 위해 사용한다. 컨테이너의 옵션과 환경을 정의한 파일을 순차적으로 읽으며 구축한다. 각 컨테이너의 의존성, 네트워크, 볼륨을 함께 정의할 수 있다. 설정파일에 정의된 서비스의 컨테이너 수를 유동적으로 조절할 수 있다. 서비스 디스커버리는...