Go/Golang - Test and Benchmark How to test and benchmark with Go 테스트 코드와 벤치마킹 테스트 코드: 작성한 코드를 테스트 벤치마크: 작성한 코드의 성능을 확인 -> Go는 언어 자체적으로 테스트와 벤치마킹을 지원한다. 테스트 코드 작성규약 1) 파일명이 _test.go로 ...

Logstash JSON 객체 파싱 Logstash는 다양한 경로에서 데이터를 수집하고 처리합니다. 수집하는 데이터의 형태는 정말 다양한 형태로 들어오며, 때로는 복잡한 전처리를 요구하기도 합니다. 이번 포스팅에서는 JSON 객체 안에 배열형태로 들어오는 JSON 객체를 파싱하는 방법을 기록으로 남기고자 합니다. JSON 데이터 형태 이번 포스팅...

elastic install with Docker Table of contents es -> kibana https://www.elastic.co/guide/en/kibana/current/docker.html Docker image pull (elasticsearch) docker network create elastic docker ...

단순 linux 환경에서 es, kibana install

total

twitter usage logstash에 twitter 밀어넣는 방법 한글 형태소 분석기를 설치하고 활용하는 방법 한글 형태소 분석기를 적용하기 위해 기존의 인덱스를 리인덱싱하는 방법 키바나로 데이터를 시각화하는 방법 id: elastic pw: k6i0mUo3cpY-P4...

kaggle usage Data-visualizer: CSV file -> ElasticSearch에 저장, 단 100MB 이하의 파일에 대해서만 사용가능 - csv 파일을 visualizer를 사용하면 무난하게 넣을 수 있지만, 들어간 데이터가 [] 형태여야 하는데 json 이라던지 하는 등 분석에 장애를 주는 데이터 형식은 l...

kibana Kibana에서는 인덱스 패턴을 통해 es의 인덱스에 접근한다. 인덱스 패턴(index pattern) : 인덱스 매핑 정보를 키바나에서 사용하기 적합하게 미리 캐싱해 둔 것 왜 중간에 인덱스 패턴을 두는가? - 복수의 인덱스에 대한 매핑을 사전에 병합해두어 쿼리생성이나 시각화에 활용할 수 있기 때문 kibana - dis...

beats 비츠 : 가볍고 사용하기 쉬운 데이터 수집기. Go 언어로 잓ㅇ된 경량 프로그램 수집한 데이터를 엘라스틱으로 실어나르기 위해 최전방에 위치. 온프레미스 환경 뿐 아니라 가상머신과 컨테이너 쿠버네티스 환경에서도 사용할 수 있다. 과정 : 비츠 다운 -> 2. 비트 설정파일 수정 -> 3. 엘라스틱과 키바나 대쉬보드 사용...

Logstash Log-Stash : 로그를 저장한다 / 데이터 전처리 과정을 별도의 어플리케이션 작성과정 없이 저장한다. 데이터를 저장하기 이전에, 원하는 형태로 가공한다. ======================================================================================...