kubernetes monitoring Monitoring CAdvisor(:exporter의 한 종류) 와 같은 컨테이너 모니터링 에이전트들은 /metrics 라고 하는 경로를 외부에 노출시켜 메트릭 데이터를 오픈하고, 해당 경로로 요청을 보내면 CAdvisor는 key-value 쌍으로 구성된 메트릭 데이터의 목록을 반환한다. 이 경로를 프로메...

분산 파일 시스템이란 ? 분산파일시스템 은 일반적으로 네크워크로 연결된 여러 머신의 스토리지를 관리하는 파일 시스템을 의미합니다. 이번 포스팅에서는 HADOOP을 구성하는 주요 컴포넌트 중 하나인 HDFS 에 대해 정리해 보도록 하겠습니다. GFS HDFS의 모태는 GFS이다. Master(masterserver) Worker(chunkserve...

YARN(Yet Another Resource Negotiator) 이번에는 HADOOP의 또다른 주요 컴포넌트 중 하나인 YARN에 대해 포스팅하도록 하겠습니다 YARN은 HADOOP 2에서 부터 도입되어 Resource-Manager의 역할을 하고 있습니다. MapReduce 1.0 에서는 MasterNode 의 역할을 JobTracker 에서...

Apache HDFS Command Guide (3.3.2.ver) HADOOP Basic Cli Commands Hadoop 에서 cli 명령어는 아래 두가지 커맨드를 사용할 수 있다. 가지 커맨드 중 마음에 드는 놈으로 사용하면 된다. 리눅스 커맨드와 매우 유사하여 사용하기 편리하다. # 기본 명령어 hadoop fs -help # 혹은 hd...

Apache Hadoop Apache Hadoop은 대량의 데이터를 저장하고 계산을 수행하기 위한 오픈소스 소프트웨어 프로그래밍 프레임워크 입니다. 이번 포스팅에서는 HADOOP이 여러 버전을 거쳐 발전해 오면서 어떤 변화들이 있었는지 알아보도록 하겠습니다. Hadoop Version 1 Main : HDFS + MAPREDUCE(...

Go/Golang - 5 SOLID principles 좋은 설계와 나쁜 설계 좋은 설계란 상호 결합도 가 낮고, 응집도 가 높은 설계를 말한다. 상호결합도가 낮다는 것은 모듈을 쉽게 떼어내서 다른곳에 붙여 사용할 수 있다는 뜻 응집도가 높다 는 말은 하나의 모듈이 의존적이지 않고, 독립적으로 자립한다는 뜻 이 좋은 설계 를 위한...

Go/Golang - Channel & Context Channel Channel 이란 무엇인가? Channel(채널) 이란 고루틴끼리 메세지를 전달받을 수 있는 메세지 큐를 의미한다. Channel 사용업 func square(wg *sync.WaitGroup, ch chan int) { // square goroutine은 빈 채널이...

Go/Golang - Concurrent Programming Go Routine GoRoutine 은 Go언어에서 관리하는 lightweight thread 이다. 그리고 이런 여러 GoRoutine 을 가지는 프로그램을 동시성 프로그래밍(Concurrent Programming)이라고 한다. 아래와 같은 방법으로 GoRoutine을 선언하게 되면...

Go/Golang - Error-Handling 에러 핸들링 기본적인 에러 반환 처리 (go bufio) func ReadFile(filename string) (string, error) { file, err := os.Open(filename) // 파일 열고 if err != nil { return "", err // 에러시 반환 }...

Go/Golang - Datastructure container package list container package 중 list를 구현하는 구조체 코드와 사용되는 함수는 다음과 같다. (참고로 go container list package는 소스코드를 공개하고 있으며, 쓰이는 요소는 다음과 같다.) // 리스트 요소 구조체 형태 // ...