들어가며 Apache Spark 는 원래 Hadoop YARN 환경에서 동작하도록 설계되었지만 최근에는 Kubernetes(K8s) 환경에서도 많이 사용되고 있습니다. 기존에 리소스 관리도구로 YARN 이 잘 갖추어져 있는데 왜 spark on k8s 가 필요하게 되었을까요? 대표적으로 아래 이유들을 찾아볼 수 있었습니다. Spark 실행...

들어가며 ML 모델링을 하는데 있어 어떤 특징(Feature) 를 중점적으로 학습하는지는 성능에 지대한 영향을 미칩니다. 이를 위해 EDA (Exploratory Data Analysis) 라는 과정을 통해 선제적으로 데이터를 분석하고 시각화하여 전반적인 데이터 전처리 전략을 결정하기도 합니다. 하지만 이 Feature 가 수만개 혹은 그 이상...

들어가며 이전 포스팅 에서는 Hive on MR 환경에서의 Hive 성능 튜닝 과정을 알아봤는데요, 이번 Apache Hive 성능 개선 톺아보기 2탄에서는 이어서 Hive의 또 다른 엔진인 Apache Tez 에 대한 개요와설치 및 빌드 방법, 그리고 Tez 에서의 성능 개선 방안에 대해 알아보도록 하겠습니다. Hive on Tez 시작하...

들어가며 이번 포스팅에서는 Apache Hive™ 의 성능을 개선하기 위한 여러 방법을 알아보고 정리하는 시간을 가져보려고 합니다. 공식 문서에서 확인할 수 있듯이, Apache Hive는 분산 스토리지에서 대용량의 데이터는 SQL로 질의하기 위한 소프트웨어 입니다. The Apache Hive™ data warehouse software...

들어가며   가을이 왔다는 것을 점차 피부로 체감하고 있는 요즘입니다. 개인적으로 회고하는 시간이 익숙하지는 않지만 이렇게 지난 시간을 돌아보고 앞으로에 대한 계획을 글로 정리해 볼 수 있다는 것은 참 감사한 일인 것 같습니다. 이번 포스팅에서는 많은 일들이 있었던 2024년의 1분기 ~ 3분기를 되돌아보고 앞으로의 계획을 정리해보는 시간을 가져...

들어가며 WireGuard 는 간단하고 빠르며 보안이 강한 최신 VPN 프로토콜입니다. 최소한의 코드로 높은 성능과 쉽게 설정 가능한 VPN 연결을 제공합니다. 이번 포스팅에서는 WireGuard를 통해 간편하게 홈 네트워크에 접속하는 VPN 환경을 구성하도록 하겠습니다. VPN이란? VPN이란 가상 사설 네트워크를 의미하는 Virtua...

들어가며 이번 포스팅은 빅데이터 분석기사 시험을 준비하며 공부했던 내용들을 공유하는 글입니다. 시험난이도 : 중 준비시간 : 약 10일 (평일 2시간, 주말 4시간) [ 필기 시험 준비내용 ] PART1. 빅데이터 분석 기획 (기본개념) (상) 빅데이터 개요 및 활용 가트너 3V : Volume(규모)...

이전 포스팅 확인하기 모바일 청첩장 링크 들어가며 이번 포스팅에서는 강의에서 배운 Flutter 로 모바일 청첩장을 제작했던 과정이 머릿속에서 완전히 지워지기 전에 :) 짧게나마 기록으로 남기고자 합니다. 바로 본론으로 들어가겠습니다. 1. 개발환경 저는 Flutter Web 으로 개발하였고, IDE 툴은 android stud...

본 포스팅은 글또 9기 활등 중 Udemy 로부터 강의 쿠폰을 지원받아 작성되었습니다. 【기획부터 개발까지 한방에 도전하는 플러터(Flutter) 수익형 기초 앱 개발 이번 포스팅은 ‘글또 9기’ 활동 중 일부로, Udemy에서 지원해주신 쿠폰으로 수강한 기획부터 개발까지 한방에 도전하는 플러터(Flutter) 수익형 기초 앱 개...

본 포스팅은 글또 9기 활등 중 Udemy 로부터 강의 쿠폰을 지원받아 작성되었습니다. 【한글자막】 Java 멀티스레딩, 병행성 및 성능 최적화 이번 포스팅은 ‘글또 9기’ 활동 중 일부로, Udemy에서 지원해주신 쿠폰으로 수강한 【한글자막】 Java 멀티스레딩, 병행성 및 성능 최적화 강의에 대한 후기 글 입니다. 멀티스레드의 ...