EMR (Elastic Map Reduce) Hadoop은 병렬처리(PPM)와 Object-Storage(HDFS)를 의미한다. AWS는 병렬처리는 지원하지만 HDFS는 지원하지 않고자 했기때문에(지금은 지원) 데이터 저장소 보다는 프로세싱 엔진으로 생각하는 편이 좋다. 실습 1. EMR 에서 Spark 코드 실행하기 1. EMR...

실습 1. AWS LoadBalancers 1. VPC Wizard 통해 생성 - (kbi-0127-main-vpc) / 10.0.0.0/16 2. EC2 Instance 2대 생성 - (demo-vm-01,02) 3. 각 Instance 별로 서버 띄우기 - sudo yum install -y httpd - su...

Schema on Write vs Schema on Read Schema on Write : Schema on Read : NoSQL 이란? Schemaless, Schema-Free O(1) Unlimited Scale-out : 제약없는 확장이 가능하도록 key-value : String-Json 구조 document : 한 장의 데이터...

Story 1. Cloud, A programmable Resource Management A programmable Resource Management programmable : Virtualization, Automation Elastic (Scale-out) Available (HA) Resil...

필기 시험 준비 시험난이도 : 중 준비시간 : 약 10일 (평일 2시간, 주말 4시간) PART1 요약. 빅데이터 분석 기획 (기본개념) (상) 빅데이터 개요 및 활용 가트너 3V : Volume(규모), Variety(다양성), Velocity(속도), +Veracity(품질), +Value(가치) ...

SQLD ### 모델링이란 - 현실세계를 ### 데이터 모델링의 특징 1) 추상화(Abstraction) 2) 단순화(Simplification) 3) 명확화(Clarity) ### 데이터 모델링의 관점 1) 데이터 관점 2) 프로세스 관점 3) 데이터와 프로세스의 상관 관점 ### 데이터 모델링의 단계 1) 개념적 데이터 모...

Solution Architect Associate IAM (Identity and Access Management) IAM : IP대역 문제에서, 예를들어 10.100.100.0/24 라면 처음 4개와 마지막 IP는 AWS에서 사용하므로 사용할 수 없다. 0,1,2,3,255 는 AWS에서 예약해두었다. ...

ADsP 1️⃣ 데이터 이해 - ERP : 회사의 정보 뿐 아니라 공급망 관리, 고객의 주문정보 등 통합적으로 관리 SCM : 외부 업체와 시스템 연계하여 비용최적화 2️⃣ 데이터 분석 기획 - 빅데이터 4V : 가비 크다속투 - Value 비즈니스효과(Return) | Volume,Variety,Velocity 투자비용(investmen...

CTAS의 단점 원본 테이블의 속성들(DEFAULT) 이 사라진다. 이런 경우에는 단계를 나누어 진행한다. 구글 시트 연동하기 Google sheet -> RedShift table API & Airflow monitoring curl -X GET –user “airflow:airflow” http://local...

OLTP 테이블을 RedShift 로 복사하기 flowchart LR OLTP["`Production MySQL Tables (OLTP)`"] OLAP["`DataWareHouse AWS RedShift (OLAP)`"] OLTP --> OLAP 위와 같이 PRODUCTION TABLE 을 DW인 AW...