Cloud-Data-Infra - (Day1)

Story 1. Cloud, A programmable Resource Management

A programmable Resource Management

• programmable : Virtualization, Automation
  • Elastic (Scale-out)
  • Available (HA)
  • Resilient (회복성)
• Resource : computing, Networ, Pass, DB … -> service
• Management : platform

DevOps : 기존에는 개발과 운영에 주안점이 있었다면 요즘은… DevSecOps -> AIDevSecOps -> MLOps -> NoOps … FinOps : 관리비용최적화(안쓸때는 끄는 등 최소과금 형태로 관리)

향후에는 AWS -> 부채가 심하다, 서비스가 너무 세분화되어있다. vs Azure -> 아직까지는 워크로드가 AWS로부터 많이 넘어오지 않았음

Story 2. NDIVIA DGX Server - A100 GPU

GPU와 GPU간의 메모리 참조 속도를 높이는 방법 NVIDIA 는 메모리 상태값을 참조하기 위한 새로운 프로토콜을 재정의함 (RDMA) -> 네트워크 카드를 이용해 메모리 참조 속도를 높여 상호 참조 속도를 높였다.

• 하지만 이걸 가능하게 하려면 네트워크가 빵빵해야 한다. InfiniBand 와 RoCE 라는 인터페이스를 사용하면 RDMA를 구현할 수 있다. 이건 Mellanox(NDIVA 자회사)라는 회사가 가지고 있다.

Oracle 은 RoCE로 HPC 를 구성하고 있다. AZure 은 InfiniBand로 HPC 를 구성하고 있다. AWS는 자체 개발한 HPC 를 구성하고 있다.

결국 NDivia 입장에서는 AWS는 옵션 밖으로 밀려나고 있다.

Story 2. Cloud WorkLoad

1) Micro Service -> 클라우드로 전이하기 위해서는 Cloud Native 화 해야한다. -> 클라우드 업체가 추천하는 형태. 결국 자기네 쪽으로 맞추라는 의미이다. 워크로드는 대부분 아래 3개 서비스로 넘어가고 있다.

• VirtualMachine (VM) -> EC2 : 일반적인 가상화 형태를 의미한다.
• Kubernetes (탄주, RedShift) : 시작하는 시간에서 5s 이하로 걸린다. 컨테이너 단위로 관리하므로 리소스를 더 잘게 나누어서 사용할 수 있다.
  • 리눅스, 네트워크에 대한 지식이 많이 필요하다.
  • 쿠버네티스 서비스의 경우에는 Vender Lock-in 이 거의 없고 AWS,Oracle,Azure 등이 거의 공통으로 서비스를 제공한다.
• Serverless (Amazon Lambda) : 사용자가 관리할 서버가 없다는 표현

2) Lift & Shift -> 이런 형태로 온프램에서 넘기고자 하면 클라우드 인프라로 구현할 수 없음, 따라서 클라우드 업체가 비추하는 형태이다.

Story 3.

InfraStructure as a Code -> IaC => Teraform(HashiCorp), Ansible(RedHat) -> 문서라는 입장에서 버전을 관리하도록 한다. Region 내 AZ 에서 DataCenter는 한국의 경우 SKT,KT,LG,삼성 등 데이터 센터에 colocation 형태로 들어가 있다. DB 에도 OLTP, ALAP 가 있는 것처럼 목적에 맞는 형태의 서비스를 사용해야 한다.

Object Storage (S3)

• HDFS (Pure Storage) : File 을 잘라 저장하고, 이에 대한 메타정보를 저장한다.
• S3 (Object Storage) : File 크기, format에 상관없이 잘개 쪼갠 단위(object)를 저장한다.
  • 완전관리형 클라우드 스토리지 서비스

DataMesh

• Kafka, CDC(관계형 데이터베이스에서 데이터 변화가 일어나면 캡쳐) 등을 통해 여러 On-premise, Multi-Cloud 로 부터 한 곳으로 데이터를 모은다. : data-pipeline

Security Group vs NACL

Modern Data Platform

Data Warehouse

Data Lake

Data Fabric

Data Lakehouse

Data Mesh

Big Data

Data Warehouse : OLTP(Online Transaction Processing) -> (ETL) -> ODS(Operational Data Store / Raw Data) -> (ETL) -> DW(Data Warehouse)

Data Warehouse(실시간성 강화): OLTP(Online Transaction Processing) -> (OGG:Oracle Golden Gate - CDC를 이용해서 빠르게 ODS로 적재한다) -> ODS(Operational Data Store / Raw Data) -> ( Micro-ETL : 짧게 돌린다) -> DW(Data Warehouse)

Data Warehouse(RealTime DW): OLTP(Online Transaction Processing) -> (OGG:Oracle Golden Gate - CDC를 이용해서 빠르게 ODS로 적재한다) -> ExaData( ODS,DW, SQL Based Micro ETL / Raw Data): ODS와 DW가 합쳐진 형태

Star Schema(중앙집중식으로 여러 테이블에서 데이터 모아서 중앙화) 가 모이면 이걸 SnowFlake 라고 한다.

ETL & E-LT : Transform 하는 곳이 Load 하는 서버에 함께 있으면 E-LT, 따로 떨어져 있으면 ETL ! OLAP vs OLTP RDW vs ADW

실습. VPC에 Public, Private Subnet 구성하고 Internet GateWay

1. VPC 생성 
    - (vpc-kbi-0127) / 10.0.0.0/16
2. Subnet 생성 
    - (vpc-kbi-0127-public-subnet-01) / 10.0.0.0/24 -> public-subnet 자동할당 IP 설정
    - bi-0127-private-subnet-01) / 10.0.1.0/24

3. Internet Gateway 생성 
    - (vpc-kbi-0127-igw) -> attatch to vpc
4. Route Table 생성 
    - (vpc-kbi-0127-public-rt , vpc-kbi-0127-private-rt)
5. Subnet 연결
    - (vpc-kbi-0127-public-rt -> associate -> public subnet-01)
    - (vpc-kbi-0127-private-rt -> associate -> private subnet-01)

6. IGW ROUTE 설정
    - (vpc-kbi-0127-public-rt -> route -> add route(anywhere -> igw))

7. NACL 생성 (kbi-0127-nacl) -> inbound rule 추가 
    - (100,200,300/HTTP,HTTPS,SSH), outbount rule 추가 (100/TCP allow 1024 - 65535)