Open Weather API Primary Key Uniqueness 보장하는 방법?? Upsert(다음시간에) BackFill (데이터 엔지니어의 삶의 질을 결정한다..!!) Incremental Update 가 실패하는 경우 가능하면 Full-Refresh 를 하는 것이 좋다. ...

TRANSACTION Atomic 하게 실행되어야 하는 SQL 들을 묶어서 하나의 작업처럼 처리하는 방법 Transaction Isolation Level 은 Read Commited 가 디폴트 세팅 python 의 경우, try/catch 와 같이 사용하는 것이 일박적이며, 끝에 raise를 붙여준다. Airflow TestCode...

ETL : Extract, Transform, Load Data Pipeline, ETL, Data Workflow, DAG(Directed Acyclic Graph) ELT : Data-warehouse 내에 이미 있는 내부 데이터를 조작해서 요약된 데이터를 만드는 것. Data Lake vs Data Warehouse Data L...

The way how to use Chat-GPT in SQL 아래와같은두개의테이블이있어. CREATE TABLE raw_data.user_session_channel ( userid integer , sessionid varchar(32), channel varchar(32), Primary key sessioni...

Data Organization Data Engineering Team Managing Data Warehouse Writing and Managing Data-Pipelines Data-Pipeline == ETL(Extract, Transform, Load) == Data Jo...

이슈 요약 보고서 양식 1. 제목 (Title) : 요약 보고서의 제목을 기재합니다. 일반적으로 "이유 요약 보고서"로 시작하며, 이어서 문제나 이슈의 간략한 설명을 포함합니다. 2. 이슈 식별 번호 (Issue Identification Number) : 해당 이슈에 대한 고유한 식별 번호를 기록합니다. 이는 이슈 추적 시스템에서 사용됩니다. ...

This post is to show Markdown syntax rendering on Chirpy, you can also use it as an example of writing. Now, let’s start looking at text and typography. Headings H1 - heading H2 - heading H3 - ...