구글 클라우드 데이터 퓨전 기반 데이터 ETL 파이프라인 개발

이 글은 구글 클라우드 데이터 퓨전 기반 데이터 ETL 파이프라인을 개발하는 방법을 간략히 기술한다.

준비

Google Cloud Console에서 프로젝트를 선택하거나 만든다.

• Creating and managing projects  |  Resource Manager Documentation  |  Google Cloud

Google Cloud Console에서 인스턴스 페이지를 열고, View instance를 클릭하면 Cloud data fusion 웹이 열린다. 

사용하기

Studio 페이지를 이동해, Source를 선택하고, Cloud Storage 노드를 확인한다. 

이 중에 Properties를 선택한다. 

더블클릭하여, 필요한 속성을 입력한다. 

Transform 드롭다운 메뉴에서 랭글러를 선택한다. 그리고, 각 노드를 드래그&드롭한다. 

Sink 드롭다운 메뉴에서 Cloud Storage를 선택한다. 그리고 적절히 속성을 입력한다. 

이러한 방식으로 데이터 ETL(Extract, Transform, Load)를 처리할 수 있다. 

레퍼런스

• Design and create a reusable pipeline  |  Cloud Data Fusion Documentation  |  Google Cloud
• Cloud Data Fusion을 사용하여 데이터 파이프라인 만들기  |  Cloud Data Fusion 문서  |  Google Cloud