[feat] 항공 운항 데이터 daily ETL dag 추가 #17
Description
어떤 기능인가요?
항공 운항 데이터를 매일 수집하고 glue job으로 변환한 후 snowflake raw_data.flight_operations 테이블에 적재
작업 상세 내용
- 실제 실행일 이전 날의 데이터를 항공운항 정보 홈페이지에서 파일 다운로드 (selenium 웹 자동화)
- 다운로드 된 xlsx 형식의 파일을 parquet으로 변환 후 s3 team5-s3/raw_data/flight_operations 경로에 저장
- 저장된 파일들을 glue job을 통해 transform 후 s3 team5-s3/transfrom_data/flight_operations/{target_date} 경로에 저장
- transform 과정에는 현재 보고있는 4개의 공항(삿포로, 도쿄/나리타, 간사이, 후쿠오카), 여객 항공편, 출발/도착/지연/취소 현황만 필터링
- S3 transform 경로에 저장된 파일을 snowflake TEAM5.RAW_DATA.Flight_operations 테이블에 이어서 적재