데이터 AWS Athena에서 CTAS 및 dynamic partition insert 하기 airguy2022-08-24 원본 DB 테이블에서 데이터를 추스리거나 병합하여 새로운 테이블을 만드는 과정 중 많은...
데이터 SPARK를 HADOOP없이 클러스터로 구성해 보자 airguy2022-08-16 보통 SPARK와 HADOOP은 한 몸처럼 붙어 다니는데요. SPARK를 구동하기 위해서는1....
데이터 PySpark dataframe에서 UDF 사용하기 airguy2022-08-13 SPARK에서 dataframe을 다루다보면 종종 UDF(User Defined Functions)를 사용해야 하는 경우...
데이터 Athena 만으로 nested JSON을 파헤쳐 보자 airguy2022-08-13 JSON 데이터를 RDB의 테이블로 만들기 위해서는 json schema 그대로 nested 된 자료형을...