1. 프로젝트 개요

1.1. 주제

1.2. 목표

1.3. 팀원 및 담당 업무

이름 담당 업무 Github
공통 데이터 수집 및 처리 전반적인 과정
장태수 스트리밍 데이터 수집·전처리(ETL, ELT, Spark) https://github.com/poriz
이서림 Dashboard, Data Catalog 생성 https://github.com/srlee056
박단이 ERD 설계, Lambda 적용, ELT DAG 작성 https://github.com/Danee12
이영호 게임 데이터 수집·전처리 (ETL, ELT, Spark) https://github.com/mediwind/
정헌수 AWS(Terraform) & GCP(Docker) Infra / Github Actions https://github.com/hunsoodev

1.4. 활용 기술 및 프레임워크

분류 기술
사용 언어 (Programming Language) Python, SQL
클라우드 서비스 (Cloud Service) GCP, AWS (Terraform)
데이터 베이스 (Database) AWS S3, AWS Redshift, AWS RDS(MySQL)
프로세싱 (Data Processing) Airflow, AWS Glue(Spark), AWS Athena, AWS Lambda
시각화 (Visualization) Grafana(dashboard service)
협업 도구 (Collaborative Software) GitHub, Notion, Slack

2. 프로젝트 진행 내용

2.1. 아키텍처

최종 프로젝트 아키텍처 설계.png

2.2. Infra

2.2.1. GCP