Jang's coding blog

1. 필요한 library 설치 DockerfileFROM apache/airflow:2.7.1-python3.11USER rootRUN apt-get update && \ apt-get install -y gcc python3-dev openjdk-11-jdk && \ apt-get clean# Set JAVA_HOME environment variableENV JAVA_HOME /usr/lib/jvm/java-11-openjdk-arm64USER airflowRUN pip install apache-airflow pyspark apache-airflow-providers-databricks 2. Docker-composeversion: '3'x-airflow-common: &airflow-..

참고링크: https://www.youtube.com/watch?v=pp_1_Ds1980#DockerfileFROM apache/airflow:2.7.1-python3.11USER rootRUN apt-get update && \ apt-get install -y gcc python3-dev openjdk-11-jdk && \ apt-get clean# Set JAVA_HOME environment variableENV JAVA_HOME /usr/lib/jvm/java-11-openjdk-arm64USER airflowRUN pip install apache-airflow apache-airflow-providers-apache-spark pyspark #docker compose versio..

1. SSH 생성하기 ssh-keygen -t rsa -b 4096 -C "your@email.com" *맨 처음 나오는 명령문에 ssh를 저장하려는 경로 설정 2. Github repo deploy key 설정 *deploy key 생성시 1번에서 만든 SSH의 경로에서 반드시 .pub 파일안에 있는 키를 입력해 줘야함 또한 allow write access로 체크해줄것 3. 쿠버네티스 Secret 생성 kubectl create secret generic airflow-git-ssh-secret \ --from-file=gitSshKey=/Users/jang-gyeonghun/.ssh/airflow_key \ --from-file=known_hosts=/Users/jang-gyeonghun/.ssh/..

1. Helm repo 등록 helm repo add apache-airflow https://airflow.apache.org 2. Kubernetes PV, PVC .yaml파일 만들기 # pv.yaml apiVersion: v1 kind: PersistentVolume metadata: name: airflow-local-dags-folder labels: type: local spec: storageClassName: manual capacity: storage: 2Gi accessModes: - ReadWriteOnce hostPath: path: "/Users/jang-gyeonghun/project_shop/dags" values.yaml 5. values.yaml 수정 및 적용 #이 부분들..

Airflow를 사용하여 데이터 파이프라인을 구축하기 위해 mysql과 연동시키는 작업을 하려고 했었다. 아직 docker-compose에 대한 개념이 완벽하지 않은 상황에서 Airflow, mysql에 대한 지식 모두 완벽하지는 않아서 이 연동을 구축하는 데에 다양한 오류를 만나면서 대략 12시간 만에 구글링을 통해 연동을 성공시켰다... 이 글이 docker로 Airflow+mysql을 구축하려는 사람에게 도움이 되었으면 좋겠다. 1. 우선 docker-compose.yaml을 내가 설치하려는 폴더에 만들어준 후 터미널로 이 폴더에 진입한 후 아래의 명령어를 입력해주자. $ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-..