[airflow]Kubernetes dags github 연동

1. SSH 생성하기

ssh-keygen -t rsa -b 4096 -C "your@email.com"

*맨 처음 나오는 명령문에 ssh를 저장하려는 경로 설정

 

2. Github repo deploy key 설정

*deploy key 생성시 1번에서 만든 SSH의 경로에서 반드시 .pub 파일안에 있는 키를 입력해 줘야함 또한 allow write access로 체크해줄것

3.  쿠버네티스 Secret 생성

kubectl create secret generic airflow-git-ssh-secret \
  --from-file=gitSshKey=/Users/jang-gyeonghun/.ssh/airflow_key \
  --from-file=known_hosts=/Users/jang-gyeonghun/.ssh/known_hosts \
  --from-file=id_ed25519.pub=/Users/jang-gyeonghun/.ssh/airflow_key.pub \
  -n airflow

 

앞서 ssh로 생성한 폴더를 경로로 설정한다. 또한 나는 namespace를 airflow로 사용하기 때문에 -n airflow 옵션을 넣어줬다 만약 네임스페이스를 사용하지 않는다면 넣지 말자.

등록확인

 

4.  values.yaml 편집하기

  #변경해야 하는 부분 repo는 SSH://git@형식으로 
  dags:
  	gitSync:
        enabled: true
        repo: ssh://git@github.com/kyounghunJang/airflow_dags.git
        branch: main
        subPath: "" 
        credentialsSecret: git-credentials
        sshKeySecret: airflow-git-ssh-secret

 

 

5.결과확인 

정상적으로 적용된 모습을 확인할 수 있음