[Spark] Cluster mode vs Client mode

Spark Driver란?

애플리케이션 실행의 핵심 구성 요소로, Spark 애플리케이션의 전체 실행을 지휘하고 제어하는 역할을 한다. Spark Driver는 클러스터 내 작업의 분배와 실행 상태를 관리하며, 사용자로부터 애플리케이션 로직을 전달받아 클러스터와의 상호작용을 수행한다.

Client Mode(default)

• driver가 클러스터 외부에 있는 형태
• Application Master는 node manager에게 자원 요청만을 하고 Spark에서 사용중인 리소스를 표시
• 주로 개발 환경에서 디버깅 할 때 의미가 있는 형태
• 장점: 로컬 머신에서 실행되기 때문에 디버깅과 실시간 로그 모니터링이 용이하다.
• 단점: 클러스터의 자원을 효율적으로 사용하지 못할 수 있다.
  

  

Cluster Mode

• driver가 클러스터 내부에 있는 형태
• driver가 master상에서 동작 하기 때문에 리소스를 worker node에서 확인해야한다
• production 환경 개발 시 의미가 있다.
• 장점: 드라이버 프로그램이 클러스터의 노드에서 실행되므로 네트워크 지연이 적고, 클러스터 리소스를 더 잘 활용할 수 있다.
• 단점: 로컬 환경에서의 디버깅이 어려울 수 있다
  

  

차이 요약

특징	Cluster Mode	Client Mode
드라이버 위치	클러스터의 노드 내	로컬 머신
사용 시기	프로덕션 환경, 대규모 데이터 처리	개발, 테스트 및 디버깅
장점	네트워크 지연 최소화, 안정적 실행, 클러스터 리소스 활용	디버깅 및 실시간 로그 모니터링 용이, 개발 시 편리
제한 사항	디버깅이 어려울 수 있음	네트워크 의존성 높음, 자원 비효율적 사용 가능
사용 예시	장시간 배치 작업, 프로덕션 배포	코드 로직 검증, 실시간 모니터링 필요 시