Spark #0. 스파크 환경(pyspark) 구성하기

1. 자바, 스칼라, 아파치 스파크 설치

 

# 자바 설치
brew install --cask adoptopenjdk11

# 스칼라 설치
# 스칼라 언어를 사용한다면 필수로 설치
brew install scala

# 아파치 스파크 설치
brew install apache-spark

 

2. pyspark 설치

 

# 파이썬
pip install pyspark

 

3. pyspark 실행

 

# 터미널 
pyspark

 

 

스파크 실행 성공

 

터미널에 pyspark를 입력하면 위 이미지처럼 스파크가 실행됩니다.