[We-Co] SparkContext

안녕하세요. 위기의 코딩맨입니다.

오늘은 SparkConf()에 대해서 알아보도록 하겠습니다.

 

[ SparkContext ] 

SparkContext는 클러스터와 스파크 애플리케이션과의 연결을 관리하는 객체로 모든 스파크 애플리케이션은 반드시 SparkContext를 생성해야 합니다. 

스파크에서 사용하는 주요 객체와 RDD를 SparkContext를 이용하여 생성할 수 있습니다.

[출처] https://data-flair.training/blogs/learn-apache-spark-sparkcontext/

 

[Python SparkContext 생성]

from pyspark import SparkConf, SparkContext

 

conf = SparkConf()
sc = SparkContext(master="local", appName="RDDTest", conf=conf)

 

 

SparkContext는 생성할 때 스파크 동작에 필요한 설정들의 정보를 지정할 수 있습니다.

mastr 클러스터 마스터의 정보, appName은 애플리케이션의 이름은 필수적으로 지정해야하는 정보입니다.

master에 local은 스파크가 동작할 마스터 서버를 의미하며, local, local[3], local[*] 등으로 입력 가능한데

[] 안에는 사용할 스레드의 개수를 정의한다. local은 단일 스레드, 3은 3개, *은 가용한 cpu코어 수 만큼의 스레드를 의미합니다.

 

 

 

많은 환경 정보를 설정하기 위한 목적으로 사용되며, 마스터 서버, 애플리케이션 이름 정보 등을 포함해 애플리케이션 실행에 필요한 다양한 정보를 지정할때 사용됩니다.

 

오늘은 SparkContext에 대해 간단하게 알아보았습니다. 

앞으로 천천히 단계별로 Spark에 대해 공부해보도록 합시다.