반응형 spark sc1 [We-Co] SparkContext 안녕하세요. 위기의 코딩맨입니다. 오늘은 SparkConf()에 대해서 알아보도록 하겠습니다. [ SparkContext ] SparkContext는 클러스터와 스파크 애플리케이션과의 연결을 관리하는 객체로 모든 스파크 애플리케이션은 반드시 SparkContext를 생성해야 합니다. 스파크에서 사용하는 주요 객체와 RDD를 SparkContext를 이용하여 생성할 수 있습니다. [Python SparkContext 생성] from pyspark import SparkConf, SparkContext conf = SparkConf() sc = SparkContext(master="local", appName="RDDTest", conf=conf) SparkContext는 생성할 때 스파크 동작에 필요한 설.. 2021. 8. 11. 이전 1 다음 반응형
