반응형 accumulator1 [We-Co] Spark Accumulator 안녕하세요. 위기의 코딩맨입니다. 오늘은 Accumulator에 대해 간단하게 알아보도록 하겠습니다. 브로드캐스트 변수는 읽기 동작을 행하는 것이라면 Accumulator은 쓰기 동작을 위한것으로 생각하시면됩니다. 데이터 분석을 위해 미리 기록할 형식을 만들어 놓고 그 형식에 맞춰서 기록하고 분석하는 것입니다. Accumulator을 사용하시려면 org.apache.spark.util.AccumulatorV2를 생성하여 사용해야합니다. scala> import org.apache.spark.util.AccumulatorV2 import org.apache.spark.util.AccumulatorV2 scala> val acc1 =sc.longAccumulator("invalidFormat") acc1: .. 2021. 9. 3. 이전 1 다음 반응형