반응형 spark 집계1 [We-Co] Spark RDD 집계 연산 안녕하세요. 위기의코딩맨입니다. 오늘은 Spark RDD 집계와 관련된 연산들을 알아보도록 하겠습니다. [ reduceByKey() ] RDD의 구성이 키와 값으로 구성되어 있어야 사용가능합니다. 같은 키의 값들을 하나의 값으로 더해서 새로운 RDD를 생성하는 메서드입니다. val rdd = sc.parallelize(List("a","b","b")).map((_,1)) val result = rdd.reduceByKey(_ +_) print(result.collect.mkString(", ")) 결과 값은 (a,1), (b,2) 이유는 rdd의 인자 중 키 b가 2개 존재하며, 1의 인자를 갖고 있어 1+1 하여 b는 2의 출력 값을 얻게됩니다. [ foldBykey() ] RDD의 구성이 키와 값으로.. 2021. 8. 26. 이전 1 다음 반응형