Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- 위기의코딩맨
- Python
- Ai
- 연남 맛집
- Spark MLlib
- 연남동 맛집
- 맛집
- 데이터 시각화
- DataSet
- AI Tech 준비과정
- 홍대 맛집
- r
- tensorflow 예제
- AI tech
- NLP
- 부스트캠프
- spark
- RDD
- 서울 맛집
- Transformer
- mllib
- 캐글
- 부스트캠프 ai tech 준비과정
- 부스트클래스
- AI 엔지니어 기초 다지기
- pycharm
- kaggle
- yolo
- TensorFlow
- 자연어
Archives
- Today
- Total
반응형
목록foldByKey (1)
반응형
We-Co
[We-Co] Spark RDD 집계 연산
안녕하세요. 위기의코딩맨입니다. 오늘은 Spark RDD 집계와 관련된 연산들을 알아보도록 하겠습니다. [ reduceByKey() ] RDD의 구성이 키와 값으로 구성되어 있어야 사용가능합니다. 같은 키의 값들을 하나의 값으로 더해서 새로운 RDD를 생성하는 메서드입니다. val rdd = sc.parallelize(List("a","b","b")).map((_,1)) val result = rdd.reduceByKey(_ +_) print(result.collect.mkString(", ")) 결과 값은 (a,1), (b,2) 이유는 rdd의 인자 중 키 b가 2개 존재하며, 1의 인자를 갖고 있어 1+1 하여 b는 2의 출력 값을 얻게됩니다. [ foldBykey() ] RDD의 구성이 키와 값으로..
Spark
2021. 8. 26. 23:43