본문 바로가기
반응형

cache2

[We-Co] Spark Dataset의 기본연산 안녕하세요. 위기의코딩맨입니다. 오늘은 Spark Dataset에서 기본 제공되는 연산에대해 알아보도록 하겠습니다. Dataset이 제공하는 연산은 크게 4가지로 제공되는데, 첫번째는 기본 연산, 두번째는 타입 트랜스포메이션 연산, 세번째는 비타입 트랜스포메이션 연산, 마지막 액션 연산으로 나눌수 있습니다. scala> case class Person(name:String, age: Int, job:String) defined class Person scala> val row = Person("Person_1",5,"student") row: Person = Person(Person_1,5,student) scala> val row2 = Person("Person_2",10,"student") row2:.. 2021. 9. 9.
[We-Co] Spark RDD 출력 연산 (2) 안녕하세요. 위기의코딩맨입니다. 오늘은 RDD 출력연산 2번째 시간입니다!! Spark RDD 출력연산(1) [We-Co] Spark RDD 출력 연산 (1) 안녕하세요. 위기의코딩맨입니다. 오늘은 RDD의 출력 연산에 관해 알아보도록 하겠습니다. 관련 연산들이 많이 존재하여 첫번째와 두번째 나눠서 진행하도록 하겠습니다. [ first ] first는 말 그대 we-co.tistory.com 바로 시작해보겠습니다. [ aggregate() ] reduce()와 fold() 메서드는 입출력이 모두 같은 타입으로 진행해야한다는 제약조건이 있지만, aggregate()는 그러한 제약조건이 걸려있지않습니다. 간단하게 알아보면 총 3개의 인자를 사용합니다. 첫번째로는 fold()와 유사하게 초깃값을 지정해주고, .. 2021. 9. 2.
반응형