본문 바로가기
반응형

Count2

[We-Co] Spark Dataset 액션연산 안녕하세요. 위기의코딩맨입니다. 오늘은 액션에 대해 간단하게 알아보고 액션 연산에 사용되는 함수들을 알아보도록 하겠습니다. Dataset이나 RDD는 트랜스포메이션 연산과 액션연산이 사용되며, 액션 연산이 실행될 때, 실제 연산이 실행됩니다. 액션 연산이 호출되어야만 트랜스포메이션 연산의 결과를 확인할 수 있습니다. scala> case class Person(name:String, age: Int, job:String) defined class Person scala> val row = Person("Person_1",5,"student") row: Person = Person(Person_1,5,student) scala> val row2 = Person("Person_2",10,"student") .. 2021. 9. 8.
[We-Co] Spark RDD 출력 연산 (1) 안녕하세요. 위기의코딩맨입니다. 오늘은 RDD의 출력 연산에 관해 알아보도록 하겠습니다. 관련 연산들이 많이 존재하여 첫번째와 두번째 나눠서 진행하도록 하겠습니다. [ first ] first는 말 그대로 RDD의 첫번째 인자를 가져오는 역할을 합니다. 스파크 셸 작업에서 트랜스포메이션의 수행 결과 등을 빠르게 확인하는 역할로 활용할 수 있습니다. scala> val rdd = sc.parallelize(List(3, 5, 1)) scala> val result = rdd.first result: Int = 3 scala> print(result) 결과를 확인해보면 3이 출력되는 것을 확인할 수 있습니다. [ take() ] take()는 RDD의 첫번째 요소로부터 n개 까지의 요소를 반환하는 메서드입니.. 2021. 9. 2.
반응형

티스토리툴바