반응형 Spark SQL2 [We-Co] Spark SQL API 메서드(2) 안녕하세요. 위기의코딩맨입니다. 오늘은 API 메서드(2)로 API의 연산자를 더 알아보도록 하겠습니다. Spark SQL API(1) [We-Co] Spark SQL API 메서드(1) 안녕하세요. 위기의코딩맨입니다. 비타입 트랜스포메이션 연산은 데이터의 실제 타입을 사용하지 않은 변환 연산을 수행한다는 의미를 갖고있습니다. Spark에서 비타입 트랜스포메이션 연산을 we-co.tistory.com [ grouping(), grouping_id() ] Dataframe이 제공하는 연산 중, 소계를 구해주는 역할을 진행합니다. group으로 묶어서 해당 결과를 보여주는 역할을 하는데 예제로 설명해드리겠습니다. scala> case class Test(store: String, product: String.. 2021. 9. 13. [We-Co] Spark SQL API 메서드(1) 안녕하세요. 위기의코딩맨입니다. 비타입 트랜스포메이션 연산은 데이터의 실제 타입을 사용하지 않은 변환 연산을 수행한다는 의미를 갖고있습니다. Spark에서 비타입 트랜스포메이션 연산을 진행할때는 Row, Column, functions의 세가지 주제를 잘 이해해야합니다. org.apache.spark.sql.Row org.apache.spark.sql.Column org.apache.spark.sql.functions Spark에서 제공하는 API 3가지를 의미합니다. 중요한 점은 연산을 진행할때, 해당 데이터의 타입과 해당 API 타입과 다르면 오류를 반환하기 때문에 유의해야합니다. 유용하게 사용되는 API 몇가지 메서드들을 살펴보겠습니다. [ ===, !== ] 2개의 컬럼 값들이 같은지 판단하는 메.. 2021. 9. 12. 이전 1 다음 반응형
