반응형 collect_list()1 [We-Co] Spark SQL API 메서드(1) 안녕하세요. 위기의코딩맨입니다. 비타입 트랜스포메이션 연산은 데이터의 실제 타입을 사용하지 않은 변환 연산을 수행한다는 의미를 갖고있습니다. Spark에서 비타입 트랜스포메이션 연산을 진행할때는 Row, Column, functions의 세가지 주제를 잘 이해해야합니다. org.apache.spark.sql.Row org.apache.spark.sql.Column org.apache.spark.sql.functions Spark에서 제공하는 API 3가지를 의미합니다. 중요한 점은 연산을 진행할때, 해당 데이터의 타입과 해당 API 타입과 다르면 오류를 반환하기 때문에 유의해야합니다. 유용하게 사용되는 API 몇가지 메서드들을 살펴보겠습니다. [ ===, !== ] 2개의 컬럼 값들이 같은지 판단하는 메.. 2021. 9. 12. 이전 1 다음 반응형