[We-Co] Spark to_json(), from_json()
안녕하세요. 위기의코딩맨입니다. 오늘은 스ㅏ크 2.1.0 이후 버전부터 to_json(), from_json()을 이용하여 Column에서 json 문자열로 처리할 수 있도록 되었습니다. [ to_json() ] scala> val r1 = ("S2","note",20,2000) scala> val r2 = ("S2","bag",10,5000) scala> val df = List(r1,r2).toDF("store_nm","prod_nm","amount", "price") scala> df.show +--------+-------+------+-----+ |store_nm|prod_nm|amount|price| +--------+-------+------+-----+ | S2| note| 20| 2000..
2021. 9. 15.
[We-Co] Spark Dataset의 기본연산
안녕하세요. 위기의코딩맨입니다. 오늘은 Spark Dataset에서 기본 제공되는 연산에대해 알아보도록 하겠습니다. Dataset이 제공하는 연산은 크게 4가지로 제공되는데, 첫번째는 기본 연산, 두번째는 타입 트랜스포메이션 연산, 세번째는 비타입 트랜스포메이션 연산, 마지막 액션 연산으로 나눌수 있습니다. scala> case class Person(name:String, age: Int, job:String) defined class Person scala> val row = Person("Person_1",5,"student") row: Person = Person(Person_1,5,student) scala> val row2 = Person("Person_2",10,"student") row2:..
2021. 9. 9.
[We-Co] Spark Dataset 액션연산
안녕하세요. 위기의코딩맨입니다. 오늘은 액션에 대해 간단하게 알아보고 액션 연산에 사용되는 함수들을 알아보도록 하겠습니다. Dataset이나 RDD는 트랜스포메이션 연산과 액션연산이 사용되며, 액션 연산이 실행될 때, 실제 연산이 실행됩니다. 액션 연산이 호출되어야만 트랜스포메이션 연산의 결과를 확인할 수 있습니다. scala> case class Person(name:String, age: Int, job:String) defined class Person scala> val row = Person("Person_1",5,"student") row: Person = Person(Person_1,5,student) scala> val row2 = Person("Person_2",10,"student") ..
2021. 9. 8.
