반응형 reduce2 [We-Co] Spark RDD 출력 연산 (1) 안녕하세요. 위기의코딩맨입니다. 오늘은 RDD의 출력 연산에 관해 알아보도록 하겠습니다. 관련 연산들이 많이 존재하여 첫번째와 두번째 나눠서 진행하도록 하겠습니다. [ first ] first는 말 그대로 RDD의 첫번째 인자를 가져오는 역할을 합니다. 스파크 셸 작업에서 트랜스포메이션의 수행 결과 등을 빠르게 확인하는 역할로 활용할 수 있습니다. scala> val rdd = sc.parallelize(List(3, 5, 1)) scala> val result = rdd.first result: Int = 3 scala> print(result) 결과를 확인해보면 3이 출력되는 것을 확인할 수 있습니다. [ take() ] take()는 RDD의 첫번째 요소로부터 n개 까지의 요소를 반환하는 메서드입니.. 2021. 9. 2. [We-Co] 람다 lambda 안녕하세요. 오늘은 파이썬에서 유용하게 사용하는 람다 형식에 대해서 알아보도록 하겠습니다. 밑에 코드와 같이 여러가지 함수를 만들어서 사용도 가능합니다. func = lambda x: x + 1 print(func(10)) 또는, 정해진 함수들 map(), reduce(), filter()을 사용하여 원하는 결과를 얻을 수 있습니다. [ Map() ] 첫번째로 map()함수를 알아보도록 하겠습니다. map() 함수는 첫번째를 함수로 인자로 받으며, 두번째는 리스트를 받습니다. 해당 map() 함수는 input을 건드려 원하는 값을 리스트로 반환하는 느낌이라고 생각하시면 됩니다. map(함수, 리스트) 파이썬에서 예제로 확인해보면 list(map(lambda x: x ** 2, range(4))) 해당 소.. 2021. 7. 30. 이전 1 다음 반응형
