We-Co

안녕하세요. 위기의 코딩맨입니다. 오늘은 RDD의 filter 및 정렬 연산에 대해 알아보도록 하겠습니다. [ filter() ] 용어 그대로 내가 원하는 요소를 뽑아내는 함수입니다 scala> val rdd = sc.parallelize(1 to 5) scala> val result = rdd.filter(_>2) scala> print(result.collect.mkString(", ")) 결과를 확인해보면 3, 4, 5 가 출력되는 것을 확인할 수 있습니다. 1~ 5까지 숫자를 RDD에 넣어주고 2보다 큰 수를 result에 넣어주도록 filter()의 조건을 설정해주면 결과 값이 출력 됩니다. [ sortByKey() ] sortByKey() 함수는 키 값을 기준으로 RDD의 요소들을 정렬하는 연..

안녕하세요. 오늘은 파이썬에서 유용하게 사용하는 람다 형식에 대해서 알아보도록 하겠습니다. 밑에 코드와 같이 여러가지 함수를 만들어서 사용도 가능합니다. func = lambda x: x + 1 print(func(10)) 또는, 정해진 함수들 map(), reduce(), filter()을 사용하여 원하는 결과를 얻을 수 있습니다. [ Map() ] 첫번째로 map()함수를 알아보도록 하겠습니다. map() 함수는 첫번째를 함수로 인자로 받으며, 두번째는 리스트를 받습니다. 해당 map() 함수는 input을 건드려 원하는 값을 리스트로 반환하는 느낌이라고 생각하시면 됩니다. map(함수, 리스트) 파이썬에서 예제로 확인해보면 list(map(lambda x: x ** 2, range(4))) 해당 소..