We-Co

안녕하세요. 위기의코딩맨 입니다. 오늘은 Structured Streaming에 대해 아주 간단하게 알아보도록 하겠습니다! Spark Streaming에 대해 먼저 알아보고 보시면 좋을것 같습니다. Spark Streaming [We-Co] Spark Streaming 안녕하세요. 오늘은 Spark Streaming에 대해서 간단하게 알아보도록 하겠습니다. [ Spark Streaming ] 지금까지 공부해온 Spark는 주어진 데이터를 읽고 처리하는 과정을 보여줬는데 Spark Streaming은 이 과정 we-co.tistory.com [ Structured Streaming ] 먼저 Streaming의 의미를 알아보면 시간의 흐름에 지속적으로 생성되는 Data의 의미를 갖고있습니다. 이렇게 지속적으..

안녕하세요. 오늘은 Spark Streaming에 대해서 간단하게 알아보도록 하겠습니다. [ Spark Streaming ] 지금까지 공부해온 Spark는 주어진 데이터를 읽고 처리하는 과정을 보여줬는데 Spark Streaming은 이 과정을 포함하고, 시간의 흐름에 따른 변화하는 데이터를 다루는 과정도 포함됩니다. 시간의 흐름의 변화라는 것은 과거에 해당하는 고정된 데이터를 사용하는 것이 아닌 현재와 미래에 생성되는 지속적으로 변화하는 데이터를 의미합니다. 많은 데이터 처리 방식은 일상적으로 배치처리를 진행합니다. 배치처리를 진행하는 작업들의 특징은 데이터 크기가 크고, 작업 시간도 오래걸리며, 작업 도중 에러를 반환하더라도 재작업을 통한 동일한 결과물이 아웃풋으로 나와야하는 경우가 많습니다. 배치 ..