[We-Co] Structured Streaming - Spark

안녕하세요. 위기의코딩맨 입니다.

오늘은 Structured Streaming에 대해 아주 간단하게 알아보도록 하겠습니다!

 

Spark Streaming에 대해 먼저 알아보고 보시면 좋을것 같습니다.

Spark Streaming

[We-Co] Spark Streaming

 

[ Structured Streaming ]

먼저 Streaming의 의미를 알아보면 

시간의 흐름에 지속적으로 생성되는 Data의 의미를 갖고있습니다.

 

이렇게 지속적으로 쌓이는 Data를 처리하는 일반적인 방법으로는

특정 시간동안 모아두었다가 처리하는 식을 반복 처리합니다.

먼저, Spark Streaming은 Data를 일정한 구간, 간격을 두어 배치로 처리를 진행하고

Struectured Streaming은 지속적으로 생성되는 Data를 하나의 Dataset으로 생각하여 처리하는 방법을 진행합니다.

 

Struectured Streaming를 사용하면 "무한히 지속적으로 증가하는 Dataset"를 자주 듣게 된다고 합니다.

Data가 생성될 때마다 필요한 처리를 진행하고, 처리 결과를 합쳐 점진적으로 처리 방법을 진행합니다.

Data간의 병합 작업은 Spark에서 진행해줍니다.

 

또한, Struectured Streaming은 Streaming Data를 무한한 크기를 갖고있는 Dataset, Dataframe으로 처리되어,

Dataset, Dataframe의 API를 그대로 사용할 수 있습니다.

 

 

오늘은 정말 간단하게 Structured Streaming의 Data 처리하는 방법, Spark Streaming과의 차이에 대해서 알아보았습니다.

다음에는 Structured Streaming에서 사용하는 기본적인 연산들을 살펴보도록 하겠습니다.