We-Co

안녕하세요. 위기의 코딩맨입니다. 오늘은 paper with code의 사용법에 대해서 포스팅 해보겠습니다. 해당 사이트는 AI관련 논문을 소개하고, 성능과 코드 등을 확인할 수 있는 사이트입니다. 또한 해당 분야의 SOTA를 확인할 수 있습니다. SOTA에 관해서는 다음에 자세히 알아보도록 하겠습니다. 논문뿐만아니라, 다양한 Dataset도 확인할 수 있어 AI 개발자나 관심있는 분들은 필수로 알아야되는 사이트라고 생각합니다. ㅎㅎ Papers with Code - The latest in Machine Learning Papers With Code highlights trending Machine Learning research and the code to implement it. paperswith..

안녕하세요. 위기의코딩맨 입니다. 오늘은 Structured Streaming에 대해 아주 간단하게 알아보도록 하겠습니다! Spark Streaming에 대해 먼저 알아보고 보시면 좋을것 같습니다. Spark Streaming [We-Co] Spark Streaming 안녕하세요. 오늘은 Spark Streaming에 대해서 간단하게 알아보도록 하겠습니다. [ Spark Streaming ] 지금까지 공부해온 Spark는 주어진 데이터를 읽고 처리하는 과정을 보여줬는데 Spark Streaming은 이 과정 we-co.tistory.com [ Structured Streaming ] 먼저 Streaming의 의미를 알아보면 시간의 흐름에 지속적으로 생성되는 Data의 의미를 갖고있습니다. 이렇게 지속적으..

안녕하세요. 위기의코딩맨입니다. 오늘은 Spark Dataset에서 기본 제공되는 연산에대해 알아보도록 하겠습니다. Dataset이 제공하는 연산은 크게 4가지로 제공되는데, 첫번째는 기본 연산, 두번째는 타입 트랜스포메이션 연산, 세번째는 비타입 트랜스포메이션 연산, 마지막 액션 연산으로 나눌수 있습니다. scala> case class Person(name:String, age: Int, job:String) defined class Person scala> val row = Person("Person_1",5,"student") row: Person = Person(Person_1,5,student) scala> val row2 = Person("Person_2",10,"student") row2:..

안녕하세요. 위기의코딩맨 입니다. 오늘은 Dataset과 dataframe을 이용하여 단어 수를 카운트하는 예제를 작성해보겠습니다. 우선 코드를 작성하기 전에 pom.xml 파일을 설정해주셔야 합니다. org.apache.spark spark-sql_2.11 2.3.0 이제 코드를 작성하는데 단계별로 나눠서 진행하겠습니다. 1. SaprkSession 생성 2. SparkSession으로부터 Dataset 또는 Dataframe 생성 3. 생성된 Dataset 또는 Dataframe을 통한 데이터 처리 4. SaprkSession 종료 [ SparkSession 생성 ] scala> import org.apache.spark.sql.SparkSession import org.apache.spark.sql..

안녕하세요. 위기의코딩맨입니다. 오늘은 Spark에서 중요한 개념인 Dataset에 대해 간단하게 알아보도록 하겠습니다. [ DataSet ] Dataset 나오기 이전에 DataFrame이라는 클래스를 구현해서 언어와 상관 없이 사용하고 있었습니다. Dataset은 버전 Saprk 1.6에서 처음 소개되었으며, Java언어와 Scala언어에서만 사용이 가능했었습니다. 이때 버전에서는 Dataset이 DataFrame을 대체한다는 느낌이 없었기 때문에 두 가지 모두 사용했습니다. 그러나 Spark 2.0 버전부터 DataFrame 클래스가 Dataset 클래스로 통합되어 타입 별칭 기능을 가진 Scala 언어에서만 기존 방식 처럼 모두 사용가능 했지만 해당 기능이 없던 Java에서는 통합된 Dataset..