Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- 홍대 맛집
- mllib
- 연남 맛집
- RDD
- r
- 부스트캠프
- 캐글
- 부스트클래스
- tensorflow 예제
- kaggle
- TensorFlow
- NLP
- Spark MLlib
- 위기의코딩맨
- spark
- AI Tech 준비과정
- pycharm
- yolo
- 서울 맛집
- DataSet
- Ai
- 맛집
- AI 엔지니어 기초 다지기
- Python
- 데이터 시각화
- 부스트캠프 ai tech 준비과정
- AI tech
- 연남동 맛집
- 자연어
- Transformer
Archives
- Today
- Total
반응형
목록dataset예제 (1)
반응형
We-Co
[We-Co] Spark Dataset,Dataframe을 이용한 단어 수 세기 예제
안녕하세요. 위기의코딩맨 입니다. 오늘은 Dataset과 dataframe을 이용하여 단어 수를 카운트하는 예제를 작성해보겠습니다. 우선 코드를 작성하기 전에 pom.xml 파일을 설정해주셔야 합니다. org.apache.spark spark-sql_2.11 2.3.0 이제 코드를 작성하는데 단계별로 나눠서 진행하겠습니다. 1. SaprkSession 생성 2. SparkSession으로부터 Dataset 또는 Dataframe 생성 3. 생성된 Dataset 또는 Dataframe을 통한 데이터 처리 4. SaprkSession 종료 [ SparkSession 생성 ] scala> import org.apache.spark.sql.SparkSession import org.apache.spark.sql..
Spark
2021. 9. 6. 14:09