We-Co

안녕하세요. 위기의 코딩맨입니다.벌써 해당 과정이 2주차가 마무리되고있습니다. 실질적으로 모든 주의 강의들이 오픈되어있어서 먼저 진행하시는 분들도 계실것 같은데저는 일단 주를 따르면서 진행하고 있습니다. 본업도 있기에..ㅎㅎㅎ 이번 2주차에선 공부한 내용을 정리하면서 강의를 들었습니다.크게 Feature, 하이퍼 파라미터, 앙상블에 대해서 정리하고코드 실습을 진행했습니다. [ 2주차 내용 ]2주차때 공부한 내용을 정리해보도록  하겠습니다. Feature - 원본 데이터로써 도메인 지식 바탕으로 문제의 해결과 모델에 적합한 형식으로 변환하는 작업, 타겟 레이블들이 차이가 심한 것이 모델에서 사용하기 좋은 Feature, 중요도를 더 자세하게 나타낼수있습니다. Ex) Total-sum-Feature, Qua..

안녕하세요. 위기의 코딩맨입니다. 오늘은 pyspark의 xgboost의 예제를 한번 풀어보도록 하겠습니다. 예제는 Databricks의 공식 문서를 참고하여 작성했습니다. databricks 문서 xgboost-pyspark - Databricks docs.databricks.com 해당 문제는 XGBoost 및 MLlib 파이프라인을 사용한 회귀 분석의 예제입니다. 또한, 자전거 공유 데이터셋을 사용했으며, 해당 데이터를 통해 시간당 자전거 대여 횟수를 예측하는 문제입니다. 즉, 많은 분야에 응용할 수 있는 수요를 예측하는 예제입니다. 데이터 셋은 UCI Machine Learning Repository에서 가져왔으며, 2011~2012년에 캐피털 자전거 공유 시스템의 자전거 대여 정보가 포함되어 있..