We-Co

안녕하세요. 위기의 코딩맨입니다. 오늘은 하이퍼 파라미터를 설정하는 방법들을 알아보도록 하게습니다. [ Grid Search ] 모델의 가장 적합한 하이퍼 파라미터를 찾기 위해서 모든 값들의 조합을 이용하여 가장 높은 성능의 하이퍼 파라미터를 찾는 탐색 방법입니다. maxD = [ 1, 3 ,5 ,7, 9 ] colS = [ 0.5, 0.7, 0.9 ] 1 = [ 0,5 ] , 1 = [ 0. 7 ] 1 = [ 0. 9 ] .... 9 = [ 0.7 ] 9 = [ 0.9 ] 총 5 * 3, 즉 15개의 조합을 이용하여 최적의 성능을 찾는 방법입니다. 해당 방법은 모든 조합을 탐색하지만 Random Search 방법을 사용하면 설정한 조합만큼 꺼낼 수 있습니다. 예를들면, Random Search의 값을 ..

안녕하세요. 위기의 코딩맨입니다. 오늘은 pyspark의 xgboost의 예제를 한번 풀어보도록 하겠습니다. 예제는 Databricks의 공식 문서를 참고하여 작성했습니다. databricks 문서 xgboost-pyspark - Databricks docs.databricks.com 해당 문제는 XGBoost 및 MLlib 파이프라인을 사용한 회귀 분석의 예제입니다. 또한, 자전거 공유 데이터셋을 사용했으며, 해당 데이터를 통해 시간당 자전거 대여 횟수를 예측하는 문제입니다. 즉, 많은 분야에 응용할 수 있는 수요를 예측하는 예제입니다. 데이터 셋은 UCI Machine Learning Repository에서 가져왔으며, 2011~2012년에 캐피털 자전거 공유 시스템의 자전거 대여 정보가 포함되어 있..

안녕하세요. 위기의 코딩맨입니다. 오늘은 KAKAO BLIND RECRUITMENT에 코팅 테스트 문제로 나온 주차요금 계산 문제 풀이를 해보도록 하겠습니다. [ 문제 ] 입차 출차를 확인해서 기본적인 주차 요금을 계산하는 문제입니다. 테스트 케이스 데이터들의 양식은 리스트 형태로 제공됩니다. 저는 python deque를 사용하였으며 입차, 출차를 나누어서 코딩을 진행했습니다. 먼저 테스트 케이스를 나누어 저장합니다. from collections import deque import math feed = [180, 5000, 10, 600] b_time = feed[0] b_money = feed[1] b_min = feed[2] b_min_money = feed[3] info_car = ["05:34..

안녕하세요. 위기의 코딩맨입니다. 오늘은 간단하게 ML PipeLine에 대해서 알아보고 Spark의 공식 문서에서 나오는 pipeline 예제 풀어보도록 하겠습니다. PipeLine [We-Co] Spark MLlib PipeLine(파이프라인) 안녕하세요. 위기의코딩맨입니다. 오늘은 MLlib의 파이프라인에 대해 간단하게 알아보도록 하겠습니다. [ PipeLine ] 데이터를 수집하고, 가공, 추출, 적용, 평가, 배포 등 일련의 작업을 반복하며 머 we-co.tistory.com 위에 링크는 예전에 작성했던 PipeLine에 대해서 정리한 것입니다. 참고하셔도 될듯합니다. [ PipeLine 예제 ] 문제 출처 ML Pipelines - Spark 3.2.1 Documentation spark.ap..

안녕하세요. 위기의 코딩맨입니다. 오늘은 Databricks를 이용하여 캐글의 Titanic Data를 이용하여 Data를 시각화 하는 방법에 대해서 알아보도록 하겠습니다. 먼저 데이터를 받아보도록 하겠습니다. 캐글 홈페이지에 접속해서 로그인 하신 후, competitions에 들어가셔서 밑에 Titanic을 클릭해주세요. [ Kaggle ] Data 탭으로 이동하시면 밑에 gender_su...test...train... 데이터들을 다운 받도록 합니다. [ Databicks ] Data Import를 통해서 다운 받은 데이터를 저장해야합니다. 해당 데이터는 "/FileStore/tables/파일명"으로 경로가 설정됩니다. 이제 코드로 한번 데이터가 잘 들어왔는지 보도록 하겠습니다. titanic_spa..

안녕하세요. 위기의 코딩맨입니다. 오늘은 Apache Spark 제작자가 설립한 회사에서 제작한 Databricks에 대해서 알아보도록 하겠습니다. 클러스터 관리와 IPython 스타일 노트북을 제공하며, Spark 작업을 웹 기반 플랫폼을 제공합니다. 지금까지 Cmd를 켜서 진행을 해보았는데 웹 기반 플랫폼이 있었다니..! 2주간 무료로 사용 가능하며, 유료로 제공된다고 합니다. Free Databricks Training을 클릭해서 들어갑니다. 해당 정보를 입력해서 가입하도록 합니다. 가입을 진행하면 입력한 Email로 인증 메일이 전송됩니다. 인증을 완료하고, 해당 사이트를 들어가보면 NoteBook - 작업을 위한 노트북을 생성하는 곳입니다. Data Import - 작업을 위한 데이터를 가져오는..

안녕하세요. 위기의 코딩맨입니다. 오늘은 백준 2178번 문제 미로 탐색 문제를 풀어보도록 하겠습니다. https://www.acmicpc.net/problem/2178 2178번: 미로 탐색 첫째 줄에 두 정수 N, M(2 ≤ N, M ≤ 100)이 주어진다. 다음 N개의 줄에는 M개의 정수로 미로가 주어진다. 각각의 수들은 붙어서 입력으로 주어진다. www.acmicpc.net 문제를 이해하셨다면 input으로 데이터를 받아야합니다. 4 6 101111 101010 101011 111011 4,6을 A,B로 받아주도록 합니다. A, B = map(int,input().split()) 그리고 밑에 좌표에 해당 값들을 넣어주어야 합니다. graph = [] for _ in range(A): graph.a..

안녕하세요. 위기의 코딩맨입니다. 오늘은 리스트 상하좌우 이동하는 알고리즘에 대해 알아보도록 하겠습니다. 가끔 코딩 테스트를 진행할 때, 많이 사용되는 알고리즘이므로 알아두시면 좋습니다. [ Code ] input_num_ = 5 input_List = ["R","R","R","U","D","D"] xd = [0,0,-1,1] yd = [1,-1,0,0] x,y = 1, 1 list_ = ["R", "L", "U", "D"] for input_ in input_List: for i in range(len(list_)): if input_ == list_[i]: nx = x + xd[i] ny = y + yd[i] if nx input_num_: continue x, y = nx, ny 문제를 보시면 in..