반응형 Pipeline3 [We-Co] Jenkins, Gitlab 연동(Docker) [3] 안녕하세요. 위기의 코딩맨입니다.이제 Jenkins, Gitlab 연동의 마지막 시간입니다. 저번 포스팅에서 둘이 연결 테스트만 진행했지만, 이번에 기본적인 파이프라인을 생성해보도록 하겠습니다. 포스팅의 [2]의 내용을 확인해보고싶으시면 아래를 확인해주세요. [We-Co] Jenkins, Gitlab 연동(Docker) with Unix [2]안녕하세요. 위기의 코딩맨입니다.gitlab과 jenkins 연동 테스트에 관한 2번째 포스팅입니다.전 포스티에서 깃랩과 젠킨스 설치를 진행했는데 이제 연동 테스트를 진행해보도록 하겠습니다. 설치we-co.tistory.com [ Jenkins, GitlLab ]Jenkins에 접속하고,왼쪽 상단에 new item(새로운 Item) 항목을 클릭해주세요. 그럼 Fre.. 2025. 2. 7. [We-Co] Spark - ML PipeLine 예제 안녕하세요. 위기의 코딩맨입니다. 오늘은 간단하게 ML PipeLine에 대해서 알아보고 Spark의 공식 문서에서 나오는 pipeline 예제 풀어보도록 하겠습니다. PipeLine [We-Co] Spark MLlib PipeLine(파이프라인) 안녕하세요. 위기의코딩맨입니다. 오늘은 MLlib의 파이프라인에 대해 간단하게 알아보도록 하겠습니다. [ PipeLine ] 데이터를 수집하고, 가공, 추출, 적용, 평가, 배포 등 일련의 작업을 반복하며 머 we-co.tistory.com 위에 링크는 예전에 작성했던 PipeLine에 대해서 정리한 것입니다. 참고하셔도 될듯합니다. [ PipeLine 예제 ] 문제 출처 ML Pipelines - Spark 3.2.1 Documentation spark.ap.. 2022. 3. 10. [We-Co] Spark MLlib PipeLine(파이프라인) 안녕하세요. 위기의코딩맨입니다. 오늘은 MLlib의 파이프라인에 대해 간단하게 알아보도록 하겠습니다. [ PipeLine ] 데이터를 수집하고, 가공, 추출, 적용, 평가, 배포 등 일련의 작업을 반복하며 머신러닝을 수행합니다. 이러한 순차적으로 알고리즘을 실행할 수 있도록 지원하는 고차원 API를 의미합니다. 파이프라인의 API를 사용하기 위해서 알아둬야할 주요 항목들이 존재합니다. - Dataframe : 파이프라인은 RDD가 아닌 Dataframe을사용하며, 다양한 유형의 데이터를 포함할 수 있어 가공이나 변형을 더욱 쉽게 처리할 수 있습니다. - Transformer(트랜스포머) : Spark MLlib의 Tansformer는 org.apache.spark.ml 패키지에 선언된 추상 클래스 Tra.. 2021. 9. 24. 이전 1 다음 반응형
