We-Co

안녕하세요. 위기의 코딩맨입니다.오늘은 키바나 설치 방법에 대해서 간단하게 알아보도록 하겠습니다. 우선 키바나는 엘라스틱서치를 사용하면서메모리 등등 시각화하여 볼수있는 아주 편리한 기능을 제공합니다! 시각화된 데이터로 부하가 걸리고있구나~지금 뭐를 하고있구나~ 간단하게 알아볼수 있는것이죠![ Kibana Install ]먼저 엘라스틱서치가 설치되어있는 가정하에진행하도록 하겠습니다. 먼저 엘라스틱 버전을 확인해야합니다.아래 명령어를 입력하면 Json 형식을 받게되는데version -> number 항목의 값이 버전이라고 생각하시면 됩니다.curl -X GET "localhost:9200"Kibana와 버전을 잘 맞춰야된다고 합니다.거의 1:1 기준인것 같더라구요! 아래 명령어를 입력하면 docker ima..

안녕하세요. 위기의 코딩맨입니다.오늘은 텍스트 유해성 검사하는 방법을 하나 포스팅해보려  합니다. smilegate ai에서 한글을 기반으로 학습을 진행하여유해성 검사하는 모델을 API 형식으로 사용할 수 있다고 하여사용해 보도록 하겠습니다. 자세한 내용은 아래 홈페이지를 확인해주세요.  smilegate-ai/kor_unsmile · Datasets at Hugging FaceNo dataset card yet New: Create and edit this dataset card directly on the website! Contribute a Dataset Cardhuggingface.co  [ 유해성 검사 ]먼저 사용을 위해 데이터 셋을 받기 위한 작업이 필요합니다.데이터셋을 불러오기 위해 tra..

안녕하세요. 위기의 코딩맨입니다.오늘은 ChatGPT 4o가 출시되어 포스팅을 작성해보려 합니다. 공식홈페이지로 이동 [ 의미 ]공식 홈페이지의 소개말을 번역해보면오디오, 비전, 텍스트를 실시간으로 추론이 가능하다는 새로운 플래그십 모델! new flagship model 로 소개를 하고 있는데 해당 의미는 무엇일까요?!제품 라인업 중 최고의 모델, 최신 기술과 성능, 품질을 보여주는 역할을 보여주는 모델이라고 보시면 될 것 같습니다. 여기서 4뒤에 o는 omni의 의미를 갖고 있습니다.인간과의 상호작용을 조금 더 자연스럽고 효율적으로 실시간으로 가능하게 한 모델이라고 합니다. [ 차이 ]이미지와 오디오 등 다양한 입력에 대한 값을 232밀리초 안에 오디오로 출력이 가능하고, 평균적으로 320밀리초로 인..

안녕하세요. 위기의 코딩맨입니다.오늘은 요즘 엄청난 붐을 일으키고 있는 LLM에 대해서 간단하게 알아보도록 하겠습니다.간단하게 가능하려나..?   [ 정의 ]먼저 LLM의 정의를 알아보도록 하겠습니다.Large Language Model을 약어로 만들어서 LLM으로 간단하게 불리고 있습니다.대형 언어 모델을 의미하며 분야는 NLP 쪽으로 생각하시면 될 것 같습니다.정말 간단하게 정의하자면 텍스트를 인간처럼 이해하도록 설계되어 있는 모델입니다. 무수히 많은 파라미터를 보유하고있으며,  인공 신경망을 구성한 언어적인 모델입니다.요즘 AI 챗봇이나 음성 인식 등 다양한 분야에 사용 되고 있습니다. [ 작동 ]모든 모델이 데이터를 기반으로 학습을 하고 활용하여 작동을 진행합니다.시계열 데이터의 특성을 갖고있는 ..

안녕하세요. 위기의 코딩맨입니다.오늘은 EDA에 대해서 간단하게 알아보도록 하겠습니다. 데이터 분야를 개인적으로 공부하면서 제일 중요하다고 생각했던 부분이데이터와 데이터 사이의 연관성을 파악하고 시각화하고 학습을 진행하는 부분이라 생각했었는데 정확한 용어나 설명 몰랐었는데..!EDA (Exploratory Data Analysis, 탐색적 데이터 분석) 을 말하는 것이였다!뭔가 간지러운 부분을 긁는 느낌이였다.  조금 더 이론적으로 설명하면 수집 데이터가 있을 시,다양한 각도로 관찰하고 분석하는 과정으로 생각하시면 됩니다.이러한 과정에서 잘못되면 열심히 작업한 시각화나 모델링 작업이 의미 없이 돌아갈 수 있어 아주아주 중요한 과정입니다.다양한 방식으로 분석하고 연관성을 시각화하는 방법의 지금 듣고있는 교..

안녕하세요. 위기의 코딩맨입니다. 요즘 서버 환경셋팅을 자주 하고 있어서 옮기고~ 복원하고~ 이런 포스팅을 자주 올리는것 같군요 ㅎㅎㅎ 오늘은 MySQL에 Database를 dump 파일을 이용해서 백업과 복원을 진행해보도록 하겠습니다. [ mysqldump ] mysql에 먼저 접속을 해봅시다! 아래 명령어는 MySQL 접속 명령어입니다. 명령어를 입력하시면 비밀번호를 입력하게 됩니다. mysql -u root -p 입력하시면 명령어 앞에 입력란이 mysql > 형식으로 바뀌게 될겁니다! 그 상태에서 백업할 databases를 확인해봅시다! 저장되어있는 데이터베이스 목록이 출력됩니다. show databases; 그리고 exit 명령어를 입력해서 mysql을 나옵니다. dump를 진행할 데이터베이스 이..

안녕하세요. 위기의 코딩맨입니다. 오늘은 간단하게 생성한 컨테이너와 파일을 주고받는 방법에 대해서 간단하게 알아보도록 하겠습니다. 방식은 2가지의 기준이 있습니다. 로컬에서 컨테이너로 복사! 컨테이너에서 로컬로 복사! 오늘은 모두 다 알아보도록 하겠습니다. 아주아주 간단해요! [ 로컬 -> 컨테이너 ] 먼저 로컬에서 컨테이너로 저장하는 방법입니다. 컨테이너 밖에서 docker cp 명령어를 사용합니다. 파일경로/파일명을 설정하고, docker ps를 통해 보내고 싶은 컨테이너를 찾아서 컨테이너 이름을 적어주시고, :를 사용해서 저장경로를 설정해주시면 해당경로로 파일이 복사해서 들어갑니다. Ex) docker cp /home/ubuntu/test.txt test_container:/home/ubuntu/ ..

안녕하세요. 위기의 코딩맨입니다. 오늘은 도커 컨테이너를 복사해서 다른 환경에 적용하는 방법에 대해서 간단하게 알아보도록 하겠습니다. [ Docker ] 먼저 컨테이너 항목을 한번 확인해봅시다! 아래 명령어는 컨테이너 항목을 모두 확인하는 명령어 입니다. sudo docker ps -a 복사할 컨테이너의 환경을 커밋으로 저장해야 그대로 복사가 진행됩니다. 커밋을 하지 않으면.. 그냥 처음 환경 그대로 복사가 되는것으로 알고있어요! EX) sudo docker commit -p 2cbe40c3aaaa save_con sudo docker commit -p [컨테이너 ID] [저장이름] 이제 저장이 잘 되어있는지 확인해봅시다. sudo docker images 저장된 이름으로 이미지가 있는지 확인이 되었다면..