반응형 기타17 [We-Co] RAG 검색과 응답 최적화 - Chunking 안녕하세요. 위기의 코딩맨입니다.오늘은 RAG의 검색과 응답을 최적화하는 방법 중 하나인 Chunking에 대해서간단하게 알아보도록 하겠습니다. 일단 청킹 작업은 관련 문서를 가져오는Retrieval에서 개선할 수 있는 요소 중 하나라고 생각해주시면 됩니다.벡터화된 문서를 검색하는 과정을 조 금더 정확하게 검색되도록 최적화 하는 방법을 알아보는 것입니다! [ chunking ]문서를 검색하려면, 해당 문서를 가공하여 최적화된 상태로 변환하는 과정이 필요합니다.이러한 전처리 과정 중 핵심적인 과정이 청킹 입니다. 문서를 분할하는 단계로 보시면 됩니다. 관리에 용이함검색 정확도가 높아짐일관성 유지 기본적으로 청킹 작업을 진행하게되면 문자 수를 기반으로 분할으로 진행됩니다.구조가 고려되지 않음중요한 정보가 분.. 2025. 7. 8. [We-Co] langchain - FewShotPromptTemplate란 무엇일까! 안녕하세요. 위기의 코딩맨입니다.오늘은 RAG의 langchain프레임 워크에서 FewShotPromptTemplate에 대해서 알아보겠습니다~!요즘 RAG에 관련된 내용을 공부하고있는데 아주 재밌더라구요. [ FewShotPromptTemplate ] FewShotPromptTemplate는 간단하게 말하면 몇가지 사례를 주고, 사용자가 질의를 입력하면, 해당 사례를 기반으로 프롬프트를 구성하여 답변을 주는 것으로 보시면 됩니다.예시를 보겠습니다.질문 : "아이언맨의 실제 이름이 뭐야?"답변 : "토니 스타크" 질문 : "캡틴아메리카의 실제 이름이 뭐야?"답변 : "스티브 로저스"이런식으로 답과 질의를 생성하여 사례를 만들고 프롬프트에 적용하면"블랙위도우의 실제 이름이 뭐야??"의 질문을 하게되면 "나.. 2025. 7. 2. [We-Co] RAG(Retrieval-Augmented Generation) - 검색, 문서 안녕하세요. 위기의 코딩맨입니다.요즘 일과 자격증 공부로 인해 아주 바쁘게 살고있어 포스팅을 못하고 있었습니다..최근 많이 이슈가 되는 LLM의 RAG에 대해서 한번 살펴보도록 하겠습니다. [ RAG란? ]RAG는 ‘Retrieval-Augmented Generation’의 약자외부 지식(문서·DB 등)을 먼저 검색(Retrieval)텍스트를 생성(Generation)하는 기법자연어 처리 분야에서 사용되는 기술로써, 정보 검색과 생성을 결합한 모델로 보시면 될것같습니다.그래서 거의 챗봇이나 문서를 업로드해서 그 문서에 대해서 질의응답을 하는 분야에서 자주 사용됩니다. 크게 2가지 일을 한다고 보시면됩니다. 정보 검색 : 사용자에게 질문을 받고, 문서나 데이터베이스 등 답변을 찾고 결과를 LLM에 전달텍스.. 2025. 6. 25. [We-Co] Jenkins, Gitlab 연동(Docker) [3] 안녕하세요. 위기의 코딩맨입니다.이제 Jenkins, Gitlab 연동의 마지막 시간입니다. 저번 포스팅에서 둘이 연결 테스트만 진행했지만, 이번에 기본적인 파이프라인을 생성해보도록 하겠습니다. 포스팅의 [2]의 내용을 확인해보고싶으시면 아래를 확인해주세요. [We-Co] Jenkins, Gitlab 연동(Docker) with Unix [2]안녕하세요. 위기의 코딩맨입니다.gitlab과 jenkins 연동 테스트에 관한 2번째 포스팅입니다.전 포스티에서 깃랩과 젠킨스 설치를 진행했는데 이제 연동 테스트를 진행해보도록 하겠습니다. 설치we-co.tistory.com [ Jenkins, GitlLab ]Jenkins에 접속하고,왼쪽 상단에 new item(새로운 Item) 항목을 클릭해주세요. 그럼 Fre.. 2025. 2. 7. [We-Co] Jenkins, Gitlab 연동(Docker) [2] 안녕하세요. 위기의 코딩맨입니다.gitlab과 jenkins 연동 테스트에 관한 2번째 포스팅입니다.전 포스티에서 깃랩과 젠킨스 설치를 진행했는데 이제 연동 테스트를 진행해보도록 하겠습니다. 설치 방법이 궁금하시다면 아래 포스팅을 확인해주세요~! [We-Co] Jenkins, Gitlab 연동(Docker) with Unix [1]안녕하세요. 위기의 코딩맨입니다.오늘은 젠킨스와 깃랩을 연동해보는 시간을 갖도록 하겠습니다. 버전 호환성이 중요하지만, 너무 옛날 버전을 설치하게되면 플러그인 설치에서 그만둘수 있we-co.tistory.com 단계별로 진행해보도록 하겠습니다.GitLab Access TokensJenkins Plugin InstallJenkins에서 GitLab Creadentials 등록Co.. 2025. 2. 5. [We-Co] Jenkins, Gitlab 연동(Docker) [1] 안녕하세요. 위기의 코딩맨입니다.오늘은 젠킨스와 깃랩을 연동해보는 시간을 갖도록 하겠습니다. 버전 호환성이 중요하지만, 너무 옛날 버전을 설치하게되면 플러그인 설치에서 그만둘수 있기에최신버전을 사용해서 진행하도록하겠습니다. ㅎㅎ저는 war 파일이 아닌 도커환경을 이용하여 설치를 진행했습니다.단계별로 Gitlab, Jenkins 설치와 연동 테스트 부분으로 진행하도록 하겠습니다.[ Gitlab ]먼저 터미널(cmd)창을 열고,아래 명령어를 입력하시면깃랩의 최신버전의 이미지를 설치하게 됩니다.docker pull gitlab/gitlab-ce:latest sudo docker images 명령어를 입력하면 설치된 이미지를 확인하실 수 있습니다. 이제 생성된 이미지로 컨테이너를 생성해야합니다.hostname,.. 2025. 2. 5. [Elasticsearch] 403 index read-only 오류 해결방법 안녕하세요. 위기의 코딩맨입니다.요즘 일이 많아서 포스팅을 제대로 못하고 있지만,Elasticsearch에서 발생한 403 오류 해결방법에 대해서 간단하게 설명드리도록 하겠습니다. 오류를 간단하게 설명하면전체 인덱스의 설정이 읽기전용으로 변경돼서 작업에 제한이 걸리는 현상입니다.{"error":{"root_cause":[{"type":"cluster_block_exception","reason":"blocked by: [FORBIDDEN/13/cluster read-only / allow delete (api), FORBIDDEN/6/cluster read-only (api)];"}],"type":"cluster_block_exception","reason":"blocked by: [FORBIDDEN/.. 2024. 12. 5. [Elasticsearch] Kibana 설치해보자 - 리눅스(Ubuntu), 설치 오류, 설치 방법 안녕하세요. 위기의 코딩맨입니다.오늘은 키바나 설치 방법에 대해서 간단하게 알아보도록 하겠습니다. 우선 키바나는 엘라스틱서치를 사용하면서메모리 등등 시각화하여 볼수있는 아주 편리한 기능을 제공합니다! 시각화된 데이터로 부하가 걸리고있구나~지금 뭐를 하고있구나~ 간단하게 알아볼수 있는것이죠![ Kibana Install ]먼저 엘라스틱서치가 설치되어있는 가정하에진행하도록 하겠습니다. 먼저 엘라스틱 버전을 확인해야합니다.아래 명령어를 입력하면 Json 형식을 받게되는데version -> number 항목의 값이 버전이라고 생각하시면 됩니다.curl -X GET "localhost:9200"Kibana와 버전을 잘 맞춰야된다고 합니다.거의 1:1 기준인것 같더라구요! 아래 명령어를 입력하면 docker ima.. 2024. 8. 8. [We-Co] 텍스트 유해성 검사하기 - smilegate-ai with Python 안녕하세요. 위기의 코딩맨입니다.오늘은 텍스트 유해성 검사하는 방법을 하나 포스팅해보려 합니다. smilegate ai에서 한글을 기반으로 학습을 진행하여유해성 검사하는 모델을 API 형식으로 사용할 수 있다고 하여사용해 보도록 하겠습니다. 자세한 내용은 아래 홈페이지를 확인해주세요. smilegate-ai/kor_unsmile · Datasets at Hugging FaceNo dataset card yet New: Create and edit this dataset card directly on the website! Contribute a Dataset Cardhuggingface.co [ 유해성 검사 ]먼저 사용을 위해 데이터 셋을 받기 위한 작업이 필요합니다.데이터셋을 불러오기 위해 tra.. 2024. 7. 26. 이전 1 2 다음 반응형
