반응형 전체 글212 [We-Co] Kafka로 간단한 예제를 풀어봅시다~! - 결제 안녕하세요. 위기의 코딩맨입니다.Kafka를 포스팅하고, 이제 예제를 풀어보도록 하겠습니다.Kafka에 대해서 알아보고 싶으시면 아래 링크를 확인해주세요~! [We-Co] Kafka에 대해서 간단하게 알아보자.안녕하세요. 위기의 코딩맨입니다.요즘 너무 많은 일이 있어서 오랜만에 포스팅을 작성해봅니다. ㅎㅎㅎ오늘은 kafka에 대해서 간단하게 알아보도록 하겠습니다. [ Apache Kafka란? ]Apache Kafka는 대용we-co.tistory.com [ 예제 ]예제로 풀어볼 흐름을 설명드리도록 하겠습니다. [Order Service] --(order_created)--> Kafka --consume--> [Payment Service][Payment Service] --(payment_co.. 2025. 12. 24. [We-Co] Kafka에 대해서 간단하게 알아보자. 안녕하세요. 위기의 코딩맨입니다.요즘 너무 많은 일이 있어서 오랜만에 포스팅을 작성해봅니다. ㅎㅎㅎ오늘은 kafka에 대해서 간단하게 알아보도록 하겠습니다. [ Apache Kafka란? ]Apache Kafka는 대용량 실시간 데이터 스트리밍을 처리하기 위한 분산 메시징 플랫폼이라고 합니다.로그 수집, 이벤트 스트리밍, 실시간 데이터 파이프라인, 마이크로서비스 간 비동기 통신 등에 상용되고 있습니다.채용공고를 보면, 주로 데이터 기반으로 작업하려고 할때, 많이 사용되는것 같습니다. [ Kafka가 왜 탄생했나?! ]기존 메시지 큐(RabbitMQ 등)는 대규모 트래픽 처리에 한계로그성 데이터, 이벤트 데이터를 안정적으로 저장·재처리할 필요높은 처리량과 확장성 요구[ Kafka 핵심 개념 ]- Broke.. 2025. 12. 23. [We-Co] opendataloader-pdf 안녕하세요. 위기의 코딩맨입니다.오늘은 한컴에서 오픈소스로 공개한 opendataloader-pdf에 대해서 알아보도록 하겠습니다.요즘 RAG에도 관심이 많아, PDF Loader를 찾아보다가 한컴에서 상당한 성능을 발휘하는 소스를 공개했다고 하여 사용해봤습니다.뉴스에서도 엄청 홍보를 많이하더라구요?! 소스는 깃허브에 공개되어있습니다.아래 자세한 사항은 아래 페이지를 참고해주세요~! GitHub - opendataloader-project/opendataloader-pdf: Safe, Open, High-Performance — PDF for AISafe, Open, High-Performance — PDF for AI. Contribute to opendataloader-project/opendatal.. 2025. 9. 24. [We-Co] HuggingFace - Paperswithcode 안녕하세요. 위기의 코딩맨입니다.오랜만에 Paperswithcode에 접속하니, HuggingFace 홈페이지로 접속이 되더라구요?내용을 좀 찾아보니 통합되었다고 하네요?! 오호... 그럼 SOTA는 어떻게 찾아보는것이고, 논문은 어떻게 찾아야할까..?! 간단한 방법에 대해서 알아보도록 하겠습니다!! 기존에 포스팅 올렸던 Paperswithcode의 링크를 들어가보면아래 HuggingFace Trending Papers 홈페이지로 접속되는 것을 확인할 수 있습니다. Trending Papers - Hugging FaceIn this work, we present Qwen3, the latest version of the Qwen model family. Qwen3 comprises a series of.. 2025. 9. 11. [We-Co] ChatGPT-5 - 달라진 GPT-5를 알아보자! 안녕하세요. 위기의 코딩맨입니다.오늘 GPT를 사용하려고 보니, 메인 화면이 바뀌었더라구요!알록달록 이쁘네!! GPT-5에 대한 기대감과 뉴스 기사들이 아주 많이 뜨고 있어서기대하고 있었습니다. 무엇이 바뀌었는지 한번 알아보도록 하겠습니다!! [ ChatGPT-5]보니, 기본이 GPT-5로 설정되어있는것 같고,월 사용료 별로 Thinking과 프로로 나뉘어져 있는것 같습니다. 먼저, 구조가 변경된 부분이 있습니다.GPT-4는 텍스트 중심에서 기능을 추가한 구조였다면,GPT-5는 텍스트와 이미지, 코드, 수식 등 통합한 구도로 다양한 구조를 갖고있어서 추론 정확도가 향상 되었다고합니다. 토큰도 128K가 한계였다면, 맥락과 토큰 효율성을 개선하여, 긴 텍스트(수만 단어) 문서를 분석할수 있다고합니다.GP.. 2025. 8. 8. [We-Co] RAG - LangChain , return_source_documents 안녕하세요. 위기의 코딩맨입니다.이번에 RAG를 구성하는데 문제가 발생했습니다. 참조할 PDF파일이 2개가 있었는데2개의 파일을 비교하면 비교가 되지않고,1개의 파일씩 검색하면 검색이 되는 문제였습니다.[ 문제 ]예를 들어보겠습니다.24년도 OOO 정보와 25년도 OOO 정보를 비교해서 알려줘이렇게 질문을 하면.. 답변을..죄송하지만, 2024년도 OOO 정보는 제공되지 않았습니다. 2025년도 OOO 내역만 확인할 수 있습니다. 2025년도 OOO 정보는 ~입니다. 2024년도에 대한 정보는 알 수 없습니다. 그래서 24년도와 25년도 따로 검색을 진행해봤습니다.24년도 OOO 정보를 알려줘25년도 OOO 정보를 알려줘24년도 OOO정보는 ~입니다.25년도 OOO정보는 ~입니다. 해당 방식으로 검색은 .. 2025. 7. 16. [We-Co] RAG 검색과 응답 최적화 - Chunking 안녕하세요. 위기의 코딩맨입니다.오늘은 RAG의 검색과 응답을 최적화하는 방법 중 하나인 Chunking에 대해서간단하게 알아보도록 하겠습니다. 일단 청킹 작업은 관련 문서를 가져오는Retrieval에서 개선할 수 있는 요소 중 하나라고 생각해주시면 됩니다.벡터화된 문서를 검색하는 과정을 조 금더 정확하게 검색되도록 최적화 하는 방법을 알아보는 것입니다! [ chunking ]문서를 검색하려면, 해당 문서를 가공하여 최적화된 상태로 변환하는 과정이 필요합니다.이러한 전처리 과정 중 핵심적인 과정이 청킹 입니다. 문서를 분할하는 단계로 보시면 됩니다. 관리에 용이함검색 정확도가 높아짐일관성 유지 기본적으로 청킹 작업을 진행하게되면 문자 수를 기반으로 분할으로 진행됩니다.구조가 고려되지 않음중요한 정보가 분.. 2025. 7. 8. [We-Co] langchain - FewShotPromptTemplate란 무엇일까! 안녕하세요. 위기의 코딩맨입니다.오늘은 RAG의 langchain프레임 워크에서 FewShotPromptTemplate에 대해서 알아보겠습니다~!요즘 RAG에 관련된 내용을 공부하고있는데 아주 재밌더라구요. [ FewShotPromptTemplate ] FewShotPromptTemplate는 간단하게 말하면 몇가지 사례를 주고, 사용자가 질의를 입력하면, 해당 사례를 기반으로 프롬프트를 구성하여 답변을 주는 것으로 보시면 됩니다.예시를 보겠습니다.질문 : "아이언맨의 실제 이름이 뭐야?"답변 : "토니 스타크" 질문 : "캡틴아메리카의 실제 이름이 뭐야?"답변 : "스티브 로저스"이런식으로 답과 질의를 생성하여 사례를 만들고 프롬프트에 적용하면"블랙위도우의 실제 이름이 뭐야??"의 질문을 하게되면 "나.. 2025. 7. 2. [We-Co] Airflow Sensor - polling에 대해서 알아보자 안녕하세요. 위기의 코딩맨입니다.오늘은 오랜만에 Airflow 포스팅을 해보도록 하겠습니다~! 오늘은 Sensor에 대해서 공부해보도록 하겠습니다.Sensor에 대해서 공부하면 자연스럽게 따라들어오는 plolling에 대해서도 알아보도록 하겠습니다. [ Sensor ]외부 시스템(S3, DB, API), Airflow(다른 DAG, 태스크)의 특정 조건이 만족할때까지 대기하기 위한 오퍼레이터외부조건 : FileSensor, S3KeySensor, HttpSensor, SqlSensor 내부조건 : ExternalTaskSensor (다른 DAG/태스크가 성공했는지)동작 방식태스크가 워커에 할당 execute() -> poke()poke_interval 만큼 워커 슬롯 점유조건 만족시 종료 or poke.. 2025. 6. 26. 이전 1 2 3 4 ··· 24 다음 반응형
