서론지난 포스팅에서는 LangChain을 어떻게 활용하는지에 대해 알아보았다. 이번 포스팅에서는 LangChain-Hub를 쓰는걸 실습하고자 한다. 우선 왜 langchain hub를 쓰는가?에 대해 알아보고 이후에는 이것을 어떻게 쓰는지 알아볼 것이다. 지난 포스팅을 보면 유사도 검색 과정에서 페르소나를 주기 위해 prompt를 작성했다. 그런데 Langchain hub는 이러한 prompt를 다양하게 갖고있기에 코드를 짜는 사람이 prompt를 짜지 않아도 된다는 강점이 있다. 그럼 지난 포스팅에서 사용한 것과 이번 포스팅에서 사용하는 것을 비교해보자.similarity_search 이용순서상 RetrivalQA, Langchain-hub가 먼저와야 될 것 같지만 이 부분은 지난 포스팅과 완전히 같으..

목차    서론 지난 포스팅에서 나름 만반의 준비를 한 뒤 애드센스 재도전을 했다. 그리고 며칠이 지난 오늘 새벽, 연락이 왔다. 이번엔 될 줄 알았는데 또 낙방이 된 것이다. '애드센스를 사용하려면 사이트에서 발견된 문제를 해결하라' 는 제목으로 온 것. 자세히 알아보니 가치가 없는 콘텐츠라는 글자를 보게 되었다. 이번 포스팅에서는 이 경우는 어떻게 해결하는지에 대해 알아보도록 하는 시간을 가질 것이다. 아무튼 어떻게 준비했는지 보려면 아래 포스팅을 참고할 것. 티스토리 블로그 애드센스 수익 여정 포스팅 (7)목차   서론애드센스 수익 여정 포스팅 시리즈의 첫 글이 5월20일인데 6개월정도 지난 지금까지 난 애드센스 광고를 못달고 있다. 아무튼 오늘은 어떤 식으로 바꿨는 지, 그리고 무엇을 추가로qui..

목차   서론애드센스 수익 여정 포스팅 시리즈의 첫 글이 5월20일인데 6개월정도 지난 지금까지 난 애드센스 광고를 못달고 있다. 아무튼 오늘은 어떤 식으로 바꿨는 지, 그리고 무엇을 추가로 체크했는 지, 언제 재도전을 했고 그 결과는 어떤지에 대해 포스팅을 할 것이다. 시리즈 첫글에는 언제 신청했고 언제 거절당했는지 테이블로 작성했으니 관심있다면 여기로 가길 바란다. 티스토리 블로그 애드센스 수익 여정 포스팅 (1)목차   티스토리 블로그 애드센스 수익 여정 포스팅 (1)서론 - 워드프레스 실패기 티스토리 블로그 관련 얘기에 앞서 내 구글 애드센스 수익 실패기에 관해 얘기를 해볼까 한다. 나는 네이quiseol.com 기존 사항과 바뀐 것물론 가장 많이 바뀐건 글의 개수라고 할 수 있다. 꾸준히 써서 ..

서론지난 포스팅에서는 API를 통한 llm 셋팅에 대해서 알아보았다. 이번엔 LangChain을 이용한 RAG 구성에 대해 알아보고자 한다. 이를 위해 langchain은 어떤것인지 알아보고 코드와 함께 결과에 대해 알아보고자 한다.LangChain이란? 지난 포스팅에서는 API를 통한 llm 셋팅에 대해서 알아보았다. 이번엔 LangChain을 이용한 RAG 구성에 대해 코드와 함께 알아보고자 한다. Langchain은 자체 DB가 있어서 별도 코드 작성 필요 없이 깔끔하게 할 수 있다는 장점이 있다. 프롬프트도 디폴트로하기에 따로 작성하지 않아도 된다. LangChain이 없다면 모든걸 다 직접 작성해야된다고 한다.  문서파싱, 청킹, 임베딩, 질문 다 직접 넘겨야되며, 패키지도 많다. 이 포스팅을 ..

서론지난 포스팅에서는 RAG에 대한 전반적인 내용에 대해 알아보았다. 이번에는 실습을 복습할 예정이다. 우선 셋팅부터 진행하겠다. 보통 open-ai를 사용하지만, 난 구글 클라우드 크래딧이 있으므로, 이번 포스팅에서는 Gemini를 사용하겠다. LLM을 셋팅해보자셋팅이라는 단어가 맞는지는 모르겠지만, 일단 난 llm을 내 주피터 노트북에 설정을 해서, 답변을 불러오는거 까지 해보려고한다. 우선 gemini를 쓰기 위해서는 구글 ai 스튜디오에 가입을 하고, 여기로 들어가, api 키를 발급받으면 된다. 그럼이렇게 공유하지 말라는 문구가 뜨면서 괴랄한문자의 향연이 나온다. 그게 내 API key다. 공유하면 안되는 이유-> 그걸로 님 돈 빠져나가는것이기 때문. 이제 쥬피터 노트북에 들어가자. %pip i..

서론LLM 실습을 하던 중 에러가 떳다. Error code: 429 - {'error': {'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.', 'type': 'insufficient_quota', 'param': None, 'code': 'insufficient_quota'}} Output is truncated. View as a scrollable element or open in a t..

RAG란?Retrival : (언어 모델이 갖고 있지 않은 정보) 데이터를 가져오는 것.Augmented : AR/VR에서의 A도 Augmented임. 마치 있는 것처럼.Generation : 컴퓨터가 생성하는거 llm이 알아서 하는부분이다.여기서 R,A 까지가 우리가 해야되는 것이다. 그러므로 데이터를 잘 가져와서 잘 정제하는것이 우리의 역할이자 RAG의 핵심이다.프롬프트(Prompt)LLM에서 자주 나오는 용어다. LLM과 소통할 수 있는 방법으로, 우리가 모델과 소통하는 창구라고 생각하면 된다. 프롬프트를 어디에 놓느냐에 따라 답변이 달라진다. 데이터가 정확해도 잘 전달하지 않으면 결과가 마음에 들지 않을 수 있다. lang-chain은 이러한 프롬프트를 어디에, 어떤것을 써야되는지 알려주기에 아주..