서론이번 포스팅에서는 Fine-tuning을 위한 과정에 대해서 서술하고자 한다. 모델 성능 개선 방법에는 크게 세가지가 있다. 1. Prompting 2. RAG 3. Fine-tuning. 이 중 파인튜닝은 모델 자체를 학습시키는 것인데, 이 과정의 첫번째 단계가 Data curation이다. 이번 포스팅에서는 데이터 큐레이션 및 데이터 수집하는 방법에 대해서 알아보도록 하겠다.Data Curation이란?Data curation은 데이터를 수집, 정제, 가공, 저장, 관리하는 작업을 의미한다. LLM을 Fine-tuning할 때 학습 데이터를 만드는 과정이기도 하다. LLM을 학습시킬 때 수집한 데이터를 냅다 집어넣으면 안 된다. 주어진 정보가 너무 많아도, 정보가 너무 적어도 학습에 문제가 생기기..

서론Aliexpress에서 몇번 구매를 하면서 느낀 점은 예상 배송일과 실제 배송일의 차이가 크다는 것이다. 그래서 이번 포스팅에서는 예상 배송일은 언제였고 과정은 어땠는지에 대해서 기록하고자 한다. 추후 몇개의 데이터가 더 쌓이면 하나로 묶어놓은 포스팅을 쓰고자 한다.Aliexpress 물품 구매일 및 예상 배송 기간제품은 5월 19일 08:10(GMT+9)에 구매를 했다. 예상 배송일은 사진에 적힌 대로 7월 25일이었다. 무려 두달이나 뒤인데 구매를 했던 이유는 1. 어처피 사야 됐고, 2. 상품평이 있는데 배송에 대한 울부짖음이 보이지 않았기 때문이다. 판매자가 배송 준비를 하고 있습니다. 라는 문구는 주문 3분 뒤인 5월 19일 08:12(GMT+9)에 떳다. 그러나 여기선 아무 동요가 되지 않..

서론쓰레기통에 20만원을 태울 수가 있을까. 내가 그걸 해냈다. 이쁜 쓰레기는 봤어도 이쁜 쓰레기통이라니. 그런데 유튜브에서 이 제품을 본 순간부터 잊혀지지가 않았고, 가격 때문에 다른 비슷한 종류의 무언가가 있을 것이라 생각해서 미국 아마존, 독일 아마존(웨스코가 독일꺼임) 일본 아마존, 다양한 유튜브 등을 참고해가며 다른 차선책에 대해서 알아봤지만 내 마음에 드는건 오직 웨스코의 쓰레기통이었다. 아무튼 이런 연유로 쓰레기통을 구매하기로 결심했고 본 포스팅은 1. 가격 2. 장점 3. 단점으로 사용기를 써내려가겠다. 참고로 3월초에 구매해서 2개월간 킥마스터 쥬니어와 함께한 뒤 적는 사용기다.웨스코 킥 마스터 쥬니어 가격우선 가격은 쿠폰할인을 받아 222,720원에 17,516원 적립을 영끌 가격은 2..

서론RAG를 할 때 마주하는 것은 '어떤 DB를 써야되는가?'이다. 가장 많이 쓰이는 것이 Chroma와 FAISS인데 이번 포스팅에서는 이 두 벡터 데이터 베이스의 차이점에 대해 알아보도록 하겠다. 다른 RAG 시리즈 포스팅이 궁금하다면 아래 링크로 들어가길 바란다. Retrieval Augmented Generation(RAG) 복습 (1) RAG의 개념RAG란?Retrival : (언어 모델이 갖고 있지 않은 정보) 데이터를 가져오는 것.Augmented : AR/VR에서의 A도 Augmented임. 마치 있는 것처럼.Generation : 컴퓨터가 생성하는거 llm이 알아서 하는부분이다.여기서 R,Aquiseol.com FAISS란?FAISS는 엄밀히 말하면 vector data store가 아..

서론지난 포스팅에서는 하위 도메인을 새 블로그에 입히는 방법에 대해서 알아보았다. 이번 포스팅에서는 하위 도메인 주소를 에드센스에 어떻게 등록(연동)하며, 연결할 때 주의사항은 뭔지에 대해서 알아보도록 하겠다. 주의 사항은 크게 에드센스 정책, 블로그 설정, 컨텐츠 개수에 대해서 언급할 계획이다.에드센스 연동 방법연동 방법은 이미 첫번째 블로그에서 한거랑 똑같다. 1. 스킨편집에 들어가서 2. html 편집을 누른 뒤, 항목 바로 아래에 3. 에드센스 광고 코드를 넣느 것이다. 참고로 관리 -> 수익 탭으로 들어가 adsense를 연동하기를 누르면 된다.하위 도메인 광고 설정에 대한 주의 사항 1) 애드센스 정책 관련낮은 퀄리티를 가진 사이트는 저품질 콘텐츠로 분류될 수 있다. 그래서 단순히 복붙을 해..

서론최근 에드센스 승인을 받았다. 그래서 어떻게 블로그를 운영할까 고민을 하던 중 하위도메인으로 새 티스토리 블로그를 인증 받는거에 대해 긍정적으로 생각하고 있다. 그래서 티스토리 하위 도메인으로 에드센스 승인 시리즈에서는 어떻게 하위 도메인으로 새 블로그를 개설했는지에 대해서 알아보고, 또 하위 도메인으로 개설시 주의할점에 대해서도 알아볼 예정이다.티스토리 새로운 블로그 만들기티스토리는 블로그를 만들 수 있는 기회를 도합 10번을 주고, 최대로 만들 수 있는 블로그의 개수는 5개로 제한되어있다. 우선 나는 블로그 생성 기회가 2번 깎여서 8번의 생성 기회가 있었고, 블로그는 최대 4개 더 만들 수 있는 상태였다. 각설하고, 우선 블로그를 추가로 개설하기 위해서는 티스토리 메인화면에서 계정관리로 들어간다..

서론예전에 LLM 모델의 성능을 측정하는 사이트에 대해서 포스팅한 적이 있다. 그런데 여기서 나온 리더보드로는 어떻게 모델을 선정할것인지 난감할 수 있다. 그래서 이번 포스팅에서는 어떤 매카니즘을 바탕으로 모델 선정을 하는지에 대해 알아보고자 한다. 특히 고려서항과 비용에 대해 알아보겠다. LLM 모델 성능을 비교하는 포스팅은 아래로 가면 된다. LLM 모델별(gpt, gemini, claude 등) 성능 비교하는 법서론LLM 사용에 있어서 성능의 차이가 수치적으로 궁금할 수 있다. 아무래도 체감하는 것과 객관적인 지표는 다를 수 있으니까 말이다. 그런 의미에서 이번 포스팅에서는 LLM 모델을 모델별 성능quiseol.com고려해야 할 다섯가지가장 우선적으로 판단해야 되는 것은 Open source 여부..