서론예전에 LLM 모델의 성능을 측정하는 사이트에 대해서 포스팅한 적이 있다. 그런데 여기서 나온 리더보드로는 어떻게 모델을 선정할것인지 난감할 수 있다. 그래서 이번 포스팅에서는 어떤 매카니즘을 바탕으로 모델 선정을 하는지에 대해 알아보고자 한다. 특히 고려서항과 비용에 대해 알아보겠다. LLM 모델 성능을 비교하는 포스팅은 아래로 가면 된다. LLM 모델별(gpt, gemini, claude 등) 성능 비교하는 법서론LLM 사용에 있어서 성능의 차이가 수치적으로 궁금할 수 있다. 아무래도 체감하는 것과 객관적인 지표는 다를 수 있으니까 말이다. 그런 의미에서 이번 포스팅에서는 LLM 모델을 모델별 성능quiseol.com고려해야 할 다섯가지가장 우선적으로 판단해야 되는 것은 Open source 여부..

서론이번 포스팅은 에드센스 수입 여정 시리즈의 종지부가 될 수 있는 포스팅이다. 왜냐 불과 4시간 전 광고 개제 승인을 받았기 때문이다! 그동안 어떻게 진행했고, 어떤식으로 진행했는지에 대해서 알아보고자 한다. 종지부가 될 수 있다고 얘기한 이유는 승인 여정이 아니라 수익 여정이기 때문이다. 승인을 기점으로 하면 마지막이겠고 이후 수익에 대해서 얘기를 한다면 이제 시작일수도 있다. 아무튼 이번 포스팅에서는 승인을 받았던 스펙에 대해서 얘기하고자 한다.애드센스 승인 여정그동안의 여정은 여기에 있다. 표를 자세히 보려면 해당 포스팅을 클릭하길 바란다. 그동안 여정에 대해서 통계를 내면, 블로그 첫 글은 2024년 5월 17일이었다. 그리고 승인 받은건 25년 5월 21일로 거의 1년이 걸렸다고 볼 수 있다...

서론지난 포스팅에서는 Hugging Face를 활용한 generator에 대해 알아보았다. 이번 포스팅에서는 Quantizaion에 대해서 알아보겠다. Quantization의 역할이 뭐고, 어떻게 구현하는지에 대해서 차근차근 서술할 계획이다. 그리고 이번 포스팅을 위해서는 Llama 3.1에 접근할 수 있어야 되는데, 이를 위해서는 https://huggingface.co/meta-llama/Meta-Llama-3.1-8B에 들어가서 로그인하고 access를 요청해야된다. 신청하면 몇분만에 바로 되지는 않고, 두시간 정도 뒤에 될 것이다. 최소 나는 그랬음.Quantization이란?Quantizaion은 메모리 로드 시 32-bit에서 8-bit 내지 4-bit으로 가중치의 precision을 낮추는..

서론지난 포스팅에서는 Hugging Face를 이용해 간단한 파이프라인으로 Question and Answer, Text Summarization, Translation에 대해서 알아봤다. 해당 포스팅에 대해서 알고 싶다면 아래 링크로 가면 된다. 이번 포스팅에서는 text, image, audio를 만드는 방법에 대해서 알아보고자 한다. Hugging Face에 대해 알아보자 (2) Question and Answering, Text Summarization, Translation 기능서론지난 포스팅에서는 Hugging Face API 등록, 감정 분석, 고유명사 식별 분석을 하는 방법을 알아보았다. 이번 포스팅에서는 Hugging Face를 사용해 Question and Answering,Text S..

서론지난 포스팅에서는 Hugging Face API 등록, 감정 분석, 고유명사 식별 분석을 하는 방법을 알아보았다. 이번 포스팅에서는 Hugging Face를 사용해 Question and Answering,Text Summarization, Translation을 해볼 예정이다. 혹시 세팅관련 궁금하다면 지난 포스팅을 참고하면 됨. 이번엔 바로 qna 기능으로 들어가겠다.Question and AnsweringQuestion and Answering은 말 그대로 질문을 하면 답변을 하는 기능이다. 하지만 ChatGPT를 생각하면 안 된다! 왜냐, 우리가 답을 낼 수 있는 문맥을 넣어줘야되기 때문. 그니까 질문이랑, 대답이 가능한 context를 줘야된다. 코드는 다음과 같이 적는다. 참고로 간단하게 ..

서론이번에는 hugging face를 사용하는 방법에 대해 간단히 알아보고자 한다. 포스팅에 앞서 https://huggingface.co/ 에 회원가입 및 로그인을 해야된다. API를 사용하기 때문이다. API 넣는 방법은 포스팅에서 다루려고한다. 일단 로그인만 하셔요. 아 그리고 이번 포스팅은 google colab을 사용할 것이니 참고 요망. GPU를 사용해야 된다.HuggingFace API 사용 방법로그인을 했으면, 우측 상단에 있는 내 프로필 로고를 누른 다음 setting에 들어간다. 이후 Access Tokens에 들어가 우측 상단에 있는 +Create new token을 누른다. 못 찾겠다면 https://huggingface.co/settings/tokens 에 들어가면 된다. 그럼 ..

서론지난 포스팅에서는 생성형 AI에 대해 어떻게 vertex AI를 활용하여 MLOps를 적용하는 지 알아보았다. 이번 포스팅에서는 특히 생성형 AI에 대해 모델 평가를 어떻게 진행하는지에 대해 알아보도록 하겠다. GCP 컨텐츠라 이번에도 역시 vertex AI의 내용이 난사된다.모델 평가란?품질 검사와도 같다. 모델의 acuracy, correct predictions, reliable, consistent performance, Business aligned를 측정하는 것임. 모델 평가가 중요한 이유는 뭘까? 성능이다. 모델의 성능을 알 수 있기 때문이다. 두번째는 일반화다. 모델이 학습된 데이터 뿐 아니라 실제 시나리오에서도 쓰일 수 있는지 아는 것이다. 세번째는 모델 선택이다. 평가를 통해 무엇이..