서론지난 포스팅에서는 Hugging Face를 활용한 generator에 대해 알아보았다. 이번 포스팅에서는 Quantizaion에 대해서 알아보겠다. Quantization의 역할이 뭐고, 어떻게 구현하는지에 대해서 차근차근 서술할 계획이다. 그리고 이번 포스팅을 위해서는 Llama 3.1에 접근할 수 있어야 되는데, 이를 위해서는 https://huggingface.co/meta-llama/Meta-Llama-3.1-8B에 들어가서 로그인하고 access를 요청해야된다. 신청하면 몇분만에 바로 되지는 않고, 두시간 정도 뒤에 될 것이다. 최소 나는 그랬음.Quantization이란?Quantizaion은 메모리 로드 시 32-bit에서 8-bit 내지 4-bit으로 가중치의 precision을 낮추는..

서론지난 포스팅에서는 Hugging Face를 이용해 간단한 파이프라인으로 Question and Answer, Text Summarization, Translation에 대해서 알아봤다. 해당 포스팅에 대해서 알고 싶다면 아래 링크로 가면 된다. 이번 포스팅에서는 text, image, audio를 만드는 방법에 대해서 알아보고자 한다. Hugging Face에 대해 알아보자 (2) Question and Answering, Text Summarization, Translation 기능서론지난 포스팅에서는 Hugging Face API 등록, 감정 분석, 고유명사 식별 분석을 하는 방법을 알아보았다. 이번 포스팅에서는 Hugging Face를 사용해 Question and Answering,Text S..

서론지난 포스팅에서는 Hugging Face API 등록, 감정 분석, 고유명사 식별 분석을 하는 방법을 알아보았다. 이번 포스팅에서는 Hugging Face를 사용해 Question and Answering,Text Summarization, Translation을 해볼 예정이다. 혹시 세팅관련 궁금하다면 지난 포스팅을 참고하면 됨. 이번엔 바로 qna 기능으로 들어가겠다.Question and AnsweringQuestion and Answering은 말 그대로 질문을 하면 답변을 하는 기능이다. 하지만 ChatGPT를 생각하면 안 된다! 왜냐, 우리가 답을 낼 수 있는 문맥을 넣어줘야되기 때문. 그니까 질문이랑, 대답이 가능한 context를 줘야된다. 코드는 다음과 같이 적는다. 참고로 간단하게 ..

서론이번에는 hugging face를 사용하는 방법에 대해 간단히 알아보고자 한다. 포스팅에 앞서 https://huggingface.co/ 에 회원가입 및 로그인을 해야된다. API를 사용하기 때문이다. API 넣는 방법은 포스팅에서 다루려고한다. 일단 로그인만 하셔요. 아 그리고 이번 포스팅은 google colab을 사용할 것이니 참고 요망. GPU를 사용해야 된다.HuggingFace API 사용 방법로그인을 했으면, 우측 상단에 있는 내 프로필 로고를 누른 다음 setting에 들어간다. 이후 Access Tokens에 들어가 우측 상단에 있는 +Create new token을 누른다. 못 찾겠다면 https://huggingface.co/settings/tokens 에 들어가면 된다. 그럼 ..

서론지난 포스팅에서는 생성형 AI에 대해 어떻게 vertex AI를 활용하여 MLOps를 적용하는 지 알아보았다. 이번 포스팅에서는 특히 생성형 AI에 대해 모델 평가를 어떻게 진행하는지에 대해 알아보도록 하겠다. GCP 컨텐츠라 이번에도 역시 vertex AI의 내용이 난사된다.모델 평가란?품질 검사와도 같다. 모델의 acuracy, correct predictions, reliable, consistent performance, Business aligned를 측정하는 것임. 모델 평가가 중요한 이유는 뭘까? 성능이다. 모델의 성능을 알 수 있기 때문이다. 두번째는 일반화다. 모델이 학습된 데이터 뿐 아니라 실제 시나리오에서도 쓰일 수 있는지 아는 것이다. 세번째는 모델 선택이다. 평가를 통해 무엇이..