서론지난 포스팅에서는 Hugging Face API 등록, 감정 분석, 고유명사 식별 분석을 하는 방법을 알아보았다. 이번 포스팅에서는 Hugging Face를 사용해 Question and Answering,Text Summarization, Translation을 해볼 예정이다. 혹시 세팅관련 궁금하다면 지난 포스팅을 참고하면 됨. 이번엔 바로 qna 기능으로 들어가겠다.Question and AnsweringQuestion and Answering은 말 그대로 질문을 하면 답변을 하는 기능이다. 하지만 ChatGPT를 생각하면 안 된다! 왜냐, 우리가 답을 낼 수 있는 문맥을 넣어줘야되기 때문. 그니까 질문이랑, 대답이 가능한 context를 줘야된다. 코드는 다음과 같이 적는다. 참고로 간단하게 ..

서론이번에는 hugging face를 사용하는 방법에 대해 간단히 알아보고자 한다. 포스팅에 앞서 https://huggingface.co/ 에 회원가입 및 로그인을 해야된다. API를 사용하기 때문이다. API 넣는 방법은 포스팅에서 다루려고한다. 일단 로그인만 하셔요. 아 그리고 이번 포스팅은 google colab을 사용할 것이니 참고 요망. GPU를 사용해야 된다.HuggingFace API 사용 방법로그인을 했으면, 우측 상단에 있는 내 프로필 로고를 누른 다음 setting에 들어간다. 이후 Access Tokens에 들어가 우측 상단에 있는 +Create new token을 누른다. 못 찾겠다면 https://huggingface.co/settings/tokens 에 들어가면 된다. 그럼 ..

서론지난 포스팅에서는 생성형 AI에 대해 어떻게 vertex AI를 활용하여 MLOps를 적용하는 지 알아보았다. 이번 포스팅에서는 특히 생성형 AI에 대해 모델 평가를 어떻게 진행하는지에 대해 알아보도록 하겠다. GCP 컨텐츠라 이번에도 역시 vertex AI의 내용이 난사된다.모델 평가란?품질 검사와도 같다. 모델의 acuracy, correct predictions, reliable, consistent performance, Business aligned를 측정하는 것임. 모델 평가가 중요한 이유는 뭘까? 성능이다. 모델의 성능을 알 수 있기 때문이다. 두번째는 일반화다. 모델이 학습된 데이터 뿐 아니라 실제 시나리오에서도 쓰일 수 있는지 아는 것이다. 세번째는 모델 선택이다. 평가를 통해 무엇이..

서론지난번엔 MLOps에 대한 내용에 대해서 알아보았다. 거의 강의를 옮겨적어놨는데 MLOps에 대한 이해에 조금이라도 도움됐길 바란다. 이번 포스팅에서는 MLOps가 직면하는 과제에 대해서 알아보도록 하겠다. 또한, Vertex AI를 활용해 어떻게 프로세스를 간소화 하는지 어떤식으로 지원하는 지에 대해서도 알아본다. 이 포스팅 역시 볼드체 위주로 한 번 보고 이후에 슥슥슥 내려가는 걸 추천한다.생성형 AI 통합 과제생성형 AI를 효과적으로 통합하기 위해서는 생성형 AI가 제시하는 과제(=생성형 AI를 MLOps framework에 통합)를 파악해야 된다고 한다. 첫번째 과제는 선행학습된 멀티테스킹 모델에 대한 infrastructure 요구의 증가라고 한다. 특히 LLM은 아키텍처도 복잡하고 선행학습..

서론지난 포스팅에서는 GCP 오피셜 튜토리얼 사이트에 대해 알아봤다. 이번 포스팅에서는 내가 들었던 코스 내용에 대해서 말하도록 하겠다. 이 코스가 끝나면 전반적으로 얼마나 값진지도 추가로 포스팅할 예정이다. 이번 포스팅은 MLOps framework에 대해 알아보는 시간이다. 5분도 안되는 영상인데 정보가 너무 많다.MLOps 개념MLOps란 "A set of standardized process and capabilities for building, deploying, and operationalizing ML systems rapidly and reliably"라고 한다. ML system을 표준화한다는 말임. Predictive AI와 Generative AI flow를 표준화하는데, predic..