[GCP] MLOps framework for 생성형 AI (2)

서론

지난 포스팅에서는 GCP 오피셜 튜토리얼 사이트에 대해 알아봤다. 이번 포스팅에서는 내가 들었던 코스 내용에 대해서 말하도록 하겠다. 이 코스가 끝나면 전반적으로 얼마나 값진지도 추가로 포스팅할 예정이다. 이번 포스팅은 MLOps framework에 대해 알아보는 시간이다. 5분도 안되는 영상인데 정보가 너무 많다.

---

MLOps 개념

MLOps란 "A set of standardized process and capabilities for building, deploying, and operationalizing ML systems rapidly and reliably"라고 한다. ML system을 표준화한다는 말임. Predictive AI와 Generative AI flow를 표준화하는데, predictive AI는 AI를 사용해 특정 작업이나 특정 문제를 해결하는 것이다. 새로운 컨텐츠를 만드는 능력은 없음. 기존 알고리즘과 데이터를 사용하는 것으로 소위 분석한다고 할 때 하는 회귀, 분류와 같은것이다. 그와 달리 Generative AI는 creating new content라고 한다. - text, images, music을 패턴이나 기존 데이터로 human-like outputs를 생성하는 것임. 아래는 traditional ML workflow에 대한 사진이다. ML 이후 trained 모델  -> serving(with new data) -> prediction 과정을 볼 수 있다.

(좌)기존 ML (우) 현재 MLOps - monitoring이 추

원래 이랬는데, 최근엔 데이터가 계속 변하니 이걸 모니터링해야된다는 것의 필요성을 알게 되어 우측 사진과 같이 추가 되었다. 그런데 이건 기존 ML serving에 대한 것이고, generative AI serving은 직면하는 과제, vertex AI(GCP 컨텐츠라 vertex AI로 말한듯)로 해결하는 과정이라고 한다.

---

MLOps workflow for GenAI

중간중간 traditional 모델과 비교가 있어서 볼드체한 글씨만 읽어도 된다. traditional ML workflow와 달리 생성형 AI 경우, 처음 experiment단에는 Discover가, 마지막 predict 단에는 prompt가 추가된다. 또한 experiement, discover 단계에서 바로 prompt&predict 단계로 간다(short cut으로 말이다). 이 때 프롬프트를 이용해서 즉시 예측을 가능하도록 한다. experiment 단계에서 넘어가면 기존에는 train으로 넘어가지만, 생성형 AI 경우는 새로운 단계가 2개 더 나오는데, 바로 1) customization&tuning 그리고 2) curate data(사진 제일 하단)이다. customization&tuning은 생성형 AI가 특정 task를 수행하기 위해 fine-tuning을 하고, pre-trained 모델을 customiation하는 것이다. 기존 ML 모델에서 바로 training하는 것과 대비된다. curate data는 선별된 데이터로 기존 ML에서 다량의 데이터를 사용하는것과 대비되는 모습이다. 데이터 레이크와 데이터 웨어하우스로부터 모델 학습에 적합한 데이터를 확보하도록 해야되는 것이다. 나아가 생성형 AI를 위한 MLOps에서는 새로운 artifacts를 관리(governing)하는 단계가 있다고 한다. 생성형 AI는 거버넌스가 필요한 layer, embedding과 같은 튜닝이 필요하다. 모니터링 단계에서는 새로운 metrics가 도입된다. 기존에는 accuracy나 precision을 측정했지만 이거로는 생성형 AI를 평가하는데 불충분하기 때문이다. 그래서 fluency, factuality, brand reputation과 같은 것들이 평가지표 주로 사용된다고 한다. 더 알고 싶다면 Vertex AI가 제공하는 도큐먼트를 참고하라고 한다. 마지막 단계에서는 curate data나 기업 데이터 통합을 한다. 기초 모델이 습득한 지식에 국한된것처럼 보이지만, 이걸 통해 더 정교한 데이터 access가 가능하다. 그러나 추가 데이터를 통합하면 새로운 평가 및 모니터링 문제가 발생하여 전반적으로 복잡성이 증가하게 된다. Vertex AI가 생성형 MLOps를 간소화할 수 있다고 한다.

---

끝으로

이번 포스팅에선 MLOps에 대한 전반적인 framework에 대해 알아봤는데, 다음 포스팅에서는 생성형 AI에 대해 보다 더 자세히 알아본다고 한다. 뉘앙스를 embracing한다나. 다음 포스팅이 궁금하면 여기로 오면 된다. 부디 다음 포스팅에서 봅시다.