다들 웃고있는거 맞죠?^^
sk ai fly에서 만난 이들의 mlops study!
AI와 빅데이터의 시대인만큼 현업에서 AI를 효과적으로 운영하고 적용하는 데 필수적인 MLops의 중요성이 커짐에 따라 mlops에 대해 알고자하는 이들끼리 스터디 결성
ML 시스템 개발(Dev)과 ML 시스템 운영(Ops)을 통합하여 데이터 레이블링의 일관성을 유지, 자동 운영하는것
즉, 계속해서 AI/ML을 개발, 배포, 운영하는 Workflow 자체를 MLops라 함
• 궁극적인 목표:각자 강의를 보고 쿠버네티스 기반 MLOps 만들어보기
• 실제 프로젝트에서의 MLops 적용 사례 및 경험 공유
• ELICE INSIGHT CONF: MLops 시청(VOD 보유)
• Kaggle or Dacon code review
MLops study 동기 및 목표에 대해 이야기하였고 앞으로 어떻게 스터디를 운영할지 결정하였습니다. 스터디 운영 방향성 강의를 보며 쿠버네티스 기반 MLOps를 만드는 것을 궁극적인 목표로 하며 그에 도움되는 컨퍼런스, 논문, kaggle code review, 현업적용 사례 같은 부가적인 레퍼런스 대해 지속적으로 소통하며 부족한 부분을 채우고 MLOps를 이해하고 구현
- [과제] 내가 생각하는 MLOps 생각해오기(~2024.01.03)
각자가 생각하는 MLops를 말하였습니다.
그리고 mlops 강좌들을 살펴보며 강좌를 골랐습니다
[선정 강좌]머신러닝 엔지니어 실무 - chris song
https://www.inflearn.com/course/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4-%EC%8B%A4%EB%AC%B4#curriculum
- [과제] Session 1까지 듣기
들은 강의
Session0. 머신러닝 파이프라인 소개
Session1. 머신러닝 프로젝트 실험관리
오늘의 Insight
원디비의 존재를 알다.
쉬운 머신러닝과 어려운 머신러닝의 차이
달파는 모든 서비스가 2주안에 끝남
데이터의 변환이 빨리 일어나면 모델 학습을 자동화하니까 모델학습을 자동화 시켜줌
웨이트 인 바이어스로 결과를 도출하는 방식이 상당히 전문적이고 실제 발표에서 써볼만
elice MLOps conference 세션 2개 맛보기
- DATABRICKS를 활용한 MLOps
- MLOps를 시작하는 5단계 기초부터
[과제] 각자 MLops tool 한개씩 공부해오기
Session 2. 코드 품질, 데이터 검증, 모델 분석
오늘의 Insight
민우 - mlflow
가경 - amazone sagemaker
예람 - tensorflow extended
민수 - jenkins
다은 - github action
각자 조사해온 툴을 발표하였고 발표하면서 데이터 수집부터 배포 부분을 맡거나 실험 검증 부분을 맡거나 전과정을 맡거나
다양한 툴을 보면서 어떨 때 어떠어떠한 툴을 써야하는지 알게되었다.
그리고 이러한 툴을 사용해서 자동화를 하여 전체적인 업무 효율이 올라갈 수 있고
전체적인 품질 향상에 기여하고 researcher와 시너지도 날 것이다.
[과제] MLOps 활용 사례 하나씩 조사해오기
Session 3. 도커&쿠버네티스 기초
MLOps 엔지니어가 왜 도커와 쿠버네티스를 사용하는지 현업에서 협업을 할 때 도커와 쿠버네티스가 어떤 역할을 맡는지 알게되었고
node, pod, container, docker, kubernetes 같은 기본 개념을 알게되었다.
MLOps 활용 사례는
-
기업들의 MLOps 파이프 라인 구축(SK, 네이버, 카카오)
-
추천시스템, 자율 주행 기술에 쓰이는 파이프라인
-
품질 관리, 실험
그러한 현업 사례들을 살펴보며 왜 MLOps가 필요하고 데이터를 잘관리할 수 있어야하는지
보다 직관적으로 알게 되었다.
[과제] MLOps 활용한 Code Review 하나씩 해오기
오늘의 강의 Keypoint
- kubeflow에 대해서 알고 실습을 통해 센트럴 대시보드, TFjobs, mini0 과 같은 기능을 알게 되었다.
- 추상화와 재사용성 도커를 이용해서 관리 비슷한 걸 또 사용할 수 있음
- 조합가능성(독립적), 이식성, 유동성,
- 표준화 yaml파일로 다 정의할 수 있음
- 재사용가능한 컴포넌트의 원리
MLOps 활용한 Code Review- github action,AWS S3, S2를 활용한 자동 배포
- 실제 프로젝트에서 fast api 코드를 dockerfile 등으로 이미지화 후 컨테이너로 생성,
- Kubeflow로 pytorch 모델 배포 CODE
- MLOps의 3대 구성 요소 이야기하고 토의하였음 [과제]각자 한 것 GITHUB 정리 및 재충전의시간😎