[MLOps] Seldon Core 개념 이해 및 설치하기

GitHub

MLOps 관련 코드 내용은 GitHub에서 관리하고 있습니다.

https://github.com/Seokii/Study-MLOps

GitHub - Seokii/Study-MLOps: Study MLOps with Kubeflow

 

kubeflow를 공부하는 실습 환경에서 Seldon-core를 설치하기 위해 글을 작성합니다.

 

Seldon Core란

Seldon Core는 쿠버네티스 환경에 수많은 머신러닝 모델을 배포하고 관리할 수 있는 오픈소스 프레임워크입니다. Seldon Core는 공식 문서에서 다음과 같이 정의합니다.

대규모로 Kubernetes에 머신 러닝 모델을 배포할 수 있는 오픈 소스 플랫폼입니다.

Seldon Core는 수천 개의 프로덕션 머신 러닝 모델로 확장하는 것을 처리하고
Advanced Metrics, Request Logging, Explainers, Outlier Detectors, A/B Tests, Canaries 등을 포함한 고급 머신 러닝 기능을 즉시 제공합니다.

 

Seldon Core 설치하기

참고 사이트 : 공식 문서, 모두의 MLOps

helm 설치 : Ubuntu 20.04에서 docker 및 쿠버네티스와 kubeflow 설치하기

 

# Ambassador Ingress 설치

helm repo add datawire https://www.getambassador.io
helm repo update

Seldon Core에서는 쿠버네티스Ingress로 Istio, Ambassador를 사용합니다.

사용 중이던 Istio가 아닌 Ambassador를 사용해 Ingress를 구성하고 Seldon Core를 설치했습니다.

 

helm install ambassador datawire/ambassador \
  --namespace seldon-system \
  --create-namespace \
  --set image.repository=quay.io/datawire/ambassador \
  --set enableAES=false \
  --set crds.keep=false \
  --version 6.9.3

helm으로 ambasaddor를 설치했습니다.

설치하면서 네임스페이스를 같이 생성합니다.

 

kubectl get pod -n seldon-system

생성한 네임스페이스(seldon-system)의 pod를 조회합니다.

ambassador pod가 모두 running 상태인 것을 확인합니다.

 

# Seldon Core 설치

helm install seldon-core seldon-core-operator \
    --repo https://storage.googleapis.com/seldon-charts \
    --namespace seldon-system \
    --set usageMetrics.enabled=true \
    --set ambassador.enabled=true \
    --version 1.11.2

 

kubectl get pod -n seldon-system | grep seldon-controller

Seldon Core가 잘 설치 됐는지 확인합니다.