로직에서 시작해서 로직으로 끝나는

이전 포스팅에 이어서 Airflow + MinIO + Ray Serve를 하나의 Pipeline으로 연결해,“카메라 이미지 업로드 → S3KeySensor 감지 → Ray 추론 호출”이자동으로 이어지는 end-to end 흐름을 완성해보려고 합니다. 단계별로 진행하면,MinIO 초기화 (버킷 생성) →Airflow DAG 추가 (S3KeySensor → Ray Serve) →Airflow와 MinIO 연결 설정 →실제 업로드 트리거와 DAG 실행 확인 까지 하나의 자동화된 Data Flow를 직접 볼 수 있습니다. 이 시리즈의 목적은 “Local 환경에서 Hybrid MLOps Pipeline이실제로 어떻게 동작하는지”를 보여주는 거예요.실제 카메라 이미지 대신 https://picsum.photos ..

이번 글에서는 Ray Serve + FastAPI로 GPU 기반 추론 API를 띄우고,이 서비스의 /metrics를 Prometheus + Grafana로 수집/시각화하는 과정을 정리했습니다.Ray Serve의 actor 기반 구조를 활용해 GPU 리소스를 관리하고,FastAPI end-point로 요청 → 추론 결과 → 평균 지연 시간까지관측 가능한 end-to-end Pipeline을 구축했습니다. 주요 구성요소Ray ServeGPU inference serving frameworkFastAPIREST API endpoint 제공Prometheus/metrics 스크레이프 및 시계열 데이터 수집Grafana요청 수 / 평균 지연 시각화 대시보드Docker Compose모든 스택을 컨테이너 단일 커맨드..

0) Windows 쪽Docker Desktop 실행(필요시) Settings → Resources → WSL Integration (Ubuntu-22.04 ON) / GPU Enabled 확인오른쪽 하단 고래 아이콘이 Running 인지 확인WSL(Ubuntu) 터미널 열기wsl.exe WSL(Ubuntu) 터미널 열기wsl.exe 공통 점검Docker 연결 Ok??docker version GPU OK?!! (CUDA11.6 이미지)docker run --rm --gpus all nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi 둘 다 정상 출력이면 다음 단계로 진행 1) Repository 최신화 + 작업 Branch 재개clone한 dir로 이동cd ~/hyb..

0) 준비Local Clone· dev Branch 생성 · Rulset Setting# 원하는 작업 디렉토리에서git clone cd hybrid-mlops-demo# 원격 브랜치 확인git branch -r# main 최신화 & 로컬 dev 브랜치 생성git checkout maingit pull origin maingit checkout -b devgit push -u origin dev# 추천: 기본 브랜치 보호(웹에서 설정). 로컬에선 실수 방지용 pre-commit hook 설정mkdir -p .githookscat > .githooks/pre-commit &2 exit 1fiSHchmod +x .githooks/pre-commitgit config core.hooksPath .githook..

ML 애플리케이션을 만들 때 “잘 동작하는가?”만큼 중요한 게 바로 “어떻게 동작하고 있는가?” 입니다.이번 단계에서는 서비스의 내부 상태를 들여다보기 위한 첫걸음으로,FastAPI와 Ray Serve의 로그를 로컬에서 직접 관찰(Observability) 해보겠습니다. 우선 복잡한 모니터링 스택(Grafana, Loki, Tempo)을 붙이기 전,가장 간단한 방식인 uvicorn Log 를 이용한 Local 실습부터 시작합니다.!이 과정을 통해 App이 요청을 어떻게 처리하고,어떤 순서로 Log를 남기는지 직접 눈으로 확인할 수 있습니다. 0) 초기화 (이전에 계속 실패했던 ray 깔끔히 정리)# 포트/프로세스 정리ray stop --force 2>/dev/null || truefuser -k 80..

학습 DAG 만들기 Airflow와 MLflow가 준비됐다면 이제 학습 Pipeline을 하나 만들어보겠습니다.이 DAG은 Airflow가 실행하는 단일 Python Task로,MLflow에 학습 Log를 남기고 임의의 정확도를 기록합니다. ~/hybrid-mlops-demo/airflow/dags/train_pipeline.pycat > ~/hybrid-mlops-demo/airflow/dags/train_pipeline.py 실행 방법Airflow Web UI 접속 http://localhost:8080 (ID/PW : airflow / airflow)train_pipeline DAG 활성화 → Trigger 클릭 “클라우드 추론” 시뮬레이터 — Ray Serve이번에는 추론 API Serv..

이번 단계에서는 Airflow로 Pipeline을 관리하고,MLflow로 실험 결과를 추적할 수 있는 Local MLOps 환경을 만듭니다.모든 구성은 ~/hybrid-mlops-demo 폴더 내에서 진행됩니다. 📂 Repository 골격 만들기mkdir -p ~/hybrid-mlops-demo/{airflow/dags,mlflow,ray_inference,infra/minikube,observability}cd ~/hybrid-mlops-demo 디렉토리 구조가 아래와 같이 생성됩니다.hybrid-mlops-demo/├─ airflow/│ └─ dags/├─ mlflow/├─ ray_inference/├─ infra/│ └─ minikube/└─ observability/ 🌬️ Air..

최소 설정만 넣어 YAML/파이썬/K8s 편집 최적화cat > ~/.vimrc w :wnnoremap q :qEOF

DevStack은 복잡한 오픈스택 시스템을 자동으로 설치하여 어떻게 동작하는지 이해할 수 있도록 도와주는 프로젝트입니다.특징:오픈스택 All-in-One 설치 제공다양한 프로젝트 구성 요소 확인 가능오픈스택을 처음 접하는 유저에게 추천 설치 전 준비1️⃣ VirtualBox 설치하기다운로드 👉 https://www.virtualbox.org/wiki/Downloads설치 중간에 “Network Disconnection” 메시지가 떠도 Yes 눌러서 계속 진행하세요.2️⃣ Ubuntu Server 24.04 LTS 다운로드👉 https://ubuntu.com/download/server이 파일은 나중에 VirtualBox에서 “가상머신”을 만들 때 사용할 거예요.3️⃣ 가상머신 만들기 (VirtualB..

OpenStack을 설치하기 위한 시스템 준비! 🎯 학습 목표오픈스택 설치를 위한 기본 환경 준비가상 서버(Hypervisor) 설치 및 설정우분투 서버 설치네트워크 테스트 베드 구성 방법 이해📌 Agenda가상 서버 준비하기우분투 서버 설치하기네트워크 테스트 베드 구성하기1️⃣ 가상 서버 준비하기 – Hypervisor 설치 전 준비▪ 최소 사양CPU : 4 core 이상 (i5급 이상 권장)Memory : 4GB 이상Disk : 500GB 이상▪ 권장 사양Memory : 8GB 이상예: VM 8개 × 1GB = 8GB 필요 2️⃣ 가상 서버 준비하기 – VirtualBox 설치- VirtualBox.org 에서 최신 버전 다운로드- Extension Pack도 함께 설치 필요 설치 절차1..