FIG.01 — FEATURED · NAVER CLOUD
2025.07 — NOW
MLXP
Data Manager
Data Manager는 ML 워크로드에서 사용하는 HuggingFace 인터페이스의
데이터셋 관리 시스템입니다. NAVER Cloud ML expert Platform(MLXP)의 일부로,
사내 GPU·데이터 파이프라인 플랫폼에서 테라바이트 단위의 데이터셋을 다룹니다.
저는 이 프로젝트에서 워크스페이스별 쿼터 관리 개발을 주도했습니다.
데이터셋 용량과 파일 개수 기준의 쿼터를 설계해 적용했고, 사용자·데이터셋별
사용량을 집계하는 미터링을 만들어 이용 패턴 분석과 어뷰징 탐지에 쓰고 있습니다.
MY PART — QUOTA & METERING
01
워크스페이스별 쿼터 관리
데이터셋 용량 · 파일 개수 등 여러 기준을 함께 검사하는 쿼터 로직 설계·개발.
02
스토리지 사용량 추적
사용자 · 데이터셋 단위의 스토리지 사용량 집계. TB 규모에서도 어긋나지 않게 수치를 맞추는 게 핵심.
03
쿼터 미터링 & 어뷰징 방지
이용 패턴을 들여다볼 수 있는 미터링 구현. 자원 어뷰징을 탐지하는 데 쓰입니다.
KUBERNETES
KOTLIN
SPRING
GO
PYTHON SDK