AI 모델 배포는 여전히 어려운 과제입니다. 실제로 2024년에는 기업의 78%가 AI를 사용했지만, AI 성숙도에 도달했다고 답한 리더는 1%에 불과했습니다. Arcfra는 이러한 문제를 해결하기 위해 엔터프라이즈급 MaaS(Model-as-a-Service) 플랫폼인 Neutree를 출시했습니다. Neutree는 AI 모델을 안정적이고 확장 가능하며 관리 가능한 서비스로 운영할 수 있도록 지원하여 AI 운영을 산업화하는 데 중점을 둡니다.
Neutree는 AI 모델 추론을 위한 통합 관리 레이어를 제공하여 기업이 AI 실험에서 실제 프로덕션 환경으로 전환하는 데 겪는 어려움을 해결합니다. 이 플랫폼은 Kubernetes 클러스터, 물리적 머신, 가상 머신 등 어디든 배포할 수 있는 유연성을 제공하며, Nvidia, AMD, Intel과 같은 다양한 가속기를 통합하여 워크로드를 R&D에서 엣지 디바이스 또는 데이터 센터로 쉽게 이동할 수 있도록 지원합니다. Arcfra는 오픈 소스 Neutree와 엔터프라이즈급 기능을 추가한 Arcfra Neutree Enterprise Edition을 모두 제공합니다. Enterprise Edition은 24시간 지원 및 Arcfra Enterprise Cloud Platform(AECP)과의 통합을 통해 미션 크리티컬 안정성을 제공합니다.
Neutree의 주요 이점은 다음과 같습니다:
- 벤더에 구애받지 않는 배포: 모든 Kubernetes 클러스터, 물리적 시스템 또는 VM에서 실행됩니다.
- 통합 리소스 오케스트레이션: 단일 제어 평면을 통해 데이터 센터, 퍼블릭 클라우드 및 엣지 사이트에서 CPU/GPU 리소스 및 모델 레지스트리를 중앙에서 관리합니다.
- 3단계 “노코드” 배포: 배포 시간을 며칠에서 몇 분으로 단축합니다.
- 엔터프라이즈 거버넌스: 다중 테넌트 격리, 실시간 관찰 기능 및 세분화된 RBAC를 통해 “2일차” 운영을 단순화하여 정확한 ROI 감사를 지원합니다.
AI 거버넌스는 점점 더 중요해지고 있습니다. 기업은 AI 시스템이 어떻게 검토, 승인 및 모니터링되는지 보여주는 시스템 기록을 생성해야 합니다. Neutree는 AI 워크플로우에 거버넌스 컨트롤을 직접 포함하여 이러한 문제를 해결하고, AI 활동에 대한 측정 가능한 가시성을 제공합니다. 결론적으로 Arcfra Neutree는 AI 모델을 안정적이고 관리하기 쉬운 서비스로 전환하여 기업이 AI 투자를 최대한 활용할 수 있도록 지원합니다.
[참고 문헌 및 출처]
- truefoundry.com
- prnewswire.com
- medium.com
