AlphaCode Products
아이디어를 현실로 바꾸는 알파코드의 다양한 프로덕트를 소개합니다.
제품 소개
Orbit
데이터를 밖으로 내보내지 않고, LLM 운영의 처음부터 끝까지. Orbit은 폐쇄망 환경을 위한 통합 LLM Ops 플랫폼으로, 프롬프트 작성부터 평가·배포·운영·데이터 가공까지 사내 콘솔 하나에서 처리합니다.
주요 기능
LLM을 제대로 운영하려면 프롬프트 관리, 품질 평가, 게이트웨이, 모니터링, 데이터 파이프라인까지 서로 다른 도구를 각각 구축해야 했습니다. Orbit은 그 전부를 하나의 사내 콘솔에 담았습니다.
프롬프트 관리 & 평가
프롬프트를 코드에서 분리해 하나의 자산으로 관리합니다. 작성 즉시 실행해보고, 버전별로 게시하고, 문제가 생기면 이전 버전으로 바로 되돌립니다. 자동 채점과 A/B 테스트로 이 변경이 정말 더 나은가를 감이 아닌 수치로 확인한 뒤 운영에 반영합니다.
통합 게이트웨이
여러 LLM을 하나의 API로 호출합니다. 모델을 교체해도 클라이언트 코드는 그대로입니다. 자동 캐시로 중복 호출 비용을 줄이고, 속도 제한으로 사용량 폭주를 차단하며, 장애 시에는 대체 모델로 자동 전환해 서비스를 유지합니다.
운영 관찰성 & 비용 관리
모든 LLM 호출이 추적됩니다. 하나의 요청이 어떤 단계를 거쳤고 어디서 느려졌는지 시간축으로 들여다볼 수 있습니다. 호출량·지연·에러율·비용은 실시간 대시보드로, 비용은 모델·프로젝트·사용자별로 자동 집계됩니다.
데이터 계층 & RAG
운영 데이터를 다시 쓸 수 있는 자산으로 바꿉니다. 실제 운영 기록에서 데이터셋을 만들고, 시각적 파이프라인으로 정제·임베딩해 벡터 인덱스로 적재합니다. 그대로 사내 챗봇과 검색의 RAG 인프라가 되며, 모든 단계의 데이터 출처가 그래프로 추적됩니다.
Orbit
데이터를 외부로 보낼 수 없는 환경에서는 클라우드형 LLM 운영 도구를 쓸 수 없어, 결국 기업마다 5~6개의 도구를 따로 만들어 이어붙이게 됩니다. Orbit은 이 문제를 해결합니다. 사내에 단일 배포 단위로 설치되어 프롬프트·운영 기록·평가 데이터·임베딩이 모두 사내에만 저장되며, 외부와 통신하는 지점은 LLM 추론 호출 하나뿐입니다. 자가 가입 차단, 2단계 인증, IP 화이트리스트, 권한 체계, 감사 로그도 옵션이 아닌 기본입니다. 운영 기록이 평가 케이스가 되고, 정제된 데이터셋이 벡터 인덱스가 되어 다시 사내 서비스의 검색 품질을 높입니다. 쓸수록 축적되는 이 구조가 Orbit이 단순한 관리 도구와 다른 지점입니다.