영상 한 번 보고 최대 10분 작업…스킬드 AI, 로봇 모델 ‘S1’ 공개

사람이 작업하는 모습을 영상으로 한 번 보여주는 것만으로 로봇이 최대 10분짜리 새 과제를 수행하는 기술이 공개됐다. 미국 로봇 스타트업 스킬드 AI는 여러 작업에 공통으로 활용하는 기반 인공지능인 로봇 파운데이션 모델 ‘S1’을 발표했다. 공식 발표에 표시된 게시일은 2026년 8월 18일이다.

기존 방식으로 로봇에 새로운 작업을 가르치려면 사람이 로봇을 직접 원격으로 움직이는 원격조작 데이터를 수십~수백 시간 모으고, 해당 작업에 맞춰 모델을 다시 미세조정해야 했다. S1은 문맥 내 학습(ICL)을 적용해 이런 작업별 데이터 수집과 미세조정 절차를 줄이는 데 초점을 맞췄다.

문맥 내 학습은 추론 과정에서 모델의 가중치, 즉 학습으로 정해진 내부 설정값을 바꾸지 않고 주어진 정보를 곧바로 참고하는 방식이다. S1은 사람의 시연 영상을 하나의 작업 명세처럼 사용해 수행 의도와 행동 순서를 파악하고, 현재 놓인 물체와 주변 환경, 로봇의 신체 조건에 맞는 행동을 생성한다.

회사는 10만 시간 규모의 사전학습 데이터를 사용한 내부 벤치마크에서 학습 중 접하지 않은 과제를 평가했다. 언어 명령을 입력받는 기존 시각·언어·행동 모델(VLA)은 9%, 영상 시연을 활용한 S1은 66%를 기록했다. 다만 두 수치는 전체 과제를 처음부터 끝까지 완수한 비율이 아니라 각 단계의 평균 성공률이다. 실패가 발생하면 사람이 개입해 복구한 뒤 남은 단계를 계속 평가했다.

학습 데이터가 1천 시간일 때는 기존 언어 조건형 VLA가 53%로 ICL의 43%보다 높았지만, 데이터 규모가 커지면서 결과가 역전됐다. 스킬드 AI는 한 번의 영상 시연으로 나온 66%가 작업별 후학습 시연 약 380회와 맞먹는다고 보간해 추정했다. 기존 방식은 시연 2천회를 사용했을 때 86%에 도달했다. 서로 다른 학습 방식의 효율을 비교한 회사 내부 추정치라는 점은 수치를 읽을 때 함께 살펴야 한다.

회사는 학습 데이터의 품질 관리에도 비용을 투입했다고 설명했다. 데이터를 수집하는 데 1달러를 쓰면 품질검사에 3달러를 사용했으며, 로봇 동작의 정밀도와 작업 일관성, 주석의 정확성을 확인했다고 밝혔다.

화분 옮겨심기 실험에서는 시연 촬영부터 로봇의 자율 실행이 시작되기까지 11분이 걸렸다. 팬케이크 뒤집기, 드립커피 내리기, 부품 키트 조립처럼 학습 과정에서 보지 못한 최장 10분 길이의 과제도 한 번의 시연을 바탕으로 수행했다고 회사는 설명했다.

S1은 시연 때와 물체 위치가 달라지거나 조명이 바뀌어도 작업을 이어갔고, 실수한 뒤 다시 시도하는 복구 행동도 보였다고 회사는 밝혔다. 사람의 시연에 실수가 포함돼 있어도 이를 그대로 반복하지 않고 개선된 행동을 생성한 사례도 소개했다.

영상 한 번을 활용하는 로봇 문맥 내 학습 자체에는 선행 사례가 있다. 스킬드 AI의 선행 연구 ‘LocoFormer’는 에피소드 사이의 기억을 유지해 학습하지 않은 로봇 몸체와 모터 고장에 적응하는 보행 방식을 제시했으며 CoRL 2025에 채택됐다.

엔비디아·스탠퍼드대학교·텍사스대학교 오스틴캠퍼스 연구팀도 2026년 7월 ‘RoboTTT’를 공개했다. 이 모델은 8천 타임스텝의 문맥으로 사람 영상 하나를 모방해 10회 중 6회 성공했다. 5분 동안 10단계를 수행하는 조립 과제에서는 10회 가운데 2회를 완전히 마쳤다. 따라서 S1의 차별점은 회사 주장에 따르면 미학습 과제를 최대 10분 동안 수행한 범위에 있다.

스킬드 AI는 현재 일부 협력업체와 S1을 실제 현장에 투입해 시험하고 있다. 회사는 이를 물리적 세계에 기반한 범용인공지능으로 향하는 신호라고 강조했다. S1의 의미는 새 작업마다 로봇을 다시 학습시키는 대신 영상 시연을 즉석 작업 지침으로 활용하는 가능성을 구체적인 장기 과제로 제시했다는 데 있다.

자료: Skild AI, NVIDIA, Stanford University, The University of Texas at Austin