40 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 41
3. AI 기반 자율로봇 기술 동향
AI 기반 자율로봇 기술 동향
저자 : 우현수 로봇 PD / KEIT
박동일 센터장·책임 / 한국기계연구원
김정중 실장 / 한국기계연구원
권욱향 수석 / KEIT
요약
본고에서는 AI 기반 자율로봇 기술에 대한 동향을 다루고 있다. 국내외에서 AI와 제조로봇 기술을 결합하여
자율제조시스템을 구축하는 노력이 확대되고 있으며, 자율작업이 가능한 로봇 플랫폼 기술, 환경 및 작업 인지
기술, 자율작업 계획 및 지능 기술 등이 발전하고 있다.
서론에서는 로봇 기술의 패러다임과 제조 환경 변화에 따른 AI와 로봇 기술의 중요성을 살펴볼 것이다. 이를
위해서는 고난도 작업 수행과 환경 감지, 상호 연계 작업 등 다양한 기술의 융합이 필요하다.
주요국들은 AI와 로봇 기술을 제조산업에 융합하는 전략을 수립하고 있으며, 우리나라 제조로봇 기술은 복잡한
작업에 대응하고 생산성을 향상시키며 자율화된 제조 공정을 실현하는 것을 목표로 하고 있다.
고령화와 노동력 부족 등의 문제에 대응하기 위해 AI와 로봇 기술이 제조산업에 더욱 필수적으로 부상하고 있다.
제조업 중심의 우리나라가 경쟁력을 확보하기 위해서는 AI 기반 로봇 기술의 개발과 관련 산업의 육성이
필수적이다.
42 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 43
3. AI 기반 자율로봇 기술 동향
1 서론
로봇 기술 패러다임의 변화
과거의 로봇은 높은 정확도와 속도 그리고 사람을 능가하는 파워를 활용하여 정해진 특정 작업을 전문적으로
수행하는 개념이었으며, 반복적이고 예측 가능한 공정에서 프로그래밍 기반의 작업 계획을 바탕으로
활용하는 사례가 주를 이루었다. 현재는 머신러닝, 빅데이터, 인공지능 등 급격한 기술의 발전과 함께
환경을 이해하고 자율적으로 작업을 수행하며, 스스로 작업 성능을 진화시킬 수 있는 지능화·유연성·
협업성 등이 강조되면서 근본적인 패러다임 변화를 겪고 있다.
또한 과거부터 제조로봇과 서비스로봇의 경계가 명확히 구분되었고, 현재도 응용 및 시장 관점에서는
명확한 구분이 유지되고 있다. 그러나 기술 관점에서는 로봇 HW 플랫폼, 자율작업 로봇 기술 그리고
AI 기술의 발전과 기술 융합 트렌드에 따라 제조로봇과 서비스로봇의 범위가 점차 모호해지고 있다.
AI 기반 자율로봇 기술의 범위
AI와 로봇을 이용한 자율작업 구현을 위해서는 ① 인간 수준의 고난도 작업을 수행할 수 있는 로봇 플랫폼
기술은 물론이고 ② 작업 환경을 감지하고 작업물의 위치와 상태를 파악함으로써 작업 지능을 향상시킬 수
있는 센싱 기술, ③ 로봇-장비 간 상호 연계 작업, 로봇-로봇 간 상호작용 기술, ④ 다양한 생산 개체의
역할을 효율적으로 배분하고 기존의 수많은 공정 데이터 활용을 위한 데이터 관리, 응용 및 네트워크/클라우드
기술, ⑤ 다양한 작업을 간편하게 지시할 수 있도록 하는 이미지인식, 음성인식, 자연어처리 기반 지능 교시 기술,
⑥ 다양한 복합 작업과 공정을 순차적으로 배치하고 작업 효율화를 구현할 수 있는 공정 최적화 기술,
⑦ 제조 공정에서 발생하는 데이터를 분석함으로써 새로운 작업에 대한 학습 및 자율작업 계획이 가능한
인공지능 기술, ⑧ 제조 공정에 문제가 발생할 때 자동으로 문제를 진단하고 해결함으로써 제조 공정의
신속한 복구를 도와줄 수 있는 자체 진단·보수 기술, ⑨ 신뢰성 높은 가상환경 모델링과 Sim2Real·Real2Sim
기반 디지털 트윈 기술 등 다수의 기술 확보와 기술 융합이 필요하다.
그림 1. 자율제조를 위한 AI와 로봇 기술의 구성
2 AI 기반 자율로봇을 위한 국내외 로봇 정책 동향
AI·제조로봇 관련 국가별 정책 동향
일본, 유럽, 미국 등 해외 기술 선진국에서는 기계 및 IT 기술과 제조산업의 강점을 기반으로 로봇 기술을
선도해 왔으며, 최근에는 AI 기술과의 융합을 통한 국가 전략을 수립하고 있다. 중국에서도 AI, 로봇 등
첨단기술 분야에 대한 R&D 투자와 과학기술 인력 측면의 강점을 바탕으로 급격한 성장을 이루고 있다.
- (미국) ‘첨단제조업 파트너십(Advanced Manufacturing)’의 일환으로 5년 주기의 「국가 로봇 계획(NRI;
The National Robotics Initiative)」이 범부처 사업으로 추진 중이다. 2022년에는 경제 성장, 고품질 일자리
창출, 환경 지속가능성 개선, 기후변화 대응, 공급망 강화, 국가 안보 보장, 의료 개선 등을 위한 비전이 제시된
「첨단제조 국가 전략」이 발표되었다.
- (EU) 2021년부터 적의 의사결정 지원과 효율적 작업 수행을 위한 AI와 로봇에 대한 기초 연구, 기술 적용 및
응용개발 연구를 위한 공동 AI 플랫폼 구축을 목표로 「호라이즌 유럽(Horizon Europe)」을 추진 중이다. 또
독일을 중심으로 인간을 위한 다양한 로보틱스 관련 R&D 프로그램을 추진하고 있다.
- (일본) 제조업 현장을 포함하여 인간 보조 및 사회 인프라 등 다양한 분야에서 로봇을 통해 데이터 축적 후
인공지능 기술을 융합한 「로봇 기반 사회변혁 추진계획」을 2019년에 발표했다. 이후 과학기술진흥기구
(JST)는 2022년 「혁신기술(Moonshot Project)」의 목표로서 자동 학습, 환경 적응, 지능 진화 및 사람과
함께 행동하는 AI로봇을 제시했다.
- (중국) 제조 강국으로의 도약을 위한 「중국제조 2025」 이후 2021년 산업 발전의 기반 구축, 특정 산업을
대상으로 한 고품질 제품 생산, 로봇산업 응용의 확장 등을 목표로 한 「14차 로봇산업 발전 계획」을 발표한
바 있다. 최근에는 미국의 생성형 인공지능 서비스 육성에 대응한 「AI+ 행동」으로 이름 붙인 AI 산업 육성책을
발표했다.
우리나라 첨단로봇·제조 분야 국가전략기술
국가 12대 첨단전략기술에 포함된 첨단로봇·제조는 디지털 전환(DX)을 현실 세계로 보여주는 융복합
기술로 정의한다. 여기에는 인구 감소에 따른 사회문제의 해결과 국가경쟁력 강화의 핵심 수단으로 AI,
자율주행, 로봇, 자율제조 등과 관련된 핵심기술들을 포함하고 있으며, AI 기반 자율제조 로봇과 연관성이
매우 높은 기술들로 정의되어 있다.
- (로봇 정밀제어·구동의 부품·SW) 로봇의 주변 환경 및 사용자의 인지적·신체적 의도를 인식하고 움직임을
제어·구동하는 로봇 제품의 성능과 신뢰성을 제고하는 코어부품 기술
- (로봇 자율이동) 로봇이 비정형 실내외 환경에서 인간의 구체적 지시 없이도 목표하는 위치로 자율적으로
이동하는 기술
- (고난도 자율조작) 유연 관절 및 초경량 팔과 손을 이용해 로봇의 자율적인 상황 인지와 판단을 바탕으로
안전한 작업을 수행하는 기술
44 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 45
3. AI 기반 자율로봇 기술 동향
- (인간-로봇 상호작용) 로봇과 사람 간 상호작용과 의사소통을 위해 다양한 상황에 대한 복합적 이해를
기반으로 행동·표현·대화 등을 자율적으로 고속 생성하는 기술
- (가상제조) 스마트팩토리를 가상 공간(디지털 트윈)에 이식하여 시공간의 제약을 탈피한 제조·생산·공정에
대한 지능화·혁신 기술
그림 2. 12대 국가전략기술: 첨단로봇·제조 분야의 비전 및 중점 기술
제조로봇 분야 기술개발 로드맵 방향
로봇 활용이 어려웠던 기존의 복잡한 작업에 로봇 자동화 요구와 작업 환경 개선, 생산성 향상을 동시
달성할 수 있는 인간-로봇 공존/공동 작업의 필요성을 충족시키고, 나아가 비정형 유연 생산 환경까지
포함한 완전자율화 제조공정을 실현하기 위한 기술 확보 방향이 설정되고 있다.
고난도 작업로봇 기술은 인간 수준의 비정형물이나 유연체 핸들링 및 고정밀 조립 작업 등 난이도가 높은
공정을 자동화할 수 있는 로봇 기술을 의미하며, 궁극적으로 인간 수준의 자율작업에 도달하는 것을 목표로
한다. 이를 위해서는 제조 현장에서 작업의 복잡성과 난이도가 높아 아직 자동화되지 못한 공정을 대상으로
시각과 촉각 등 다양한 감각으로 작업 환경 및 작업 상태를 이해하고 작업 매뉴얼, 전문가의 작업 스킬,
작업 상태 변화의 학습이 요구된다.
유연공정 대응 로봇 기술은 공정 환경이 일정하지 않은 제조 공정에서 FMS 및 스마트공정 장비 등과
유기적으로 연계할 수 있다. 즉 유연공정 대응 로봇 기술은 공정 변화에 최적의 효율을 예측하고 사람과
상호작용이 수반될 수 있는 공동작업 환경에서 탄력적인 대응이 가능한 로봇과 이를 활용하는 기술을
의미한다. 그리고 인간과 로봇이 팀을 이루어 최적의 생산 환경을 구축하고 나아가 다양한 형태의 유연
제조 환경에서 AI 기반 자율제조시스템의 신속한 구축을 목표로 한다.
3 AI 기반 제조로봇의 기술 동향
급격한 제조 환경 및 신산업 패러다임의 변화에 따라 제조 경쟁력 확보와 제조산업 스마트화를 위해서
첨단로봇을 활용한 제조 자동화에 대한 요구가 급격히 증가하는 추세다. 기존의 전통적인 제조로봇 기술을
넘어 AI와 Big data 등 디지털 혁신기술과의 융합을 통해 자율제조 AI 로봇에 대한 기술 확보 경쟁이
치열한 상황이다. 이를 위한 핵심기술로 인간형 양팔로봇, 로봇손, 자율이동로봇을 포함한 ‘비정형 환경
내 인간 수준의 작업을 지원할 수 있는 로봇 플랫폼 기술’과 환경·작업 인지, 자율작업 계획·지능, 자율이동,
로봇 디지털 트윈이 포함된 ‘고난도 복합 작업의 자율제조 구현을 위한 자율작업 SW 및 지능 기술’ 등이
활발히 연구되고 있다.
비정형 환경 내 고난도 복합 작업 수행을 위한 로봇 플랫폼 기술
사람의 작업을 모방할 수 있도록 하는 인간형 로봇 플랫폼: 사람이 수행하는 복잡하고 정교한 작업 수준
이상을 구현할 수 있는 로봇 플랫폼 기술에는 ① 인간형 양팔 작업을 모사할 수 있는 양팔로봇 기술,
② 정교하고 복잡한 인간의 동작 구현을 위한 로봇손/그리퍼 기술, 그리고 ③ 인간의 이동-작업 완전
대체를 위한 플랫폼 기술이 통합된 휴머노이드 기술 등을 포함한다.
인간형 양팔 작업을 모사할 수 있는 양팔로봇 기술
양팔로봇은 인간과 유사한 동작을 수행하고 인간과 함께 작업할 수 있도록 두 개의 팔을 가진 로봇으로,
연구 초기에는 연구소와 일부 기업을 중심으로 시작되었다. 현재는 세계 주요 로봇기업들에서 다양한
양팔로봇 플랫폼을 상용화 수준으로 출시하는 상황이다.
DLR에서는 인간의 팔과 유사한 동작을 구현하기 위해 7 자유도를 가지면서도 가반하중(로봇이 들어 올릴 수
있는 최대 무게) 대비 로봇팔의 무게가 1:1 수준인 혁신적인 LWR(Light Weight Robot, 2003~)을
선보였다. 이어 자체 개발된 로봇손과 두 팔을 결합한 세계 최초의 경량형 양팔로봇을 개발한 이후로 전
세계적으로 다양한 양팔로봇 관련 연구가 확산되었다. DLR에서도 향후 양팔로봇과 4륜 형태의 모바일
로봇을 결합한 인간형 로봇 ‘JUSTIN’을 개발하기도 했다.
그림 3. 로봇손이 결합된 양팔로봇인 DLR의 Light-Weight Robot
46 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 47
3. AI 기반 자율로봇 기술 동향
Yaskawa에서는 세계 최초로 상용화된 양팔로봇인 SDA
Series(2007년)을 출시했으며, 15 자유도, 가반하중
5~20kg의 다양한 라인업을 구축·판매했다. 다양한 버전
으로 출시가 되었으나 5kg급 양팔로봇의 제품 중량이
110kg 이상으로 매우 무겁고, 최근 트렌드인 협동로봇
기반의 양팔로봇이 아닌 전통적인 제조로봇 방식의 양팔
로봇이라는 점이 한계로 지적되었다.
그림 4. Yaskawa의 산업용 양팔로봇
제조로봇 기업인 ABB는 세계 최초로 사람과 공동 작업이
가능하도록 상용화된 협업용 양팔로봇 YuMi (2015년~)를
출시했다. 일반적인 산업용 로봇과 달리 협동로봇 기능이
포함되어 안전펜스 없이 설치가 가능하며, 콤팩트한 사이즈로
작업자보다 더 협소한 공간에서도 작업이 가능하다. 단,
현재 출시된 로봇은 가반하중이 0.5kg으로 매우 낮은 편이라
다양한 작업을 수행하기에는 미흡하다.
Ⓡ
그림 5. ABB의 협동로봇 기반 양팔로봇인 Yumi
Rethink Robotics에서도 협동로봇 기반에 7 자유도와
로봇팔 2개를 장착한 양팔로봇 초기모델인 Baxter(2012년)
를 출시했으나 정밀도가 높지 않아 주로 연구개발용으로
제안되었다. 후속모델인 7 자유도의 한팔로봇 Sawyer로
업데이트되긴 했으나 널리 활용되지 못하고 독일회사인
HAHN Group에 인수되었다.
그림 6. Rethink Robotics의 Baxter와 Sawyer
Kawada Robotics는 2023년 국제로봇전에서 생산라인을
이동하면서 다른 이동로봇과 협업하는 이동형 휴머노이드
양팔로봇을 선보였다. 그동안의 양팔로봇이 고정된 장소에서
작업을 수행하는 모습만 보여주었다면 한 자리에 고정되지
않고 작업 공간을 이동하면서 다양한 작업을 수행할 수 있음을
보여줌으로써 보다 유연한 생산라인 구축에 대한 가능성을
열어주었다.
그림 7. Kawada Robotics의 소형 양팔로봇
국내 최초의 양팔로봇은 한국기계연구원에서 개발한 AMIRO
(2013년~)이다. 한 팔당 7 자유도를 가지고 2개의 허리축을
부가함으로써 사람이 가진 작업 영역 이상을 확보했고,
양팔을 이용한 전자제품 이송, 포장, 조립 작업을 구현해냈다.
단, 가반하중 5kg에 한 팔당 15~20kg의 무게를 가지고
있어서 다양한 환경에 안정적으로 활용되기 위해서는 경량화
및 안정성 확보가 필요하다.
그림 8. 한국기계연구원의 양팔로봇 AMIRO
한기대와 NAVER LABS에서 선보인 Ambidex(2017년~)는
기존 양팔로봇들의 동력 생성·전달 방식과 달리 와이어
기반의 혁신적인 동력 전달 구조를 가지고 있다. 사람의 팔이
가진 장점인 유연성과 높은 자유도를 유지하면서도 기존
로봇들의 장점인 정밀성과 고속제어 성능도 구현할 수 있도록
개발되었다. 한 팔당 5kg 미만의 무게를 가지면서도 근본적인
안전성을 확보했다는 것이 특징이다.
그림 9. 네이버의 브레인리스 로봇
로봇손은 인간 손의 형태를 모방한 디자인을 가지며, 인간의 손가락과 같은 높은 자유도로 다양한 움직임의
수행이 가능하도록 구성되었다. 사람이 사용하는 도구를 활용하고 조작할 수 있도록 모터구동, 힘줄구동,
링크구동 등 다양한 형태의 메커니즘이 채택되었고, 그에 적합한 정교한 제어기술이 개발되고 있다. 또 인간
수준의 정교한 작업을 필요로 하지 않은 작업에서는 로봇손을 대체할 수 있는 다지 그리퍼나 다양한 물체를
파지할 목적의 범용 그리퍼 등이 로봇 말단 장치로 활용되고 있다.
영국 Shadow Robot Company는 상용화된 로봇손 가운데 가장 높게 평가되는 로봇손을 개발했으며,
전기모터식과 공압식의 두 가지 구동 방식을 선택적으로 제시했다. 각 손가락의 움직임은 Tendon을 이용하고,
수동 조인트를 포함하여 24 자유도를 가지고 있다. 각 손가락은 좌우 독립적 움직임이 가능하며, 손바닥의
굴곡 등도 실제 사람의 손 움직임과 유사하게 구현해냈다.
인간의 정교하고 복잡한 동작 구현을 위한 로봇손/그리퍼 기술
그림 10. 영국 Shadow Robot Company의 로봇손
48 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 49
3. AI 기반 자율로봇 기술 동향
독일 Schunk에서도 5개의 손가락과 20 자유도를 가지면서도
인간 손과 같은 크기, 모양, 기동성을 가진 로봇손을 개발
했으며, 조인트들은 리드-스크루 메커니즘 방식이 채택했다.
모터 컨트롤러들은 손목 부분에 내장하여 산업 현장에서 다른
로봇 팔에 간단히 부착할 수 있도록 범용성을 높였다. 손가락
끝과 손바닥 부분에는 탄성을 가진 재질로 마감하여 물체의
안정적인 파지가 가능하나 파지력이 낮다는 한계가 있다.
그림 11. 독일 Schunk사의 로봇손
폴란드 Clone Robotics는 다른 로봇손과는 달리 생체모방을
바탕으로 인공근육과 밸브를 활용하여 사람의 손처럼
움직임이 자유롭고 엄지 관절도 별도로 움직일 수 있도록
24 자유도를 갖춘 Clone hand를 개발했다. 생체모방을
바탕으로 의인화된 로봇손이라는 차별성은 있으나 이로 인해
아직 정교한 동작 구현은 미흡한 상태다.
그림 12. Clone Robotics의 Clone hand
독일 DLR에서는 충격에 강하고 인간과 유사한 움직임이
가능한 로봇손을 개발했다. 인간-로봇 협업 작업을 위해
Tendon을 이용한 under-actuation 방식으로 가변강성
구동을 구현했고, 총 20 자유도와 손가락당 20N(스틸와이어
기준)의 힘을 낼 수 있도록 제작되었다. DLR은 양팔 로봇
DAVID에 개발된 로봇손을 적용시켜 5개의 손가락을 이용해
피펫을 조작하는 조작 기술을 시연(2022년)한 바 있다.
그림 13. David’s hand/finger
국내에서는 한국기계연구원이 촉각센서와 구동기 및 모든
구성 요소를 포함하는 일체형이자 인간형 로봇손 AlliDex
Hand를 개발한 바 있다. 링크 구동 방식을 활용하여 인간과
동일한 자유도의 메커니즘을 구현하고 강한 파지력과
내구성을 확보했다. 그래서 기존 로봇손으로는 불가능했던
가위로 종이 자르기, 핀셋으로 작은 칩 옮기기, 무거운 아령
들기 등의 수행이 가능해졌다. 또 모든 구동부와 구동기가
손바닥 부분에 내장되어 모듈화가 되었기 때문에 로봇 팔에
결합이 매우 용이하다는 장점을 가졌다.
그림 14. 한국기계연구원의 AlliDex Hand
국내 원익로보틱스는 한국생산기술연구원에서 기술 이전을
받아 모터와 기어 박스가 손가락 마디에 위치되는 구조를
사용한 저가형 로봇손 Allegro Hand를 개발했다. 손가락은
4개로 구성되었고, 사람 MCP 조인트에서의 벌림/모음
(abduction/adduction) 움직임과 달리 돌림(rotation)
움직임을 구현했으며, 사람 손보다는 크나 힘 센서의 부착이
고려되지 않았다는 것이 특징이다.
그림 15. 한국생산기술연구원/원익로보틱스의
Allegro Hand
이외에도 실리콘이나 폴리우레탄 등의 부드러운 소재를 활용하거나 3D 프린팅으로 간편하게 로봇손을
제작하는 연구, 인체 구조와 유사한 형태의 소프트 로봇 연구, 손바닥 피부와 동일한 물리적 특성을 지닌
인공피부 제작에 대한 연구, 인공피부에 내장된 센서로 작업 상태를 감지하는 로봇손에 관한 연구, 촉감
센싱 기반으로 다양한 물체의 인핸드 조작을 구현하는 연구 등이 이루어지고 있다.
또한 다양한 형상, 크기, 재질을 가진 물체를 손상 없이 정교하고 단단하게 파지할 수 있는 고난도 작업용
그리퍼와 관련해서도 강체 기반 그리퍼, 소프트 그리퍼, 그리고 강성을 변화시킬 수 있는 가변 강성 그리퍼
등 재료적·구조적 특성에 따라 다양한 형태가 연구되고 있다. Righthand Robotics사의 집게형과 흡착형이
융합된 하이브리드형 그리퍼 외에도 OnRobot, Piab, Soft Robotics사의 섬세하면서도 유연한 그립으로
불규칙한 모양이 가능한 소프트 그리퍼가 상용화되었다. 또 연구기관 및 대학에서는 다양한 소재의
활용이나 생체 모방 메커니즘의 적용과 같은 다양한 연구가 수행되고 있다.
인간의 이동-작업 완전 대체를 위한 인간형 로봇 플랫폼 기술
서비스로봇뿐만 아니라 제조로봇 분야에서도 인간의 작업을 그대로 대체할 수 있도록 인간과 같은 인식기능과
운동기능을 구현하고 나아가 인간처럼 자율적으로 판단하고 일하는 휴머노이드로 진화하고 있다. 최근
테슬라와 같은 글로벌 테크기업들의 활발한 연구개발 의지에 힘입어 급격한 속도로 발전이 이루어지고 있다.
테슬라는 차세대 휴머노이드 로봇 ‘Optimus Gen2’를 공개하면서 자율성을 가진 제조용 휴머노이드 로봇
기술의 적용 가능성을 선도하고 있다. 이전에 공개된 휴머노이드는 복잡하고 섬세한 작업의 구현을 위해
별도의 조작·제어가 필요했던 것에 비해 인간의 개입이 최소화된 상황에서 자율적인 인지·판단으로 작업이
가능하다는 점에서 지능형 휴머노이드의 구현 가능성을 보여주는 혁신적 사례로 주목받고 있다. 최근에는
이전 대비 로봇의 균형 감각과 전신 조절 능력이 향상되고 보행 속도가 대폭 개선되었으며, 새롭게 개발된
손은 모든 손가락으로 촉각을 느끼며 섬세한 물체 다루기가 가능하다는 특징이 있다.
50 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 51
3. AI 기반 자율로봇 기술 동향
그림 16. 테슬라의 차세대 휴머노이드 로봇 Optimus Gen2
Figure AI는 캘리포니아주 서니베일에 본사를 둔 로봇
스타트업으로, 최근에 휴머노이드 로봇 '피규어 01' 프로토
타입을 공개했다. 피규어 01은 7 자유도를 가진 로봇팔과
6 자유도를 가진 로봇손을 포함해 총 41 자유도로 구성되어
있으며, 초속 1.2m의 속도로 이동이 가능하다. 각 팔은 최대
20kg의 물건을 들 수 있고, 한 번 충전으로 5시간 동안 일할
수 있다. 최근 BMW와의 협약을 통해 휴머노이드 로봇을 미국
자동차공장에 투입하려는 계획을 발표하면서 주목받고 있다.
그림 17. 피규어 AI의 휴머노이드 로봇 피규어 01
Agility Robotics에서도 2족 보행 로봇 '디지트(Digit)'를
발표했으며, 이전 모델인 '캐시(Cassie)'와 비슷한 구조지만
가슴과 양팔을 갖춤으로써 이동성과 균형성이 향상되었다.
디지트는 더 많은 인식 센서를 갖추고 상단에 장착된 라이더를
통해 장애물 인식 및 회피 기능이 부가되었으며, 제품 이송
및 물류 분야에서의 혁신이 가능할 것으로 주목받고 있다.
그림 18. 애질리티 로보틱스의 휴머노이드
로봇 디지트
Boston Dynamics의 휴머노이드 아틀라스(Atlas)는 유압
구동 시스템을 활용하고 있어 매우 높은 출력을 보유하고
있다는 점에서 다른 휴머노이드와 차별화된다. 이로 인해
높은 곳에서의 체조와 회전 동작 등을 실행할 수 있는
수준으로, 역동적인 움직임과 높은 출력이 요구되는 고급
동작의 수행이 가능하다. 유압 구동 시스템임에도 불구하고
제어시스템 기능이 크게 개선되어 모델 예측 제어장치를
통한 움직임의 예측과 조절이 가능하다는 특징이 있다.
그림 19. 보스턴 다이내믹스의
휴머노이드 아틀라스
Apptronik은 NASA와 공동 개발한 휴머노이드 ‘APOLLO’를
공개한 바 있으며, 2024년 말 출시를 목표로 하고 있다.
관절에 선형 액추에이터를 활용하여 설계의 복잡성을
줄였다는 것이 특징이며, 얼굴과 가슴에 장착한 디지털 패널을
통해 의사소통하면서 동료들과 친근한 상호작용이 가능하다.
그림 20. 앱트로닉의 휴머노이드 아폴로
중국의 로봇업체 유니트리 로보틱스(Unitree Robotics)는
휴머노이드 로봇 'H1'의 최신 버전을 선보였다. 엉덩이·무릎
·발목 부분의 관절을 이용하여 5 자유도를 구현하고
자연스러운 두 다리의 움직임을 나타내면서 동시에 균형
감각에서도 뛰어난 성능을 보여주었다. 머리에 장착된 뎁스
(depth) 카메라와 3D 라이다(LiDAR) 센서를 통해 주변
환경을 이미지화함으로써 근처 사물과 표면을 정확히 파악할
수 있다. 최근에는 세계에서 가장 빠른 3.3m/sec의 보행
속도를 선보이며 주목받고 있다.
그림 21. 유니트리 로보틱스의
휴머노이드 로봇 H1
국내에서는 KAIST에서 개발한 휴머노이드 Hubo 이후로 대표적인 연구개발이 이루어지지 않았으나, 최근
세계적인 휴머노이드 개발 트렌드에 맞추어 다시 관련 연구가 추진되는 상황이다.
자율작업 SW 및 지능 기술
기존 고속·고정밀·고파워 등의 목적 달성을 위한 로봇 플랫폼 및 조작·제어 기술 이슈를 넘어 복잡하고 고난도
작업에 대한 인간 수준의 작업성 확보가 부각되고 있다. 이를 위해 비정형 또는 유연 환경을 중심으로 작업물,
작업 환경, 작업 상태 인지 기반의 자율작업 계획 및 작업 지능과 관련된 연구가 활발히 이루어지고 있다.
최근에는 LLM과 이미지 인식 분야의 파운데이션 모델 정립 연구와 지능 기반 작업 교시·학습 기술의 발전과
함께 다양한 작업에 확장·적용 가능한 자율작업 성능이 향상되고 있다. 이를 통해 장기적으로는 범용 작업
수행이 가능한 로봇 기술로 발전하고 있다.
복합 작업 구현을 위한 환경 및 작업 인지 기술
로봇이 복합적이고 다양한 작업을 수행하기 위해 작업에 필요한 요소나 주변 환경을 인식하는 데 필요한 기술로
자세 인식, 시맨틱 정보 인식, 상황 인식 등이 포함되고 있다. 최근에는 인식 분야의 파운데이션 모델의 개발로
인해 작업 시 대상 물체의 인식이 추가 학습 없이 이루어지고 있으며, 제조 분야에 한정되어 개발되진 않지만
제조 작업에 특화된 각각의 물체에 대해서도 추가 학습 없이 활용 가능할 것으로 기대된다.
52 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 53
3. AI 기반 자율로봇 기술 동향
칭화대, Microsoft research 등에서는 학습 없이 Zero-Shot*으로 물체를 인식할 수 있는 Grounding DINO
(Grounding Discriminator INterpolation, 2023년)이 제안되었으며, 대규모 데이터셋에서 pre-train된 self
-supervised learning 모델로 DINO를 기반으로 하고 있다. 대부분의 기존 객체 감지 모델은 사전에 결정된
좁은 클래스 컬렉션을 식별하도록 학습되었으나, Grounding DINO는 새로운 클래스에 대한 주석 데이터 없이
객체를 인식하고 이미지 속에서 목표 객체의 영역에 대한 출력이 가능하여 적용 확장에 대한 유연성이 확대
되었다는 장점이 있다.
* Zero-Shot: 학습 데이터에 해당 클래스와 관련한 레이블이 없는 상태에서 새로운 클래스에 대해 모델이 작동하는 능력
그림 22. Grounding DINO의 프레임워크
Meta에서는 ‘이미지 세그멘테이션’을 위한 첫 번째 파운데이션 모델인 Segment Anything Model(SAM,
2023년)을 공개했다. 사용자가 분할하고자 하는 이미지를 선택하면 기존의 픽셀 기반 분할 방법과 달리 객체의
윤곽선을 기반으로 분할을 수행한다. 이는 더 높은 정확도와 뛰어난 일반화 성능을 제공하여 추가 학습 없이
물체의 영역에 대한 인식 결과를 도출할 수 있으며, 물체가 무엇인지에 대한 일반적인 개념을 학습하여 훈련
데이터에 포함되지 않은 물체에 대해서도 물체 영역에 대한 마스크 생성이 가능하다는 장점이 있다.
그림 23. Meta에서 공개한 SAM의 자동 마스크 생성 예시
MIT, CMU, Amazon 등은 협업을 통해 로봇의 위치 파악, 계획 그리고 환경과 상호작용하기 위한 3D 지도의
구축을 위해 Open-set Multimodal 3D Mapping 기술인 ConceptFusion(2023년)을 발표했다.
ConceptFusion은 언어, 이미지, 오디오, 3D 기하학 등 다양한 입력에 대해 3D 지도에서 관련 정보를
추출할 수 있다는 것이 장점이다.
그림 24. 오픈셋 멀티모달 3D 맵핑 기술인 ConceptFusion의 활용 예시
인지, 지능 기반 작업학습 및 자율작업 계획 기술은 로봇이 주변 환경을 인식하고 이를 기반으로 자율적으로
작업을 계획하고 수행하는 기술로, 이를 위해 사전 또는 실시간으로 학습된 결과를 활용함으로써 작업 지능을
향상시킬 수 있다. 사람과 로봇 간의 직간접 상호작용을 하거나 사람의 작업을 모방하는 방법론을 통해 로봇이
동작을 생성하는 기술도 꾸준히 진보하고 있다. 또한 거대언어모델(LLM)과 인식 분야의 파운데이션 모델 등의
결합을 통해 기존의 정해진 작업을 잘하는 수준을 넘어 다양한 작업 수행을 위한 지능 형태로 발전하고 있다.
따라서 서비스와 제조 분야를 막론하고 전방위적인 산업에 적극적으로 활용될 것으로 예상된다.
인지, 지능 기반 작업학습 및 자율작업 계획 기술
54 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 55
3. AI 기반 자율로봇 기술 동향
MS社는 거대언어모델 중 하나인 OpenAI의 Chat-GPT를 활용함으로써 언어를 이용하여 로봇을 직관적으로
제어하는 방법을 제시했다. Chat-GPT를 활용하여 로봇을 구동시키는 코드를 생성하고, 이를 통해 조작·주행
등에 활용할 수 있음을 보여주었다.
Stanford Vision and Learning Lab(SVL)와 NVIDIA 등에서는 로봇 작업 명령을 언어와 이미지를 통해
제공할 수 있도록 하는 VIMA(Visuomotor Attention Model)을 제안했다. 이 모델은 사전에 학습된 언어
모델로 멀티모달 입력을 인코딩하고, 인코딩된 정보와 이전 동작 정보를 바탕으로 로봇 제어 명령을
생성하도록 구성된다. VIMA는 사전에 학습되지 않은 작업에 대해 이전 방법들보다 약 3배 높은 성공률을
보였고, 훈련 데이터가 10배나 적은 경우에도 더 나은 성능을 보여준 바 있다.
그림 25. Chat-GPT 기반 로봇 제어
구글은 언어모델로 추론된 상황을 기반으로 로봇이 작업을 수행할 수 있는 SayCan 기술을 제시했다. 해당
연구에서는 로봇이 자연어를 이해하고 처리하여 작업 가능성(Affordance)을 추론하고, 추론된 작업 가능성에
맞는 작업을 수행하도록 하는 방법을 제안했다. 이 연구를 바탕으로 언어모델에 기반하여 로봇과 상호작용을
통해 작업 능력을 높이는 연구인 Inner Monologue와 멀티모달 센서를 통해 얻은 값을 언어모델로 연결
시키기 위한 모델인 PaLM-E: An Embodied Multimodal Language Model 등으로 연구를 확장하고 있다.
그림 26. 구글 SayCan을 활용한 작업 수행
구글과 UC 버클리의 범용성 로봇 지능을 만들기 위한 Open X-Embodiment 프로젝트는 21개 기관과의
협력을 통해 수집된 22개의 다른 로봇 데이터셋을 통해 로봇 조작 작업을 위한 일반적인 지능 개발을
목표로 한다. 기존 특정 작업에 특화된 데이터셋을 활용하였을 때보다 통합적으로 학습하였을 경우 평균
50%의 작업 성공률 향상을 보여주었다.
그림 27. Stanford와 NVIDA에서 제안한 VIMA 구조
그림 28. 텍사스대의 강화학습 프레임워크인 MAPLE의 구조
텍사스대에서는 사전에 정의된 행동 기본 요소(behavior primitives)와 강화학습을 결합하여 여러 과정이
결합된 long-horizon 작업에 활용 가능한 학습 프레임워크인 MAPLE(Manipulation Primitive-augmented
reinforcement Learning)을 제안했다. 로봇 머니퓰레이터를 활용한 조립을 포함해 다양한 작업에 대해
90%의 높은 성공률을 보였다.
56 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 57
3. AI 기반 자율로봇 기술 동향
국내에서는 아직 자율작업 계획에 대한 성과가 널리 발표되지 않은 상황다. 한국기계연구원은 중소 제조업과
같은 비정형 작업 환경으로 인해 자동화가 어려운 상황을 대상으로 지능형 모바일 머니퓰레이터 기술에 대한
연구를 진행 중이다. 인식·주행·조작을 위한 인공지능 기반 기본 기술(primitive skill)과 언어모델을 결합하여
다양한 작업 공정에 적용 가능한 작업 프레임워크 연구를 진행하고 전기차 부품 생산업체의 공정을 대상으로
테스트베드를 구축하는 단계에 있다.
그림 29. Open X-Embodiment 프로젝트의 로봇 데이터셋
그림 30. Mobile ALOHA의 작업 예시
Stanford와 UC 버클리 연구팀은 모방 학습(Imitation Learning)의 접근 방법으로 실시간 시각 피드백에
기반하여 상대적으로 높은 정밀도를 요하는 일상 작업이 가능한 ACT 알고리즘을 제안했다. 10분 동안의
시연만으로도 양념 컵을 열거나 배터리를 슬롯에 넣는 등 6가지 어려운 작업을 80~90%의 성공률로 실제
수행할 수 있음을 보여주었다. 이 방법을 모바일 플랫폼으로 확장한 Mobile ALOHA는 간단한 교시와
자율적 학습을 통해 새우를 볶고 제공하거나, 벽장을 열거나, 엘리베이터를 호출하고 타는 등 복잡한 이동
조작 작업을 자율적으로 수행해냈다.
그림 31. 한국기계연구원의 LMM 기반 자율작업 개요
MIT는 복잡한 실내 환경에서 지도를 만들고 시간에 따른
변화를 기록하는 KIMERA라는 지도 구축 프레임워크를
제안했다. 딥러닝 기반의 장면 인지 기술을 SLAM으로
확장하고, 동적 환경을 다루는 Dynamic Scene Graph와
같은 위상학적 지도 구축 방법을 도입했다. 또 scene
graph라는 특수한 구조를 통해 공간을 여러 layer로
나누어 단계적으로 표현할 수 있도록 구현해냈다.
그림 32. 다양한 자율주행 기반의 이동로봇
비정형 제조 공간 내 자율이동 기술
비정형 제조 공간 내 자율이동 기술은 로봇이 다양한 제조 환경에서 자율적으로 이동하고 작업을 수행할 수
있도록 하는 기술로, 알고리즘이 동작하기 어려운 환경에서도 강인하게 동작할 수 있는 SLAM 기술, 동적
/밀집 환경 내 내비게이션 기술, 대규모 이동로봇에 대한 통합 운영 기술 등을 포함한다. 기존 정형화된 작업
환경뿐만 아니라 예측할 수 없는 사람과 구조물 등 다양한 장애물이 포함될 수 있으며, 상황에 따라 유동적인
환경이 제공되는 비정형적 환경에서의 자율이동 기술이 활발히 연구되고 있다.
다소 비정형성이 낮은 제조·물류 현장을 중심으로 기존 AGV에 환경 인식 센서와 SLAM 기술 등 자율주행
기술을 접목한 AMR(Autonomous Mobile Robot)의 다양한 응용 사례가 존재한다. 초기의 대표적인
사례는 아마존 로보틱스의 KIVA 시스템으로, 물품이 들어 있는 선반을 들어 올린 후 목적지까지 자율이동을
통해 이송을 수행할 수 있다. 이외에도 인비아 로보틱스, MiR, 오므론, 로커스 로보틱스를 비롯해 국내의
유진로봇, 로보티즈 등이 자율이동 로봇의 상용화에 앞장서고 있다. 다만 동적인 상황에서 자율적으로 환경을
인식하고 정교한 자율이동이 가능한 실시간 맵 구축과 업데이트 기능을 포함한 신뢰성 높은 자율이동 기술에
대한 연구가 여전히 필요하다.
그림 33. Semantic Scene Graph 기반의
환경 매핑
58 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 59
3. AI 기반 자율로봇 기술 동향
MIT와 ETH 등에서는 여러 사람이 동적으로 움직이는
밀집 환경, 보도, 건물 등 다양한 환경에서 주행 가능한
Socially Acceptable Navigation 기술에 대한 연구를
진행했다. MIT는 심층 강화학습에 기반하여 주행 중
충돌을 회피하고 안전하게 목적지까지 도달하는 접근
방법을 제시했다. ETH는 로봇이 사람들로 가려져서
이동하기 힘든 상황에서 사람과 상호작용을 통해 목적지에
도달하는 방법을 제시했다.
그림 34. 복잡 환경 내 자율주행의 예시
Google, UC 버클리 등에서는 사전에 학습된 LLM과의
결합을 통해 자연어로 명시된 명령에서 landmark를
추출하고 VLM(vision-and-language model) 출력
정보를 결합하여 자율이동을 위한 기술을 제시했다. 해당
방법을 통해 지도가 없는 환경에서도 로봇을 자연어
명령만으로 80%의 성공률로 목표 지점에 도달할 수
있다는 가능성을 확인했다.
그림 35. 사전 지도가 없는 환경에서의 자율이동 예시
가상 환경 모델링 및 디지털 트윈 기술은 실제 환경과 유사한 가상 공간을 구축한 후 로봇 시스템을 시뮬레이션
하고 테스트하는 기술이다. 로봇을 실제로 구동하기 전에 시뮬레이션하고 문제를 해결하거나 알고리즘을
개발하기 위한 목적과 실시간으로 작업 상태와 환경 정보 등을 모니터링하는 목적으로 활용된다. NVIDIA를
중심으로 GPU 상에서 대규모 병렬 로봇 시뮬레이션이 가능한 프레임워크가 공개된 이후로 이를 활용하거나
연계한 다양한 연구가 진행되고 있다. 실제 환경에서의 작업 대비 비용 절감과 작업 시간 단축이 가능하기
때문에 실세계에서 구축하기 힘든 환경을 구축하고 다양한 작업 시나리오에 사전 적용이 가능할 것으로
기대된다.
NVIDIA Isaac Sim은 NVIDIA의 Omniverse에 의해 구동되는 AI 기반 로봇을 더 빠르고 효율적인 방법으로
설계, 테스트 및 훈련할 뿐 아니라 확장 가능한 로봇 시뮬레이터이다. 다방면으로 확장이 용이하고 사실적이고
물리적으로 정확한 가상 환경을 제공하여 고품질의 시뮬레이션을 구축할 수 있다. Cloud를 통해 넓은 확장성,
협업, 편리한 사용성을 제공한다. 또 Replicator라는 Omniverse 플랫폼의 확장 프로그램을 통해 개발자가
사용자 정의 합성 데이터 생성 도구와 파이프라인을 구축하고 훈련 작업을 초기화할 수 있으며, Gym 환경을
통해 강화학습을 가상 환경에서 효과적으로 할 수 있다는 장점이 있다.
가상 환경 모델링 및 디지털 트윈 기술
그림 36. NVIDIA Isaac Sim의 활용 예시
NVIDIA에서는 접촉이 발생하는 조립 작업을 정확하고 효율적으로 시뮬레이션할 수 있는 프레임워크인
NVIDIA Factory: Fast Contact for Robotic Assembly를 발표했다. 1,000개의 너트와 볼트의 접촉을
동시에 시뮬레이션 가능하며, 이를 통해 강화학습으로 조립 작업 학습이 가능함을 보여주었다.
그림 37. NVIDIA Factory의 활용 예시
Stanford를 주축으로는 실제 환경을 시뮬레이션할 수 있는 BEHAVIOR-1K라는 테스트베드가 제안되었다.
이는 이전 연구인 BEHAVIOR-100보다 실제 작업 환경을 잘 표현해내고 있으며, “로봇이 어떤 작업을
하면 좋을 것인가?”에 대한 설문조사 결과를 바탕으로 기계공학, 우주공학, 수학, 심리학, 전자공학 등
다학제의 연합적인 연구의 결과물이다. 부엌, 거실, 욕실 등을 포함하는 50개의 장면과 5,000개 이상의
물체를 모델링하고 있으며, 상호작용이 가능하고 실제와 같은 화면 효과 및 흐름/변형 등을 포함하는
물리적 특성을 반영할 수도 있다.
그림 38. BEHAVIOR-1K의 시뮬레이션 테스트베드
60 한국산업기술기획평가원 KEIT Issue Review • AI 기반 자율로봇 기술 동향 61
3. AI 기반 자율로봇 기술 동향
딥마인드社에서 공개한 MuJoCo(Multi-Joint dynamics with Contact)는 물리 시뮬레이터를 기반으로
로보틱스 응용, 확장 및 기본적인 접촉 물리를 반영하고 있다. 로봇을 활용한 물체 이동, 물체 조작, 조립 등
다양한 동작 시뮬레이션이 가능하고 모션 시뮬레이션을 통한 제어 알고리즘 개발 등에 활용이 가능하다.
고속 및 다중 접촉 기반의 실제 제조 환경 모사가 가능하도록 Sim2Real 등 정확성 향상을 위한 연구가
이어지고 있다.
그림 39. 딥마인드의 MUJOCO를 이용한 양팔 로봇 시뮬레이션
국내에서는 로봇의 정밀 조작 구현이 가능한 가상 환경이나 시뮬레이션 기술이 다수 연구되지 않았다. 다만
서울대에서 로봇 조작/조립 제어기술 개발을 위한 다중 물리 기반의 쾌속 로봇 시뮬레이터인 RobotPMI
(2022년)를 발표했다. 기존의 상용 시뮬레이션 기술에서 경량이나 고강성 물체의 해석이 어려운 점과
불안정하고 부정확한 다중 접촉 시뮬레이션 기능을 극복하고 펙인홀, 볼팅, 커넥팅, 케이블링 등 다양한
작업에 대한 가상 시뮬레이션을 수행했다. 또한 나사 체결 작업에 대한 실험과의 비교 결과를 통해 성능을
검증하기도 했다.
그림 40. 나사 체결 등 다중 접촉 시뮬레이션의 예시
4 시사점
고령화와 저출산으로 인한 인구 구조 변화 및 육체적 노동력이 필요한 제조업에 대한 기피 현상으로 인해 국내
제조산업 내 노동력 부족 현상이 급격히 심각해지고 있다. ICT, 인공지능 기술의 발전으로 지능화·자율화된
제조로봇은 노동 인구 감소에 대응하여 제조 경쟁력을 확보하기 위한 핵심적인 수단으로 부상하고 있다.
제조산업 경쟁력 강화를 위한 로봇 도입과 생산 현장의 자동화는 이미 광범위한 영역에서 이루어지고 있으며,
외부 환경을 인식하고 상황을 판단하는 AI 기반 제조로봇으로 빠르게 진화하고 있다. 능동적인 인지ㆍ판단
기능으로 사람과 협력 작업을 수행하는 것은 물론이고 다양한 고난도 제조 공정까지 완전 자율작업을 수행할
수 있는 새로운 제조 패러다임에 대응 가능한 로봇 기술이 필요한 시점이다.
전 세계적으로도 이와 같은 트렌드에 맞추어 AI, 로봇 기술 분야의 R&D 투자가 급격히 증가하고 있으며, AI와
로봇 기술의 융합을 통한 자율제조 구현 및 제조 공정 혁신에 박차를 가하고 있다. 제조업 중심의 우리나라는
자율제조를 위한 AI 로봇 기술에 대한 집중 육성의 필요성과 파급 효과가 훨씬 높은 상황이다. 이런 가운데 AI,
로봇 관련 초격차 기술 확보를 통해 국가의 제조 경쟁력 제고와 함께 AI, 로봇산업도 동반 성장을 기대할 수
있을 것이다.
댓글