유연물 핸들링 로봇 시스템을 위한 인식, 파지, 조작 기술

* 빛이 반사되거나 투명한 물체인 경우 깊이 감지가 어려워 일반적인 인식 기술 적용이 어려우나, 제안된 클리어그래스프(ClearGrasp) 기술은 딥 컨볼루션 네트워크(Deep Convolutional Networks)를 활용하여 투명 물체의 손상된 깊이 맵을 인페인팅(Inpainting)하여 3D 위치를 정확하게 파악할 수 있음

- (Pick-it) 로봇이 비정형 물체를 인식하고 빈피킹(bin picking)하기 위한 플러그 앤드 플레이(plug and play) 형태의 3D 비전 시스템을 제품화

* 픽잇의 비정형 물체 인식 소프트웨어는 머신비전 및 딥러닝을 사용한 다양한 종류의 인식 엔진(detection engine)을 포함

* 국내외 산업체의 다품종 소량생산 작업에 적용된 사례가 다수 있으나, 비정형성이 너무 큰 변형체 및 개인 소포 등을 대상으로는 미흡한 면이 있음

- (우리나라) 한국전자기술연구원, 한국전자통신연구원 등에서 인공지능을 기반으로 빈피킹이 가능한 로봇 시스템 개발

* RGB 카메라와 3D 카메라를 활용하여 물체를 인식하고, 강화학습을 적용한 파지 알고리즘을 적용하여 원하는 물체의 탐색 및 정확하게 파지할 수 있도록 물체를 정렬하는 기술을 개발하고 있음

★ (유연물 인식 기술) 정형화된 모델 데이터베이스 기반 알고리즘만으로 정확한 위치 인식이 어려워, 대상물의 특징에 최적화된 별도의 데이터 확보와 학습 알고리즘 등이 연구되고 있음

* 커넥터/케이블, 의류 및 농수산식품류 등은 형상이 고정되어 있지 않아 기존의 정형화된 알고리즘으로 인식이 어려움

- (도호쿠 대학) 유연 케이블의 위치 인식을 위해 케이블 곳곳에 마커(visual marker)를 부착함으로써 인식 문제를 단순화시킨 바 있음

* 케이블 상에 마커를 찾고 위치를 계측하기 위해 오픈소프 소프트웨어 패키지인 ARToolKit를 사용하였고, 머신비전 기법으로 유연한 케이블을 인식하는 데 성공

- (대만 국립과학기술대학) 화이트 테이프, 실버 라벨, 휠 형태의 부품, 케이블 타이 등 여러 품목의 와이어 하니스를 검사하는데 사용할 수 있는 머신비전 기반의 자동 광학 검사 시스템 제안

* CMOS 카메라와 LED광원을 사용하여 관심 영역에서 패턴 매칭방법, 에지 검출방법과 함께 이미지의 평균 gray scale을 측정하여 검사하는 방법으로 10개의 간단한 형상의 와이어 하니스를 정확하게 검사

* 10개 이상의 복잡한 형상을 가지는 와이어 하니스에서는 정확한 검출이 어려우며, 빛 반사와 조립위치의 자동 조정이 어려움

- (우리나라) 한국전자통신연구원에서는 와이어 하니스 조립 공정에서 활용할 수 있도록 케이블의 3D 위치 인식 기술 개발 착수

* RGB 이미지 기반으로 유연 케이블의 색상과 직경에 기반한 케이블 형상 인식, 위치 측정 기능을 구현하고자 하며, 추가적인 Depth 정보를 활용하여 정확한 위치를 개선하는 알고리즘을 개발하고자 함

(컬럼비아 대학) 저가 거리 센서를 사용하여 옷과 같은 변형체를 인식, 구분하고 로봇의 조작을 위해 파지 점을 추정하는 연구 수행

* 변형체의 자세를 추정하기 위해 오프라인 시뮬레이션 결과뿐만 아니라 이미지 분류(image classification) 기법인 SPM(Spatial pyramid matching) 및 기계 학습 기법인 스파스 코딩(Sparse coding)을 통한 사전 학습(dictionary learning) 방법을 개발

* 노이즈가 많은 배경에서도 움직이는 변형체의 실시간 3D 모델 재구성이 가능

* 오프라인 시뮬레이션 모델을 구성하는 작업이 복잡하고, 대상 변형체의 360도 전 방향에서 다양한 자세의 거리 이미지(depth image)를 획득해야 하는 단점이 있음

파지 기술

★ (일반형 그리퍼) 평행식이나 회전식으로 팁을 이동시키는 단순 파지용 그리퍼 및 공압을 이용한 그리퍼로, 대부분의 산업현장에서 다루는 고정 형상의 대상물에 활용 - 정형물을 대상으로 간편한 제어 방법 및 메커니즘을 가지는 그리퍼로, 끝단의 팁(jaw)을 열고 닫는 간단한 방법으로 평행하게 움직이거나 일정 각도를 가지도록 움직이도록 설계

- 구동원으로 모터 등 전동 방식을 이용하여 팁을 이송하는 방법과, 공압을 사용하여 파지 동작 여부를 제어하는 방법이 있음

- Schunk사, Rotobiq사, Onrobot사, Festo사, SMC사 등에서 목적에 따른 다양한 사양의 제품이 활용되고 있으며, 일부는 인식 센서, 비전, 파지 전략과 통합된 제품도 출시됨

- Schmalz사의 Sealing plate가 부착된 진공 흡입식 그리퍼는 비정형 물체의 진공 흡착을 위해 단차 두께만큼의 스펀지 구조를 부착함으로써 파지 시 대상물 표면의 단차로 인해 진공 누수가 발생하는 현상을 최소화

* 스펀지 두께의 한계로 일정 이상의 단차가 존재하는 물체의 파지가 불가하며, 단차 및 곡률이 혼재되어 있는 비정형 물체의 파지 구현에는 물리적인 어려움

★ (소프트 그리퍼를 이용한 파지) 정형물과 달리 복잡하고 변화되는 물체 형상에 적절하게 대처할 수 있는 그리퍼와 파지 전략이 중요함

* 소프트 재질을 이용하여 최소한의 정보로 적응형 파지가 가능한 메커니즘, 특정 파지 전략을 부가하여 유연한 물체를 집는 방법에 대한 연구, 그리고 물체의 형상 정보에 기반하여 감각 센서와 인지 기술 등을 활용하여 정교하게 물체를 핸들링하는 방법에 대한 연구 등이 수행되고 있음

- (Soft robotics) mGrip은 주름 구조로 구성된 폴리머 구조체에 공압을 인가하고 내외부 팽창률 차이를 이용해 굽힘 변형이 발생하는 메커니즘을 적용함

* 강성이 낮고 형상이 일정하지 않은 유연물을 파지하기에 유리하지만, 소프트 그리퍼 특성상 파지 반복 정도가 낮아 단순 pickand-place에 적합함

- (Festo) Adaptive finger는 단일 소재의 복합 구조 구성을 통해, 복잡한 제어 없이도 파지 물체의 외형에 적응하여 그리퍼 팁이 변형되어 파지 가능

* 곡면 형상의 물체 파지에 있어 안정적인 파지 구현 가능

* 그리퍼 끝단을 이용한 핀칭 그립 구현도 가능하여 다양한 분야에 적용 가능

* 구조 전체가 유연 소재로 구성되어 최대로 파지할 수 있는 힘이 제한되는 단점

* 파지 물체가 곡면 형상이 아닌, 직각 형태 등 특수한 경우 안정적인 파지가 어려울 수 있음

- (Festo) Flexshape gripper는 주머니 형태로 된 그리퍼 구조의 가운데 부분을 끌어당기면서 내부와 접촉한 물체가 마찰력에 의해 그리퍼 안쪽으로 같이 끌려 들어가는 구조로 파지 구현

* 일반적인 진공 흡입형 그리퍼에서 파지하기 어려운 물체들까지도 파지할 수 있다는 장점 존재

* 파지 면적이 작아서 공간의 제약이 있는 상황에서도 파지할 수 있으나, 큰 물체 파지에는 적합하지 않고 상대적으로 파지력이 낮은 편임

- (Empire robotics) Versaball은 주머니 형태로 된 그리퍼 내부에 파우더를 채우고, 주머니 내부에 진공을 인가하는 방식으로 강성을 변경하여 파지하는 메커니즘임

* 코넬대에서 universal gripper라는 이름으로 개발된 바 있는 그리퍼를 상용화한 것

* 진공 인가 전에는 강성이 낮아 대상 물체의 형태대로 변형되지만, 변형 후 진공을 인가하여 강성을 증가시켜, 해당 물체 형상대로 변형된 상태를 유지하는 방법으로 파지 구현

- (서울대) 종이접기 메커니즘 기반의 그리퍼로 펠리컨장어 구조를 모사하여 매우 작은 크기에서 매우 큰 크기로까지 변형될 수 있다는 장점이 있음

* 종이접기(오리가미) 구조의 경우 경량으로 복잡한 동작을 구현할 수 있다는 점에서 차별화 될 수 있으나, 구조적 한계로 인해 안정적인 파지 동작 구현은 어려운 편임

- (한국기계연구원) 딸기, 포도, 두부 등 연성 물체 및 식음료, 농수산물 핸들링이 가능하고, 물체 형상에 맞추어 적응이 가능한 집게형, 흡입형 소프트 그리퍼 2종을 개발

* 집게형 소프트 그리퍼는 물체와 닿는 표면이 부드럽고 푹신하고 표면 형상이 대상체와 완벽히 일치하도록 변형이 가능하여 다양한 형상, 다양한 크기, 다양한 강도의 물체를 잡기에 적합하고, 물체를 잡은 이후 표면이 변형된 상태로 단단하게 고정되어 물체가 견고하게 파지됨

* 흡입형 소프트 그리퍼는 벌집 형태의 소프트 구조가 물체의 형상에 맞추어 변형되고 이 상태에서 공압을 이용하게 되면, 좁은 공간에 놓은 물건이나 굴곡이 심해 잡기 어려운 물체도 효과적으로 들어 올릴 수 있음

★ (고자유도 그리퍼를 이용한 파지) 사람의 손가락과 같이 하나의 팁에 여러 개의 관절을 갖추고 3개 이상의 핑거팁을 배치한 고자유도 그리퍼와 로봇 핸드에 대한 연구 증가

* 작업물의 형상, 강성 등 대상물에 대한 제한 없이 제조 공정과 일상생활에서 접할 수 있는 대부분의 물체 핸들링이 가능한 그리퍼

* 구동 방식에 따라서 모터 직결 방식, 와이어 방식 등이 존재하고 촉각 센서를 내장하여 파지 전략을 구현한 방식도 존재

- (DLR) 관절에 플랫모터와 감속기를 내장하고 끝단에 FT 센서를 내장한 15자유도 로봇손 메커니즘과 충격에 강한 텐던 기반의 20자유도 로봇 핸드를 개발

* 손가락당 10N~20N의 힘을 낼 수 있도록 설계되었으며, 다양한 물체 파지 전략 연구 중

- (Schunk) 모터 컨트롤러를 로봇의 손목 부분에 내장하고 로봇시스템과의 탈부착을 용이하게 하여 범용성을 높인 특징

- (University of Washington) 인간 손의 해부학 구조를 바탕으로 인간뼈와 구조를 모사한 생체모방 인간형 로봇 손에 대한 연구를 수행함

- (한국기계연구원) 링크구동 방식 기반의 4~5지형 인간형 로봇 손 개발

* 구동기가 모두 손바닥 부분에 내장되어 손목부의 부피가 매우 작은 장점

* 손가락 끝 센서 결합도 가능한 형태로 개발되어 활용성이 높은 로봇 핸드로 다양한 물체의 파지 전략에 대한 연구를 수행하고 있는 단계

★ (복합형태 및 특수형 파지 전략) 인공근육, 전기접착식과 같은 다양한 개념을 활용한 파지 전략도 연구되고 있으며, 이외에도 다양한 메커니즘의 장점과 원리를 혼합한 형태의 그리퍼와 파지전략이 개발되고 있음

- (Righthand robotics) 일반적인 형태의 그리퍼에 진공 흡착 컵을 결합하고, 늘어나는 흡착부를 이용하여 물체를 끌어 올린 다음 물체를 파지하는 방법 활용

- (KAIST) 그리퍼 자체 무게의 최대 480배 이상의 중량을 들어 올릴 수 있는 인공근육과 전기접착식 피부를 결합한 초경량 그리퍼에 대한 연구를 수행

* 인공근육을 이용하여 쥐고자 하는 물체에 접촉한 후에 강력한 전기접착력을 통해 물체를 집는 원리를 활용

* 평평한 형태부터 다양한 입체 형상까지 다양한 형상의 물체를 파지할 수 있음

* 복잡하지 않은 구조와 단순한 작동만으로 다양한 물체를 집을 수 있고, 초경량 그리퍼로 로봇의 부하를 최소화할 수 있는 장점이 있음

★ (케이블 핸들링을 위한 파지 전략) 케이블 핸들링은 일반적으로 지정된 위치에 기반한 단순 파지에 대한 연구가 많았으나, 최근에는 유연한 환경 내에서 케이블 배치 또는 조립 수요가 확대됨에 따라 정교한 케이블 파지를 위한 전략 연구 중

- (MIT) 유연 폴리머 재질의 Gelsight sensor를 그리퍼 팁에 장착하여, 그리퍼 팁을 일부 유연하게 구현함과 동시에 케이블의 위치 및 힘을 실시간으로 측정할 수 있는 연구 수행

* 그리퍼는 기존의 구성을 그대로 사용하였기 때문에 다종의 비정형 케이블 파지 이송 구현은 어려움

- (한국기계연구원) 케이블 인식을 바탕으로 유연한 상황에서 다양한 케이블 다발을 정교하게 핸들링하거나, 케이블의 정렬 및 조립 작업을 수행할 수 있는 와이어 하니스 작업용 그리퍼 2종을 개발중

* 롤러식 그리퍼는 평형 그리퍼 플랫폼 기반으로 다양한 케이블 다발을 동시에 안정적으로 파지할 수 있도록 형상 적응형 구조와 가변강성 기술을 적용하고, 이를 유연한 롤러팁으로 구성하여 케이블을 정렬할 수 있는 기능까지 부가함

* 높은 자유도를 구현하고 그리퍼 표면에 케이블 감지 센서를 부착하여, 정교한 와이어 하니스 조립을 목적으로 하는 고자유도 케이블 전용 그리퍼 개발도 진행 중임

조작 기술

★ 로봇이 비정형 물체 및 변형체 등 유연물을 대상으로 복잡한 작업을 수행하기 위한 지능 기반의 작업 상태 판단 기술, 실시간 동작 계획, 다중 로봇 협업 제어 기술, 파지 기술과 연계된 정밀 제어 기술 등 고도의 지능을 기반으로 하는 조작 기술 등이 연구되고 있음

★ (정형물 조작기술) 다관절 로봇을 활용하여, 다수 부품의 포장 작업을 위한 조작 기술과 커넥터류의 조립 작업을 위한 지능 기반의 교시, 조립 상태 판단 및 정밀 조립 기술이 개발되고 있음

- (한국기계연구원) 양팔로봇, 다중로봇을 이용한 스마트폰, TV, 오디오 등 전자제품 포장, 조립 공정 구현을 수행한 바 있음

* 다양한 형상과 포장 상태를 갖는 부품들을 각각의 특성에 적합한 그리퍼가 장착된 양팔로봇을 활용하여 파지하고, 컨베이어 상에서 포장작업을 완성하는 실시간 경로 생성 기반의 양팔로봇, 다중로봇 제어 기술을 개발

* 오디오 완제품을 구성하는 2개의 파트에 연결되는 커넥터를 결합하기 위해서 한쪽팔로 케이블과 커넥터를 파지하고 다른 팔을 지그로 활용하여 양팔 상대 모션을 이용한 조립 작업을 구현

★ (케이블 조작기술) 다양하고 유연한 형상을 가지는 케이블 핸들링과 복잡한 와이어링 하니스 작업에 대한 로봇 자동화 관련 연구는 다수 기관에서 원천기술 확보 연구를 수행 중

* 유연물 중에서도 난이도가 매우 높은 대상물로 상용화를 위한 단계까지는 인식, 파지, 조작 기술의 융합과 완성도 향상이 필요함

- (스탠포드&일리노이) 로봇 경로 계획 또는 조작을 위한 유연체 모델링 관련 연구와 매듭짓기 등 특정 조작 작업을 중심으로 수행

* 다관절 로봇의 와이어링 케이블 제작 작업에 필요한 충돌 없는 경로계획(collision-free path planning) 및 유연체 조작(flexible object manipulation) 기술임

* 작업의 비정형성이 큰 관계로 실제 산업 현장에 적용되기에는 부족한 수준

- (도호쿠 대학) 실험실 테스트베드 환경에서 3대의 7자유도 로봇을 사용하여 자동차 인스트루먼트 패널의 와이어 하니스 조립 작업을 자동화하는 연구 수행

* 로봇의 기본 동작을 이송 동작, 접근/파지 동작, 펴는 동작, 클램프 파지 동작, 삽입 동작 등 5가지 동작으로 정의

* 샘플링 기반 동작 계획을 기반으로 조립 시나리오를 위한 복수 로봇 동작계획 방법을 개발

* 실험실 테스트베드 환경에서 가능성을 검증하기 위한 데모를 선보인 단계이며, 와이어 하니스 인식을 위해 특수 제작한 마커를 부착해야 하는 한계가 있음

- (CNRS, 프랑스 국립과학연구센터) 양팔 로봇으로 케이블을 목표 형상으로 조립하기 위한 동작계획 방법을 제시하고, 로봇 손목 카메라를 사용하여 케이블과 도판의 핀 간에 접촉을 감지하는 방법을 제안

* 케이블이 핀과 접촉한 뒤 목표하는 방향으로 회전하는 동작 계획 문제를 이론적으로 해결

* 기초 연구를 위해 연구용으로 단순화된 와이어링 하니스 조립 도판 및 양팔 로봇 실험환경을 구축하고, 양팔 로봇으로 도판 내 케이블 조작 작업 데모를 보이는 단계임

- (한국기계연구원) 냉장고, 세탁기 등 전자제품의 핵심부품인 와이어 하니스 제작 공정에 대한 다중로봇 기반 로봇 자동화 연구 수행 중

* 다중 로봇의 상대위치 뿐만 아니라 케이블에 인가될 힘을 고려한 상대 모션을 구현하고, 다중 로봇 협조 제어 기술과 센싱기반 작업 모니터링 기술을 개발하여 실 공정에 적용 가능하도록 연구 수행 중

* 여유자유도를 이용한 작업 알고리즘, 유연 케이블 작업을 위한 실시간 충돌회피 경로계획 알고리즘, 유연 케이블 작업 상태를 고려한 온라인 조작 계획 등을 중점적으로 연구 중

★ (가정내 유연물 조작기술) 서비스 로봇 분야에서는 의류 등 가사 물품 핸들링 및 조작 기술에 대한 연구가 수행되고 있음

- (컬럼비아 대학) 양팔 로봇을 사용하여 옷을 집고 주름진 곳을 다림질하는 조작 기술 연구 수행

* 로봇 다림질을 위해 곡률 기반 및 사전 기반 이미지를 결합하여 감지된 주름을 구분할 수 있는 다중 센서 확률적 프레임워크 (multi-sensor probabilistic framework)를 개발

* 다수의 주름에 대한 그리디 탐색(greedy search)을 통해 다림질 작업 전체 시간이 짧아지기 위한 최적의 다림질 경로 계획 구현

★ (기타) 비정형물이나 유연물에 대한 작업, 비정형화된 환경에서 원활한 작업을 수행할 수 있는 실시간 동작 계획에 대한 연구 및 일정한 인식 오차나 불확실성에 대응할 수 있는 환경 대응형 조작 기술 등에 대한 연구가 다수 이루어지고 있음

- (Carnegie Mellon University) 대상물의 불확실성에 대응하기 위해 확률적인 접촉 모델을 사용하였으며, Treebased probabilistic planning을 통해 로봇과 그리퍼의 적절한 동작을 찾아 알려진 물체의 상태와 실제 상태에 오차가 있어도 로봇 스스로 대응하도록 하는 기술을 발표

- (Duke University) 실시간 동작 계획이 가능한 동작 계획 전용 칩(chip) 기술로 확장함

* FPGA(field programmable gate array) 프로세서에 동작 계획 알고리즘인 PRM(Probabilistic Road Map)을 구현, 이를 통해 동작 계획 시간을 크게 줄여서 실시간으로 변형되는 장애물 위치에 대응하며 충돌 없는 동작 생성 가능

* 외부 비전 시스템에서 제공하는 장애물 정보를 입력받아 로봇 팔이 실시간으로 회피하며 물체를 픽-앤-플레이스 하는 동작 생성 데모를 보임

3. 시사점 및 정책제언

★ (유연물 작업성 확보 중요) 현재의 로봇 기술은 정형화된 특정 작업물과 강체 형상의 작업물을 주대상으로 하여 이에 대한 연구가 다수를 이루고 있었으나, 다양한 산업 및 서비스 분야에서 로봇화가 이루어짐에 따라, 유연물에 대한 작업성 확보가 중요해짐

★ (인식/파지/조작 기술 중요) 정형 작업물 핸들링을 넘어 비정형, 유연물 핸들링이 가능한 인식, 파지, 조작 기술을 위한 다음과 같은 연구개발이 필요할 것으로 판단됨

- 형상이 일정하지 않은 유연물 핸들링을 위한 머신러닝 기반의 고정도 비전 인식 기술의 개발이 필요하며, 이는 기존에 정형화되지 않은 로봇 작업 환경, 주변 환경 인식 기술 개발 등과 병행 추진 필요

- 비정형물을 포함한 다양한 형태의 물체를 핸들링할 수 있는 그리퍼와 파지 알고리즘이 포함된 스마트 그리퍼 기술에 대한 투자가 필요함. 특히 정교한 작업을 위한 촉각, 슬립, 힘/토크 등 파지 위치, 힘, 상태 판단을 위한 센싱 기술과의 병행 개발이 요구됨

- 유연물 작업의 경우는, 작업 자체가 정형화되어 있지 않은 이유로 높은 판단 지능을 갖춘 작업 SW 기술 개발을 위한 투자가 필요하고, 로봇과 로봇 사이, 사람과 로봇 사이의 유연한 협력 작업에 대한 기술 확보가 요구됨

출처 : keit pd 이슈리포트

저작자표시 비영리 변경금지

'사회경제' 카테고리의 다른 글

리튬-황 차세대 이차전지의 기술 동향 및 전망 (0)	2023.03.22
수소 파이프라인 강재 기술개발 동향 (0)	2023.03.21
중대형 수소상용차의 기술개발 방향 (0)	2023.03.21
디스플레이용 QD 소재 기술 동향 및 향후 추진 방향 (0)	2023.03.20
자원순환 화학재생 섬유 기술동향 및 전망 (0)	2023.03.20

할로파파

유연물 핸들링 로봇 시스템을 위한 인식, 파지, 조작 기술