인간 중심 협동 로봇: 안전하고 적응적인 협업을 향하여
Human-Centered Collaborative Robots for Safe and Adaptive Interaction (김완수 교수)

이번 강의는 지난 로봇 학회 초청 강연에서 다뤘던 내용을 더 확장해 준비한 것입니다. 그때는 20분 정도로 짧았지만 오늘은 여유 있게 풀어서 설명하겠다고 합니다. 강연의 큰 주제는 제목에 담긴 그대로, 사람과 함께 일하는 협업로봇이 어떻게 하면 안전하면서도 사람에게 맞춰 적응할 수 있을지에 관한 것입니다.

이 강의에는 수식이 전혀 없다고 미리 강조합니다. 개념과 직관 위주로 진행되며, 시험도 수식을 묻는 형태는 아닐 것이라고 안내합니다. 청중이 로봇 전공뿐 아니라 전자·인공지능·산업공학 등 다양한 배경을 가진 점을 고려해 눈높이를 맞춰 설명하겠다고 합니다.

교수님은 자신을 한양대학교에서만 학문 경력을 쌓아온 사람으로 소개합니다. 한양대 기계공학과에서 학·석·박사를 마치고, 잠깐 외국에 나가 있다가 다시 돌아와 로봇공학과 교수로 재직 중입니다. 2004년 입학 이후 중간에 딱 5년만 빼고 계속 한양대에 있었다고 합니다.

주된 연구 키워드는 인간-로봇 상호작용(Human-Robot Interaction, HRI)이며, 구체적으로는 웨어러블 로봇과 AI 활용 협동로봇입니다. 2016~2021년 이탈리아 IIT 연구소에서 협동로봇·HRI 연구를 수행했고, 그 기간 동안 했던 고민과 앞으로의 발전 계획을 오늘 강연에서 풀어내겠다고 합니다. 또한 현재 ITVP 테크니컬 커뮤니티 활동을 통해 휴머노이드·협동로봇 등 다양한 주제를 다루며, 학생들의 학회 참여와 네트워킹, 세미나 기획을 독려하고 있다고 소개합니다.

HRI(Human-Robot Interaction)는 사람과 로봇이 같은 공간에서 안전하고 자연스럽게 함께 일하거나 소통하도록 만드는 연구 분야입니다. 교수님의 두 축인 웨어러블 로봇(외골격, exoskeleton)은 사람 몸에 착용해 근력을 보조·증강하는 로봇이고, 협동로봇(collaborative robot, cobot)은 안전 펜스 없이 사람 옆에서 함께 작업하는 산업용 로봇을 말합니다. 두 분야 모두 '사람과의 직접 접촉'이 핵심이라, 오늘 강연 제목의 '안전'과 '적응'이 왜 중요한지를 미리 짐작할 수 있습니다.

지금 시대는 소프트웨어가 하루아침에 바뀔 만큼 급변하고 있습니다. 교수님이 학교에 처음 왔을 때만 해도 노트북을 펼쳐 놓는 풍경조차 드물었고 코딩도 매우 어려웠는데, 불과 5년 사이에 ChatGPT·Gemini·Claude 같은 도구가 안 깔린 노트북이 없을 정도가 됐고 최근엔 에이전틱 자동화(agentic automation)까지 등장했습니다. 그런데 자동화는 소프트웨어만의 일이 아니라 하드웨어, 즉 로봇이 그 중심에 있다는 점을 강조합니다.

이 그래프의 핵심 메시지는 고령화입니다. 65세 이상 인구가 어린 인구를 넘어선다는 것은 실제로 생산적인 활동을 할 수 있는 인력이 줄어든다는 뜻입니다. 특히 우리나라처럼 제조업 중심 국가에서는 일할 사람이 줄면 산업의 원동력이 약해질 수 있다는 우려가 생깁니다. 그래서 제조뿐 아니라 헬스케어·물류·건설·농업 등 전 분야로 완전 자동화(full automation)를 확장하려는 꿈을 갖게 되는 것입니다.

하지만 교수님은 여기에 물음표(?)를 답니다. 물리치료 마사지, 건설 현장의 벽돌·타일 시공, 과일의 익은 정도 판별처럼 사람이 손으로 섬세하게 하는 일을 로봇이 정말 완벽히 대체할 수 있을지, 공학적으로 보면 완전 자동화는 매우 어려울 수 있다는 문제를 제기합니다.

앞 슬라이드에서 던진 '완전 자동화가 가능한가?'라는 물음에 대한 대표적 반례가 바로 테슬라의 사례입니다. 2018년경 일론 머스크는 Model 3를 만들면서 모든 공정을 자동화하고 사람을 아예 쓰지 않겠다고 선언했고, 공장 하나를 산업용 로봇만으로 채우려 했습니다.

그런데 배터리팩 위에 부드러운 천(Fluff)을 덮는, 사람에게는 아주 간단한 작업조차 로봇은 해내지 못했습니다. 천처럼 모양이 일정하지 않은 비정형 물체는 머신 비전이 인식하기 매우 어려웠고, 결국 이 한 공정 때문에 라인 전체가 멈춰 섰습니다. 머스크 스스로 "과도한 자동화는 실수였고, 인간이 과소평가됐다"고 인정한 것이 이 강연의 출발점입니다.

즉, 사람을 완전히 배제하는 방향이 아니라 사람과 로봇이 각자 잘하는 일을 나눠 협력하는 방향이 더 현실적이라는 것이며, 이것이 오늘 주제인 '인간 중심 협업로봇'으로 이어집니다.

이 사례가 보여주는 공학적 교훈은 모라벡의 역설(Moravec's paradox)과 통합니다. 사람에게 쉬운 일(손끝으로 부드러운 천 집어 덮기)이 로봇에게는 오히려 어렵고, 사람에게 어려운 일(정밀한 반복 계산·용접)이 로봇에게는 쉽다는 것입니다. 비정형 물체(천·끈·과일처럼 모양이 고정되지 않은 대상)는 형태가 계속 변해 머신 비전과 제어가 다루기 까다롭습니다. 그래서 '사람을 다 빼는 완전 자동화'보다, 사람의 유연한 손과 로봇의 힘·정밀함을 결합하는 협업(collaboration)이 산업 현장에서 더 합리적인 해법으로 부상하게 됩니다.

먼저 시대 배경을 짚습니다. 불과 5년 사이 모든 랩탑에 AI 코딩 도구가 깔릴 만큼 기술이 급변하고, 동시에 사회는 고령화되고 있습니다. 2018년 이후 65세 이상 인구 비율이 그 아래 연령층을 넘어섰는데, 이는 곧 실제로 생산 활동을 할 수 있는 인력이 줄어든다는 뜻입니다. 제조업 중심 국가일수록 일할 사람이 부족해지므로, 그 공백을 메우기 위해 자동화에 대한 관심이 폭발적으로 커집니다. 그 중심에는 당연히 로봇이 있고, 제조뿐 아니라 헬스케어·물류·건설·농업까지 전 분야로 자동화의 꿈이 확장됩니다.

하지만 교수님은 "정말 완전한 자동화가 가능한가?"라고 되묻습니다. 물리치료에서 허리를 풀어주는 동작, 건설 현장에서 벽돌을 하나하나 쌓는 작업, 농장에서 과일이 잘 익었는지 판별하고 비뚤게 자란 가지를 확인하는 일 — 사람에겐 쉬운 이 일들이 로봇에겐 극도로 어렵습니다. 공장처럼 정형화된(통제된) 환경에서는 어느 정도 가능하지만, 조명·먼지·자재가 시시각각 바뀌는 비정형 환경에서는 작은 변화 하나에도 시스템이 멈춰버립니다.

핵심 메시지는 효율성과 회복 탄력성의 맞교환입니다. 한 가지 작업에 최적화해 효율을 끌어올릴수록, 예상치 못한 충격(공급망 차질, 유행 변화 등)에 적응하고 회복하는 능력은 오히려 떨어진다는 것입니다.

교수님이 든 대표 사례가 테슬라의 '플러퍼봇(Fluffer-bot)' 사건입니다. 2018년 일론 머스크는 모델3 공장을 사람 없이 100% 로봇으로 운영하겠다고 선언하고 막대한 투자를 했지만, 결국 생산 지옥(production hell)에 빠졌습니다. 머스크는 트위터에 "과도한 자동화는 나의 실수였다. 인간은 과소평가되었다"라고 인정했죠. 문제의 로봇이 맡은 일은 배터리팩 위에 천(섬유 소재)을 덮는 아주 사소한 동작 하나였지만, 천이 살짝 접히거나 위치가 틀어지는 등 미세한 변동을 처리하지 못해 라인 전체를 멈추게 만들었습니다. "사람이라면 10살 아이도 하는 일"이 로봇에겐 막대한 학습과 제약 조건을 요구한다는 점이 완전 자동화의 본질적 어려움을 잘 보여줍니다.

이런 한계를 극복하려는 흐름이 인더스트리 4.0(4차 산업혁명)에서 인더스트리 5.0으로의 전환입니다. 4.0은 IoT 개념이 핵심이어서 "모든 디바이스가 연결되고, 모든 장비가 디지털화되어 서로 상태를 파악한다"는 데 초점을 맞췄습니다. 즉 기술을 기반으로 발전을 밀어붙인 시대였죠. 그런데 막상 기술 중심으로 가다 보니 여러 한계점이 드러났고, 이를 보완하려고 나온 개념이 5.0입니다.

교수님이 짚는 4.0과 5.0의 가장 큰 차이는 인간과 기계의 분리 여부입니다. 4.0에서는 사람과 기계가 연결은 되어 있어도 물리적으로는 완전히 분리되어, 로봇은 로봇대로 펜스 안에서 자기 일만 반복했습니다. 반면 5.0은 이 둘을 어떻게 유연하게 연결하고, 사람이 그 중심에서 더 큰 가치를 만들어낼 수 있을지를 고민합니다. 그림의 의도(INTENT)–피드백(FEEDBACK) 화살표가 바로 그 협업 관계를 나타냅니다.

유럽연합 집행위원회가 정의한 인더스트리 5.0의 공식 그림입니다. 5.0은 완전히 새로운 개념이라기보다 4.0을 보완하는 개념으로, 이전엔 충분히 고려하지 못했던 인간 중심(Human-centric)·회복 탄력성(Resilient)·지속가능성(Sustainable)이라는 가치를 산업 전반으로 확산시키자는 취지입니다.

즉 4.0이 "기술로 무엇을 더 할 수 있는가"를 물었다면, 5.0은 "이 기술을 누구를 위해, 어떤 가치를 위해 쓸 것인가"를 묻습니다. 교수님은 이 세 키워드 중에서도 특히 인간 중심에 주목한다고 밝히며, 다음 슬라이드에서 이 의미를 더 깊이 파고듭니다.

교수님이 가장 강조하는 부분입니다. 인간 중심 산업이란 기술이 아니라 사람을 위해 노력하는 산업을 뜻합니다. 안전하고 질 높은 일자리, 더 나은 근로 환경을 만들고, 근로자를 비용이 아니라 투자 대상으로 바라보며 그들의 능력과 창의성을 키워주는 방향입니다.

"로봇이 발전하면 결국 우리 일자리를 다 뺏는 것 아니냐"는 질문을 자주 받지만, 교수님은 그렇게 생각하지 않는다고 답합니다. 산업혁명이 일어날 때마다 똑같은 우려가 반복됐지만, 결과적으로 사람의 일자리는 오히려 질이 높아지고 스펙트럼이 다양해졌다는 것입니다. 5.0의 목표는 사람을 대체하는 것이 아니라, 로봇과 함께 일하며 인간이 가진 장점을 극대화하는 데 있습니다.

그래서 공학자의 역할은 이 그림의 세 가지 — 노동력을 증가(enhancement)·지원(assistance)·회복(recovery)시키는 기술을 만드는 일입니다. 사람을 빼는 자동화가 아니라, 사람을 돕는 자동화를 설계하는 것이죠.

이 그래프가 강의의 큰 그림을 요약합니다. 1900년대 초반에는 모든 일을 사람이 했고(유연성은 높지만 생산성은 제한적), 자동화가 들어오면서 로봇이 등장합니다. 다만 여러분 머릿속에 떠오르는 그 로봇들은 뉴스나 교과서에서 봤듯 펜스(안전 울타리) 안에 갇혀 자기 일만 반복하는 형태였습니다. 생산성은 크게 올랐지만 유연성이 낮아 시장 변화에 대응하기 어려웠죠.

그러나 지금은 더 많은 산업이 다양성과 변화 대응을 요구합니다. 유행이 검정에서 흰색, 다시 초록으로 바뀔 때마다 새 제품에 맞는 공정과 재학습이 필요한데, 이 변화를 빠르게 흡수하고 손실을 최소화하려면 환경이 더 유연해져야 합니다. 그 해답으로 교수님이 꼽는 것이 결국 사람이고, 그래서 2020년대 이후의 키워드가 HRC(Human-Robot Collaboration, 인간-로봇 협업), 인간-기계 인터페이스, HRC 공정 개발인 것입니다.

마지막으로 협업이 왜 어려운지를 직접 겪은 일화를 들려줍니다. 연구실을 리모델링할 때 로봇 팔이 유리창 쪽을 향해 잘못 설치돼 단 90도만 돌리면 되는 상황이었는데, 1층에 들어오지 못하는 지게차를 넣으려고 천장을 뜯고 바닥의 앵커 볼트 4개를 풀어내는 등 수백만 원이 들었다고 합니다. 로봇은 한 번 자리 잡으면 위치를 바꾸기조차 이렇게 까다롭다는 점 — 즉 유연성 확보가 협업의 핵심 과제임을 실감 나게 보여주는 사례입니다.

예전 우리가 떠올리는 로봇은 자동차 생산 라인처럼 펜스(fence) 안에 갇혀 자기 일만 반복하는 모습이었습니다. 인간과 로봇의 작업 공간이 물리적으로 완전히 분리돼 있었죠. 하지만 지금은 다양성과 변화에 대응해야 하다 보니, 이 분리된 형태를 넘어 서로 조금씩 함께 갈 수 있는 방향으로 발전하고 있습니다.

그 발전 경로가 바로 이 표의 흐름입니다. 단순한 공존(coexistence)에서 출발해, 같은 공간을 조화롭게 나눠 쓰는 동기화(synchronised), 함께 일하는 협동(cooperation), 그리고 실제로 접촉이 일어나며 하나의 과업을 같이 해내는 협업(collaboration)까지 단계적으로 나아갑니다. 인간–로봇 작업을 고민할 때 가장 기초가 되는 분류 체계입니다.

"로봇이 발전하면 결국 우리 일자리를 다 뺏는 것 아니냐"는 질문을 정말 많이 받습니다. 하지만 저는 그렇게 보지 않습니다. 산업혁명 때마다 똑같은 우려가 반복됐지만, 그 결과는 오히려 사람의 일자리 질(quality)이 높아지고 스펙트럼이 다양해지는 쪽이었습니다. 핵심은 사람을 대체하는 것이 아니라, 사람의 장점을 극대화하며 함께 나아가는 것입니다.

이것이 슬라이드 위쪽(인간 대체)과 아래쪽(인간 협업)의 차이입니다. 저는 로봇을 통해 노동을 증강(augment)·지원·회복시키는 방향, 즉 공장 현장의 동료 로봇이나 일상의 서비스 로봇처럼 사람과 어우러지는 로봇을 만드는 것이 공학자의 역할이라고 봅니다.

교수님이 든 연구실 사례가 이 흐름이 왜 필요한지를 잘 보여줍니다. 펜스에 고정된 로봇은 작업 공간이 한 번 바뀌면(예: 90도 회전) 천장을 뜯고 지게차를 들여 다시 앵커 볼트로 박는 데 수백만 원이 듭니다. 환경이 바뀔 때마다 이런 비용을 치르는 것은 비합리적이죠. 그래서 사람이 원하는 대로 쉽게 재배치·재구성할 수 있는 모바일 로봇, 사람과 직접 협업하는 유연한 로봇이 늘고 있습니다.

우리가 하고 싶다고 마음대로 할 수 있는 게 아니라, ISO 국제 표준 규격이 안전 기준을 규정하고 있습니다. ISO 10218은 협동 운전을 네 단계로 나눕니다. 레벨 1은 가장 단순한데, 펜스 대신 사람이 근접하는 순간 로봇을 멈추게 합니다. 안전을 위해서죠.

로봇은 작은 동작이라도 사람에게 닿으면 정말 위험합니다. 저도 유압식 웨어러블 로봇을 만들다 목이 졸릴 뻔한 적이 있었는데, 옆 사람이 당황해 비상 버튼(emergency button)을 제때 못 눌렀습니다. 그 뒤로는 프로파일 가드를 만들어 실험했죠. 그만큼 이 표준들이 가장 강조하는 가치는 단연 안전(Safety)입니다.

이 그림은 네 레벨을 안전·공존·협력이라는 세 가치로 다시 묶은 것입니다. 현재 상용 로봇들은 레벨 3 정도까지는 무난히 수행합니다. 일정 수준의 힘이 접촉되면 멈추고, 그 전에는 너무 빠르게 다가오면 속도를 늦추는 식이죠. 산업계는 점점 레벨 4, 즉 파워를 능동적으로 조절하며 협력 작업까지 하는 단계로 다가가고 있습니다.

이 표준이 가장 강조하는 것은 역시 Safety이고, 거기서 한 걸음 더 나아가 "어떻게 공존할 것인가", 더 나아가 "어떻게 협업할 것인가"를 고민하는 흐름입니다. 이 영역이 바로 HRI(Human-Robot Interaction, 인간–로봇 상호작용)이고, 제 연구는 그중에서도 물리적 협업에 무게를 둡니다.

제 연구를 정리하면 크게 세 가지 축으로 나눌 수 있습니다. 첫째는 사람을 잘 인지하고 이해하며 보호하는 것(Pillar 1), 둘째는 그렇게 이해한 사람의 신체를 지원·보조하고 협력하는 것(Pillar 2), 셋째는 이를 위해 사람과 로봇이 잘 소통하도록 만드는 것(Pillar 3)입니다.

이를 위해 다양한 로봇 플랫폼(모바일 매니퓰레이터, 사족보행 로봇, 엑소스켈레톤 등)을 쓰고, 사람의 움직임을 살피는 센서와 해석용 시뮬레이션 툴, 그리고 로봇과 사람을 잇는 인터페이스를 함께 연구합니다. 그 첫 번째 연구 주제가 다음에 이어질 인간 상태의 실시간 이해와 인간공학(ergonomics) 평가입니다.

교수님은 본인 연구 분야인 HRI(Human-Robot Interaction)가 감정적 상호작용도 있지만 자신은 물리적 협업에 더 무게를 둔다고 설명합니다. 그 출발점은 ISO 표준이 강조하는 안전(Safety)이고, 거기서 한 걸음 더 나아가 "어떻게 공존(coexistence)하고 협력(collaboration)할 것인가"를 고민한다고 했습니다.

연구를 크게 세 갈래로 정리하면 — (1) 사람을 잘 인지하고 이해하는 것, (2) 그 이해를 바탕으로 사람을 지원·보조하거나 협력하는 것, (3) 이를 위해 로봇과 사람이 잘 소통하도록 만드는 것입니다. 슬라이드에 나열된 다양한 로봇·모션캡처·센서·시뮬레이션 도구들이 바로 이 세 갈래를 실현하기 위한 수단이며, 특히 "사람이 어떻게 움직이는지"를 관측하는 센서와 이를 해석하는 도구가 핵심이라고 강조합니다.

교수님은 자신이 로봇 플랫폼 자체(하드웨어 설계)를 만드는 사람은 아니며, 이런 장비들을 활용해 사람을 이해하고 로봇과 소통시키는 인터페이스 측면을 주로 연구한다고 덧붙였습니다.

첫 번째 연구 주제는 인간공학(ergonomics)입니다. 교수님은 우리가 앉은 의자도 인간공학으로 설계됐다며, 인간공학이란 "사람이 어떤 자세·작업을 할 때 어디에 힘이 어떻게 실리는지"를 분석하는 학문이라고 설명합니다. 같은 동작을 반복하면 근육·신경에 무리가 쌓이고, 무거운 짐을 반복해 드는 작업처럼 극단적인 경우엔 허리·어깨 통증이 만성화되어 질병으로 이어진다는 것이죠.

문제는 기존 인간공학 평가가 대체로 사후관리(사후 분석)였다는 점입니다. 작업자를 관찰해 "이 자세를 5kg 들고 하루 N번 반복하면 어깨에 무리가 간다", "팔을 1.5m 이상 뻗어 작업하면 좋지 않다" 같은 가이드를 만들고, 그에 맞춰 작업대 높이나 배치를 설계해 온 방식입니다.

교수님의 착안점은 이걸 실시간(real-time)으로 바꾸는 것입니다. 사람의 상태를 실시간 파악해 위험한 반복 행동의 누적 가능성을 미리 예견하고(모니터링), 위험 수치가 높아지면 자세를 바꾸도록 안내하며(피드백), 더 나아가 로봇이 애초에 위험한 자세로 가지 않도록 선제적으로 동작(제어)하게 만든다 — 슬라이드의 세 장면이 정확히 이 흐름입니다.

여기서 "사후(reactive) → 실시간/사전(proactive)"으로의 전환이 핵심 아이디어입니다. 기존 인간공학은 사고가 날 만한 작업을 미리 분석해 환경을 바꿔 두는 정적 접근이라면, 교수님 연구는 작업 중인 사람의 상태를 계속 측정해 그 순간 개입하는 동적 접근입니다. 부상은 보통 한 번의 큰 동작이 아니라 작은 부하의 반복 누적으로 생기므로, 실시간 모니터링은 "위험이 임계치를 넘기 전에" 막을 수 있다는 점에서 의미가 큽니다.

실시간 평가를 하려면 먼저 "어떤 요인이 인체공학적 관점에서 사람에게 영향을 미치는가"를 정의해야 합니다. 교수님은 관절의 변위·속도·가속도 같은 운동학적 요인과 토크·피로·보상력 같은 동역학적 요인을 지표로 삼아, 이를 실시간으로 관측 가능하도록 만들었다고 설명합니다.

또한 여러 실험을 진행하며 측정 결과를 데이터베이스(공개 데이터셋)로 구축해, 다른 연구자들도 활용할 수 있게 했다고 했습니다. 슬라이드의 zenodo 데이터셋이 바로 그 결과물로, 모션·근전도·힘 데이터를 함께 담아 공장형 작업을 정량 분석하는 토대가 됩니다.

두 평가 축의 차이를 직관적으로 보면 — 운동학(kinematics)은 "얼마나 빠르게, 얼마나 크게 움직였나"처럼 힘을 보지 않고 움직임만 다루고, 동역학(dynamics)은 "그 움직임에 힘·토크가 얼마나 들었나"를 다룹니다. 예컨대 같은 자세라도 빈손이냐 5kg를 들었냐에 따라 관절 토크가 달라지므로, 진짜 부하를 알려면 동역학 지표가 필요합니다. 표의 RISK FACTOR 열은 이 지표들이 각각 어떤 부상 위험(관절 압박·근피로 등)과 연결되는지를 매핑해 둔 것입니다.

교수님은 피드백을 두 갈래로 보여줍니다. 먼저 시각 피드백 — 함께 연구한 동료가 물건을 들면, 화면 속 관절이 빨간색으로 표시됩니다. 빨간색은 "지금 이 자세에서 그 관절에 무리가 많이 가고 있다"는 뜻으로, 사용자가 직접 보고 "이 자세는 무리가 가는구나, 이렇게 바꾸면 괜찮구나"를 스스로 체득하게 돕습니다.

다음은 진동(촉각) 피드백 — 사용자가 화면을 계속 보지 않아도 되도록, 목뒤·허리·등·어깨에 진동 디바이스를 부착했습니다. 위험한 자세에서는 큰 자극을 주어 자연스럽게 자세를 바꾸도록 유도합니다. 핵심 발견은 진동 세기를 30~60% 범위로 조절하면, 사용자가 자극에 과하게 신경 쓰지 않으면서도(인지 부하 최소화) 목표 자세로 잘 수렴한다는 점입니다.

"인지 부하(cognitive load)를 최소화한다"는 표현이 왜 중요한지 짚어볼 만합니다. 피드백이 너무 강하거나 잦으면 작업자가 본래 작업보다 알림에 더 신경 쓰게 되어 오히려 방해가 됩니다. 그래서 진동을 무조건 세게 주는 게 아니라 적정 범위(30~60%)를 찾는 것이 설계의 핵심입니다.

참고로 교수님 강의는 이 뒤로 — 로봇이 자세를 자동 변환해 주거나(들고 있는 공구의 무게·작업 특성까지 인식해 더 나은 자세를 미리 제안), 가벼운 물체라도 오래 들고 있을 때 쌓이는 근피로를 실시간 예측해 로봇이 풀어주는 단계로 이어집니다. 슬라이드 18의 진동/시각 피드백은 그 발전 과정의 출발점에 해당합니다.

이 줄기의 핵심은 "사람이 지금 받고 있는 부하를 어떻게 본인에게 피드백해 줄까"입니다. 함께 연구했던 동료가 물건을 들고 있을 때, 화면에서 관절이 빨간색으로 표시되면 그 자세에서 해당 관절에 무리가 크게 가고 있다는 뜻입니다. 이것을 실시간으로 보여주면 사람이 스스로 "아, 이 자세는 무리가 가는구나" 하고 인지해 자세를 바꿔가며 부담이 적은 자세를 찾을 수 있습니다.

여기서 한 단계 더 나아가, 화면을 계속 들여다보지 않아도 되도록 진동 피드백 장치를 만들었습니다. 목 뒤·허리·등·어깨 등에 진동 디바이스를 부착해, 위험이 큰 자세에서는 강한 자극을 줘 자세를 바꾸도록 유도합니다. 즉 시각적 표시(빨간 관절)에서 촉각적(진동) 경고로 발전시킨 것입니다.

이런 연구가 실시간 부하·피로 예측으로 이어져, 협업 상황에서 작업을 안전하게 지속할 수 있는지를 판단하는 토대가 됩니다.

"과부하 피로 모델(overloading fatigue model)"은 단순히 한 순간의 관절 토크만 보는 게 아니라, 시간이 지남에 따라 근육에 누적되는 피로를 수식으로 추정하는 모델입니다. 가벼운 물건도 오래 들면 어깨가 아픈 것처럼, 누적 피로가 부상 위험으로 이어지므로 이를 예측하는 것이 협업 안전의 출발점입니다.

여기서는 "로봇이 위험을 미리 잡아내 알려줄 수 없을까"를 다룹니다. 화면 아래쪽에 현재 자세에서 어떤 인덱스가 어떻게 작용하는지 비주얼로 나타나는데, 이걸 근거로 로봇이 자세를 자동으로 바꿔 줍니다. "이 작업을 하려면 지금 이 자세보다 저 자세가 나을 거야"라고 제안하는 식입니다. 단순히 자세만 본 게 아니라, 오른쪽 파란색 표시처럼 사람이 어떤 도구·물체를 들고 있는지(무게·힘 방향)까지 인식해 반영합니다.

예를 들어 드릴링을 하다가 폴리싱으로 도구를 바꾸면 무게와 힘 방향이 달라지므로 좋은 자세도 달라집니다. 진정한 의미의 'Proactive'는, 사람이 그 자세를 취하기도 전에 "너 이걸 들고 있으니 이 자세가 훨씬 나을 거야"라고 미리 알려주는 것입니다.

또한 가벼운 물체라도 오래 들면 근육 피로가 쌓여 부상 위험이 생깁니다. 그래서 시간에 따른 피로 누적을 실시간 예측해, 낮은 자세 작업에서 허리·무릎 피로가 쌓이면 로봇이 그것을 풀어 줄 수 있는 자세로 바꿔 줍니다. 현재는 한 지점에 고정하는 것을 넘어, 작업 동작의 궤적(trajectory) 전체에 대해 인간공학적 안전을 보장하는 방향, 그리고 휴머노이드와의 협업으로 확장을 고민하고 있습니다.

장벽함수(Control Barrier Function, CBF)는 "이 값이 0 이상이면 안전 영역 안"이라는 식의 제약을 만드는 도구입니다. 값이 항상 ≥ 0이면 인간공학적 안전 한계를 넘지 않는다는 보장이 됩니다. BoS(Base of Support, 지지면)는 발이 바닥에 닿아 만드는 안정 영역이고, CoP(Center of Pressure, 압력중심)가 그 안에 있으면 넘어지지 않는 안정 상태입니다.

두 번째 연구 축은 웨어러블 로봇입니다. 예전에 했던 웨어러블 로봇은 크고 단단(rigid)했고, 실험하다 다치기도 많이 했습니다. 이런 시스템은 도움이 크지만 한 가지 본질적 문제가 있습니다. 아무리 잘 제어해도 "내 옆에 큰 덩어리가 항상 붙어 있는 불편함"은 사라지지 않습니다. 가만히 있을 때, 한 발을 떼는 그 순간에도 그 질량이 물리적으로 존재하기 때문에 몸이 기울고 어색해집니다.

그래서 소프트한 재질을 고민하기 시작했지만, 소프트 쪽도 단점이 큽니다. 공압(pneumatic) 등으로 구동하려면 부피가 커지고(bulky) 큰 힘을 내기 어렵습니다. 세종대 협력 연구자(완전 소프트 전문)와 본인(완전 리지드 전문)이 서로 시스템의 단점을 너무 잘 알기에, 두 방식을 잘 결합하는 방향으로 연구를 진행하고 있습니다.

그 결과가 이 슬라이드의 ① 가변강성 모듈(상황에 따라 단단해지거나 부드러워짐), ② 다자유도 소프트 구동기, ③ IMU 기반 활동 인식입니다. 특히 ③은 "사람이 지금 무슨 동작을 하는지"를 알아야 적절히 제어할 수 있기 때문에 매우 중요합니다.

여러 액추에이터 메커니즘을 고민하던 중, 실리콘 레이어가 겹치는 정도에 따라 물성치가 바뀌는 현상을 활용했습니다. 종이 한 장은 쉽게 구부러지지만 두세 장을 겹쳐 같이 구부리면 훨씬 뻣뻣해지는 것과 같은 원리입니다. 레이어가 겹치는 면적이 늘면 층 사이 마찰력이 커지고, 그 결과 여러 장이 하나의 물체처럼 거동하면서 강성(stiffness)이 변합니다.

그래서 100% 정렬일 때는 매우 부드럽게 움직이고, 0%로 가면 단단해집니다. 농구화가 발목을 꽉 잡아 줘야 할 때처럼, 필요한 순간에만 단단하게 보완해 줄 수 있습니다. 핵심은, 공압처럼 거추장스러운 장치 없이 하나의 모터로 슬라이드(레이어)를 빠르게 넣고 빼는 방식으로 구현했다는 점입니다. 즉 기계적 파트와 소프트 파트가 잘 결합된 형태입니다.

또한 정렬 상태에 따른 강성을 모델링으로 예측하고 실험으로 검증해, 오차를 1.89 N/mm 이내로 맞췄습니다. 이로써 능동적으로 강성을 조절하는 외골격(exoskeleton) 적용 가능성을 확인했습니다.

레이어 재밍(layer jamming)은 얇은 층을 겹쳐 두고, 평소엔 서로 미끄러져 부드럽지만 압착(또는 정렬 변화)으로 층끼리 '꽉 끼이게(jam)' 만들면 한 덩어리처럼 단단해지는 가변강성 기법입니다. 진공 상태를 만들어 굳히는 방식이 흔하지만, 여기서는 모터로 슬라이드 정렬을 바꿔 강성을 조절합니다.

이것은 TSA(Twisted String Actuator, 꼬임 줄 구동기)를 응용한 또 다른 가변강성 메커니즘입니다. 실 여러 가닥은 떨어져 있을 때는 그냥 실이지만, 모아서 밧줄처럼 꼬으면 탄성이 달라집니다. 이 꼬임 정도를 조절해 강성과 구동을 만들어 냅니다.

현재는 앞서 본 실리콘 레이어링과 이 꼬임 줄(TSA)을 결합하는 연구를 진행 중입니다. 둘을 합치면 조절 가능한 강성의 범위와 방향이 넓어집니다. 실만으로는 큰 힘을 전달하기 어렵지만(TSA의 한계), 약간의 탄성을 가진 실리콘을 더하면 서로의 단점을 보완해 더 나은 구동 결과를 얻을 수 있습니다.

나아가 능동 구동기 위주에서 벗어나 텐던(tendon, 줄) 기반의 효율적 구동을 목표로 합니다. 다만 줄을 당기고 미는 과정에서 슬랙(slack, 줄 늘어짐/미끄러짐)으로 인한 미스매치가 생기는데, 구동기 내부에 기구적 부품을 더해 슬랙을 줄이고 제어로 빠르게 예측·보정해 에너지 손실을 줄이며 동력을 전달하는 방향으로 웨어러블 로봇을 개발하고 있습니다. 이 성과는 로봇 학회 레드쇼에 전시되었고 현재 학술대회를 준비 중입니다.

웨어러블 로봇 제어에서 가장 중요한 것은 사람이 지금 어떤 보행 국면(phase)에 있는지 알아차리는 것입니다. 발이 땅에 닿는 순간, 공중에 뜨는 순간, 다음 착지 직전 등 국면마다, 그리고 평지·계단·오르막·내리막 등 지형마다 제어가 크게 달라지기 때문입니다. 이를 위해 보행 사이클(0~100%)과 지형을 동시에 판단하는 AI를 쓰되, 멀티태스크 러닝(multi-task learning)으로 새로운 사용자가 와도 두세 스텝 안에 재학습되도록 합니다. 또한 웨어러블은 소형화되어야 해 프로세서 성능이 낮으므로, 소수의 IMU와 축소된 데이터로도 성능을 유지하는 효율적 분석을 함께 고민합니다.

앞에서 보여준 레이어 재밍(layer jamming)은 층(layer)을 확 끼워 넣고 빼면서 강성을 만들 수도 있지만, 그렇게 하면 공기 펌프 같은 거추장스러운 장비를 들고 다녀야 한다. 그래서 고민한 것이 HFO 하나로 끝내는 구성이다. 모터로 슬라이드를 빠르게 넣고 빼는 장치를 써서 기계적(mechanical) 파트와 소프트(soft) 파트가 잘 결합되도록 구현하고, 모델링을 통해 그 동작을 검증한다.

여기에 더해 꼬임 줄 액추에이터(TSA)를 결합한다. 실 여러 가닥은 따로 있을 땐 그냥 부드러운 실이지만, 밧줄처럼 꼬아 놓으면 탄성이 달라진다. 이 원리를 이용하는 것이다. 즉 실리콘 레이어를 겹쳐 쌓아가는 것(SPJ)과 실이 꼬이면서 강성(stiffness)이 바뀌는 것(TSA)을 결합한 연구를, 전(全)월까지 준비하며 진행 중이다.

둘을 합치면 어떤 시너지가 생기느냐? 강성을 조절할 수 있는 범위가 넓어지고, 조절 가능한 방향과 가능성도 늘어난다. 실만으로는 큰 힘을 전달하기 어렵지만(TSA의 한계), 실리콘은 너무 딱딱하지 않으면서도 어느 정도 회복력(resilience)을 가지므로, 둘을 결합하면 더 나은 형태의 액추에이션 결과를 만들 수 있을 거라 기대하며 연구원들이 좋은 결과를 준비 중이다.

꼬임 줄 액추에이터(TSA)는 모터가 실 묶음을 꼬으면 길이가 짧아지는 원리로 큰 감속비를 얻는 가볍고 단순한 구동 방식이다(드론 헬리콥터 줄을 비틀면 짧아지는 것과 같다). 레이어 재밍은 얇은 층들을 눌러 서로 못 미끄러지게 만들면 전체가 단단해지는 현상(겹쳐 쌓은 종이를 옆으로 꽉 누르면 잘 안 휘는 것과 비슷)이다. 평소엔 부드럽다가 필요할 때만 단단해지는 "가변 강성"은 사람 몸에 닿는 웨어러블·소프트 로봇에서 안전성과 힘 전달을 동시에 잡는 핵심 기술이다.

웨어러블 로봇 연구의 기초 방향은, 예전처럼 능동 액추에이터(active actuator)로 직접 다 움직이던 것을 넘어 텐던(tendon, 힘줄처럼 줄로 당기는 방식)을 써서 더 효율적인 액추에이션을 만드는 것이다. 그런데 줄을 당기고 미는 과정에서 고민해야 할 문제가 생긴다. 바로 줄이 느슨해지며 생기는 슬랙(slack), 즉 미스매치다. 이때 줄이 미끄러지면서 의도한 패턴에 영향을 준다.

그래서 액추에이터 안에 기계적 컴포넌트(mechanical component)를 더 결합해, 기구적으로 슬랙을 줄여 잡아주고 제어적으로 더 빠르게 예측해서 잡도록 한다. 이렇게 에너지 손실을 줄이면서 동력을 전달한다는 개념으로 웨어러블 로봇을 준비했다. 이 연구는 지난 로봇 학회의 RED Show에 출품했고, 현재 콘퍼런스 발표를 준비 중이다.

웨어러블 로봇 제어에서 가장 중요한 것은 지금 사람이 어떤 행동을 하고 있는지 알아차리는 것이다. 내가 제어를 하는 중에 사람이 계속 움직이면 똑같은 제어가 맞을 리 없다. 보행 모드는 굉장히 자주 바뀐다 — 땅을 디디는 순간, 발이 떨어지는 순간, 다음 발이 땅에 닿기 직전의 순간, 그리고 환경(평지/계단/오르막/내리막)에 따라 제어가 크게 달라진다. 그래서 인공지능을 활용해 이를 판단한다. 왼쪽 그림은 보행 사이클(gait cycle)로, 0%~100%로 정의한 주기를 반복적으로 잘 예측하면서, 동시에 계단을 올라가는지·내려가는지·평지를 걷는지까지 판단하는 알고리즘이다.

핵심은 이 알고리즘이 멀티태스크 학습(multitask learning) 기반이라는 점이다. 보통은 다른 사람(subject)이 들어오면 학습된 모델이 안 맞는데, 멀티태스크 학습을 쓰면 두세 스텝 안에 그 사람에게 맞춰 다시 학습해 지형·보행 단계를 판단할 수 있다. 또한 적은 수의 IMU(관성 측정 센서) 하나 혹은 세 개만으로 다양한 행동을 예측·분석하는 것이 목표다. 프로세서가 좋으면 데이터를 많이 넣어 학습하면 되지만, 웨어러블은 소형화가 필수라 프로세서 성능이 크게 떨어진다. 그래서 "어떤 데이터를 어떻게 축소해야 성능을 유지하며 효율적으로 분석할 수 있을까"를 고민하는 방향으로 연구하고 있다.

마지막 축은 교수님이 가장 많이 하는 협업에 대한 자율성이다. 사람을 모델링하고 사람을 보조하는 것을 넘어, 로봇이 얼마나 더 잘 움직여 주어야 하는가, 우리가 로봇과 어떻게 소통하는가를 다룬다. 그 출발점은 "이 로봇이 정말 안전한가, 우리가 어떤 행동을 해도 안전을 보장할 수 있는가"이다(안전 → 슬라이드 28·29로 이어짐).

유연성 측면에서 인상적인 사례가 모바일 매니퓰레이터(mobile manipulator)다. 이탈리아를 떠나기 직전에 한 실험으로, 말하자면 "내 몸에 붙어 있지 않고 나와 함께 다니는 웨어러블 로봇"이다. 항상 붙어 있으면 무겁고 거추장스럽지만, 이 로봇은 필요할 때만 불러서 와서 도와주고, 끝나면 떼어 보내면 된다 — "너는 네 갈 길, 나는 내 갈 길".

또한 사람과 로봇이 협업할 때 "로봇이 다 하면 좋겠다"고 생각하지만, 정말 로봇이 필요한지 따져야 한다. 박스 3개를 팔레타이징(palletizing)하는 실험에서, 작은 박스는 사람이 놓도록 화면이 알려주고, 가운데 박스는 로봇이 직접 가져가며, 아주 큰 박스는 "혼자 못 하니 사람과 같이 하자"고 협업을 제안한다. 전체 환경을 잘 인식·분류하면 일을 나눠 협력할 수 있다. 더 나아가 인간공학(ergonomics) 관점을 옮겨와, 유연한 컨베이어 벨트처럼 — 작업자가 자세를 맞추는 게 아니라 로봇이 미리 드릴링 등에 최적인 자세를 알고 건네주는 형태로 발전시키고 있다.

로보틱스에서 배우는 여자유도(redundancy, 여유 자유도)를 이용하면 로봇이 유연성을 갖는다. 끝단에 임피던스 제어(impedance control)를 하면 부드럽게 활용할 수 있는데, 실제로는 말단의 임피던스는 잘 유지되지만, 외부에서 큰 외란(disturbance)이 들어오거나 갑자기 접촉이 사라지는 환경 변화가 있을 때 여자유도 작업까지는 보장하지 못하고, 해를 찾지 못해 발산해 버리는 경우가 종종 생긴다.

이를 에너지 탱크(energy tank) 기반 제어로 안정성을 확보한다. 에너지 탱크는 시스템이 가진 에너지 총량을 정해 두는 개념인데, 이 정해진 총량을 단순히 말단 작업만을 위한 에너지로 쓰는 게 아니라, 여자유도 조인트의 널 스페이스(null space) 동작에서도 제한된 에너지를 서로 조화롭게 배분해 안정적이면서도 효율적으로 움직이게 한다. 슬라이드의 실험처럼 말단 작업을 하다가 옆에서 갑자기 외란이 들어와도 — 에너지 한도를 벗어나면 낼 수 있는 에너지를 다 써 버려 발산하므로 — 전체 작업에 대한 에너지 총량을 정함으로써 다중작업에서도 안정성을 확보할 수 있다.

수동성(Passivity)은 시스템이 외부에서 받은 에너지보다 더 많은 에너지를 스스로 만들어 내지 않는다는 성질로, 이것이 보장되면 시스템은 발산하지 않고 안정하다. 에너지 탱크는 이 원리를 구현하는 장치로, "쓸 수 있는 에너지를 통장에 정해 놓고" 그 한도 안에서만 모든 작업에 배분하는 것이다. 널 스페이스는 로봇이 손끝 위치를 바꾸지 않으면서도 팔꿈치 등을 움직일 수 있는 여유 공간을 뜻하며, 여기서도 에너지를 규칙대로 쓰게 만드는 것이 핵심이다.

단순히 안정성을 확보하는 것을 넘어, 수학적으로 증명해서 안정성(stability)을 어떻게 보장하느냐를 다룬다. 리아푸노프 안정성(Lyapunov stability)을 지속적으로 만족하는 임피던스 파라미터를 튜닝하는 방법을 개발해, 갑자기 접촉이 빠지거나 들어오는 순간, 혹은 큰 외란을 줄 때도 로봇의 안정성을 계속 목표대로 보장하는 제어를 수행한다. 이를 수식으로 증명하고 실제 제어기에 적용했다.

이것이 중요한 이유는 인간-로봇 협업에서의 신뢰 때문이다. 사람끼리 일할 땐 큰 무리가 없다 — 상대가 적절히 보완하는 행동을 하리라 믿기 때문이다. 반면 로봇과 일할 땐 "갑자기 확 움직이면 어쩌지?"하며 못 믿어 굉장히 보수적으로 행동하게 된다. 그러나 안정성이 보장된다면 로봇에 대한 신뢰가 쌓이고, 그만큼 더 활발한 상호작용(interaction)을 만들 수 있다. 그래서 이 안정성이 협업에서 가장 중요하게 작동한다.

여기서의 핵심은 로봇이 "필요할 때 와서, 그 행동을 하고, 끝나면 떼어내면 되는" 유연한 협업 방식입니다. 로봇과 사람이 모바일 매니퓰레이터를 두고 함께 일하는데, 우리는 흔히 "로봇이 다 해주면 좋겠다"고 기대하지만 정말 로봇이 모든 작업을 해야 할 필요는 없다는 문제의식이 깔려 있습니다.

오른쪽 박스 평탄화(palletizing) 시나리오가 그 예입니다. 종류가 다른 박스 3개를 정리할 때, 아주 작은 박스는 굳이 로봇이 옮길 필요 없이 "사람이 여기 놔달라"고 화면으로 안내하고, 가운데 박스는 "로봇 내가 가져갈게"라며 스스로 처리합니다. 마지막의 아주 큰 박스는 "로봇 혼자서는 못 하니 사람과 같이 하자"며 협동합니다. 즉 전체 환경을 잘 인식·분류할 수 있으면 사람이 할 일, 로봇이 할 일, 함께 할 일을 구분해 역할을 나눌 수 있다는 것이 이 연구의 메시지입니다.

공유 자율성(shared autonomy)은 "사람이 다 조종"하거나 "로봇이 완전 자율"인 양극단이 아니라, 상황에 따라 제어 권한과 작업 분담을 사람과 로봇이 나눠 갖는 중간 지점을 뜻합니다. 박스 크기·무게에 따라 누가 맡을지를 동적으로 정하는 것이 바로 그 구현입니다.

앞에서 다룬 인간공학(ergonomics) 관점을 모바일 매니퓰레이터로 옮겨온 연구입니다. 핵심 아이디어는, 내가 어떤 행동을 한 뒤 로봇이 반응하는 것이 아니라, 내가 행동하기 전에 이미 로봇이 나에게 가장 좋은(최적의) 자세·위치를 알고 있어 미리 건네주는 방식입니다.

비유하자면 "굉장히 유연해진 컨베이어 벨트"입니다. 기존 컨베이어는 늘 같은 위치·높이에서 사람이 자세를 맞춰 반복 작업을 하지만, 이 시스템은 사람의 허리 부담 등을 고려해 "지금 이 드릴링 작업에는 이 자세가 제일 좋다"는 식으로 최적 자세를 미리 제시하고, 그에 맞게 로봇이 먼저 움직여 줍니다. 작업자의 신체 부하를 줄이는 방향으로 협업을 발전시키는 것입니다.

인간공학적 제어는 보통 RULA/REBA 같은 자세 부하 지표나 근육 피로 모델을 실시간으로 추정해, 그 값을 낮추는 쪽으로 로봇이 작업 대상의 높이·각도를 조정합니다. "사람이 로봇에 맞추는" 것이 아니라 "로봇이 사람에게 맞추는" 협업으로의 전환이 핵심입니다.

이번에는 똑같이 생긴 로봇들이 아니라 서로 다른 종류(이기종, heterogeneous)의 로봇들이 협업할 때의 제어를 다룹니다. 이런 협동에서 흔히 가장 고민하는 것이 "누가 앞(리더)이고 누가 뒤(팔로워)냐"인데, 실제 같은 작업을 함께 할 때 중요한 건 정해진 선후가 아니라 지금 누가 먼저 가는 것이 더 효율적인가입니다.

그래서 먼저 갈 상황이면 먼저 가고 뒤로 빠질 상황이면 빠지는 식으로 역할을 실시간으로 공유합니다. 서로 다른 물건을 들고 다른 종류의 로봇이 함께 움직일 때도, 어떻게 하면 협동관계를 잘 유지하면서 안전한 경로를 찾아갈 수 있는지를 비선형 최적화로 풀어낸 연구입니다. 결과적으로 0.037 m 수준의 정밀한 추종 오차로 경로를 안정적으로 재생성함을 보였습니다.

로봇을 실내(indoor)에서 많이 활용하다 보니, "로봇과 사람의 위치를 어떻게 정확하게 파악하느냐"가 협업의 핵심이 됩니다. 협업할 때는 사람 위치뿐 아니라 로봇 위치도 정확히 알아야 하므로, 서로의 위치를 실내에서도 정밀하게 판단하기 위한 센서 조합(sensor combination)을 연구했습니다.

구체적으로는 IMU 센서, UWB 센서뿐 아니라 기압계(barometer) 센서까지 함께 조합해 작은 모듈 하나로 만들었습니다. 너무 낮은 위치 등 측정이 까다로운 거리들까지 보완해, 협업 시 더 정확한 위치에서 작업할 수 있게 합니다. 실험에서 모션 캡처 장비는 연구실에서나 가능하고 현장에서는 못 쓰기 때문에, 다양한 센서 퓨전(sensor fusion) 알고리즘으로 사람·모션이 정확히 측정되는지 검증했고, 효율적·정확한 위치 추정 결과를 RA-L 논문으로 발표(ICRA 2026 발표 예정)했습니다.

UWB(Ultra-WideBand, 초광대역)는 짧은 펄스의 도달 시간으로 거리를 재는 무선 측위 방식으로 GPS가 안 되는 실내에서 강합니다. 다만 단독으로는 흔들림·다중경로 오차가 있어, 자세를 보는 IMU와 고도를 보는 기압계를 LSTM(시계열 신경망)으로 융합하면 각 센서의 약점을 서로 메워 3D 위치를 더 안정적으로 추정할 수 있습니다.

간단하지만 재미있는 아이디어입니다. 사람이 손짓(제스처)으로 로봇을 부르면, 로봇이 그 "부르는 제스처"를 인식하도록 학습시켜 다가오게 합니다. 그런데 문제는 로봇이 어디까지 와야 하는가입니다. 기존 베이스라인(baseline)은 단지 "내가 부른 그 위치"까지만 와서 나를 바라보며 멈춰 서고, 결국 작업을 시작하려면 사람이 로봇을 작업 위치까지 다시 끌고 와야 합니다.

제안 방법(HIPCP)은 로봇에 달린 카메라가 사람의 스켈레톤(skeleton)과 눈동자(시선, gaze)까지 계속 추적해, "내가 지금 어디를 작업하려고 바라보고 있는지" 즉 의도(intent)를 인식합니다. 그래서 부른 지점에 멈추는 게 아니라, 사람이 응시하는 책상 등 실제 작업 지점까지 (때로는 더 먼 길을 돌더라도) 바로 접근해 곧장 작업을 시작할 수 있게 합니다. 두 번째 복잡한 시나리오에서, 베이스라인은 뒤에 멈춰 서지만 제안 방법은 작업 가능한 쪽으로 오기 때문에, 결과적으로 사람의 이동(navigation)과 수고가 줄어든다는 것을 보였습니다.

요즘 로봇에서 빼놓을 수 없는 것이 학습(learning)입니다. 그런데 동작 하나를 학습시키는 데 엄청난 시간이 듭니다. 실제로 학생들이 데이터 한 세트(약 1,000개)를 쌓는 데 보통 3~4일씩 고생합니다. 데이터를 많이 쌓는 것도 중요하지만, 솔직히 물량으로 밀어붙이는 건 한계가 있어, 교수님은 "어떻게 하면 데이터를 더 빨리, 더 잘(효율적으로) 쌓을까"라는 데이터 효율성에 주목했습니다.

실험에서는 VR 글라스로 양팔 로봇을 원격조작해 캔 분류(sorting), 양말 줍기 등 작업 데이터를 모읍니다. 여기서 이 연구실이 잘하는 로봇 제어를 활용하는 것이 핵심입니다. 단순히 사람 동작을 그대로 따라 하는 미미킹(mimicking)이 아니라, 사람 팔과 다른 로봇의 가동 한계·충돌(부딪힘, 걸림)까지 제어에 반영해 충돌 인지(collision-aware)로 일정하고 품질 좋은 데이터가 나오게 만듭니다. 이렇게 데이터 품질을 높이면 학습 효율이 올라갑니다.

이 데이터를 기반으로 ACT 모델을 사용해 추론(inference)한 결과, 학습·추론 직전까지의 실제 작업 시간·이동 거리가 약 62% 단축되었습니다. 한 번 실패하면 그 데이터도 시간도 버리게 되는데, 이런 낭비를 줄이는 것이 학습 측면에서 큰 이득이라는 결론입니다.

모방 학습(Imitation Learning)은 사람의 시연(demonstration) 데이터를 그대로 학습해 정책(policy)을 만드는 방식이고, ACT(Action Chunking with Transformers)는 여러 시점의 동작을 묶어 한 번에 예측하는 대표적 모방 학습 모델입니다. 이 계열은 데이터의 양뿐 아니라 일관된 품질이 성능을 좌우하기 때문에, "사람 손떨림·충돌·비효율 동작"을 제어로 걸러 깔끔한 궤적을 만들어 주는 것이 곧 학습 가속으로 이어집니다.

마지막 주제는 로봇을 LLM(거대언어모델)과 연동하는 이야기입니다. 교수님은 작년에 MCP(Model Context Protocol, 모델 컨텍스트 프로토콜) 개념을 처음 접했고, 먼저 본인 맥(Mac)의 어지러운 폴더를 Claude에 연결해 정리시키는 데 써봤다고 합니다. Claude가 폴더를 분석해 트리 구조를 제안하고 재배열했으며, 학기마다 반복되는 증빙 서류·성적 처리 양식을 만드는 파이썬 코드까지 생성해 줘서 매 학기 재활용하고 있다는 실사용 경험을 소개합니다.

그러다 "로봇에도 MCP를 붙일 수 있지 않을까?" 하고 찾아봤는데 없어서, 학생과 함께 ROS(Robot Operating System)와 MCP를 엮은 로봇 MCP를 직접 만들었다고 합니다. 지금은 공식 리포지토리로 옮겨져 누구나 받을 수 있는 풀 소스(full source)로 공개되어 있습니다. 데모의 핵심은, 화면 속 유니트리 로봇은 코드를 전혀 바꾸지 않은 순정 상태라는 점입니다. 네트워크만 연결한 뒤 "ROS MCP로 네가 뭘 할 수 있는지 알려줘"라고 물으면, 로봇이 스스로 카메라·라이다(LiDAR)·연결 모니터링 등 자기 능력을 파악합니다.

이어 "지금 뭐가 보이는지 설명해봐"라고 하면 로봇이 직접 카메라를 열어 앞의 벽·파티션 같은 환경을 인식해 설명하고, "건너편으로 가서 인사한 다음 멋진 포즈 취해봐" 같은 복합 명령도 수행합니다. 인사 동작은 유니트리에 내장된 기능이라 LLM이 그걸 알아서 호출하는 식입니다. 교수님은 처음엔 단지 유한상태기계(FSM, Finite State Machine)를 대체해 동작 시퀀스를 짜주는 도구 정도를 기대했는데, 예상보다 훨씬 더 발전했다고 합니다. 실제로 박정현 연구원은 네버그래드/내비게이션 함수와 SLAM을 결합해, 모르는 환경에 던져두면 로봇이 혼자 돌아다니며 맵을 만들고 "여기는 주방, 여기는 짐(체육관)" 식으로 비전(vision)으로 의미를 파악합니다. 그 뒤 "나 배고파"라고 하면 주방으로 안내하는 수준까지 가능합니다. 드론으로 시도한 사례도 별도 유튜브에 올라와 있다고 덧붙입니다.

MCP(Model Context Protocol)는 LLM이 외부 도구·데이터(파일 시스템, API, 센서 등)에 표준화된 방식으로 접근하도록 연결해 주는 일종의 "어댑터 규약"입니다. 여기에 ROS(로봇의 센서·구동기를 메시지로 주고받는 미들웨어)를 물리면, LLM은 "카메라 이미지 읽기" "전진 명령 보내기" 같은 로봇 기능을 도구처럼 호출할 수 있게 됩니다. 즉 사람이 자연어로 의도만 말하면, LLM이 그 의도를 구체적인 ROS 명령 시퀀스로 번역하는 구조라 별도 코드 수정 없이 기존 로봇을 그대로 쓸 수 있는 것이 핵심 장점입니다.

지금까지의 연구를 단순히 논문에서 끝내지 않고 실제 활용으로 잇기 위해, 다양한 파트너와 프로젝트를 진행하고 있다는 소개입니다. 모바일 매니퓰레이터(mobile manipulator)의 전신 제어, 어떤 회사가 개발한 장비의 호흡(움직임)을 직접 제어하는 것, 방사선 치료기 조작 로봇 등이 있습니다. 로봇 운용을 단순히 조작 패널(teach pendant)로 하는 게 아니라, 약 110kg에 달하는 부품도 사람이 움직이는 의도(intention)를 읽어 함께 핸들링하도록 하는 것이 목표입니다. 상용화를 위한 웨어러블 로봇도 개발 중입니다.

가운데에 있는 것은 작은 로봇이 아니라 바퀴 하나가 사람 키만 한 거대한 불도저(불사키)로, 산악 지형에서 이를 제어하며 목재를 수확하는 프로젝트입니다. 길거리에서 보는 고소작업차의 진동을 더 잘 제어하는 연구, 군에서 사용하려는 하지외골격(웨어러블) 로봇의 알고리즘 개발도 있습니다. 맨 마지막은 이제 막 시작하는 단계로, KIST가 개발한 휴머노이드에 연구실의 HRI·제어 알고리즘을 함께 얹는 과제입니다.

교수님은 이렇게 인공지능·HRI(Human-Robot Interaction, 인간-로봇 상호작용)·인간 연구가 결합해 더 지능적이고 도전적인 연구로 나아가고 있다고 강조합니다. 그리고 이 모든 것은 본인 혼자가 아니라 연구원들과 하나의 방향을 공유하며 함께한다는 점을 분명히 합니다.

강연의 결론입니다. 로봇을 단순한 도구로 보는 시각을 넘어, 인간 중심(human-centered)으로, 우리 삶의 중심에 로봇을 두고 만들어 가야 한다는 연구 철학을 정리합니다. 로봇은 인간을 대체하는 존재가 아니라 함께하는 협력 관계(동반자)가 되어야 한다는 것입니다.

교수님은 이것이 자신의 연구를 관통하는 핵심이라며 "과감하게 제 연구의 결실이라 볼 수 있다"고 마무리합니다. 그리고 약 1시간 25분에 걸친 강연을 마치며 감사 인사를 전합니다.

강연을 마치는 감사 슬라이드입니다. 교수님은 청중에게 질문이 있는지 물으며 Q&A로 넘어갑니다. 앞서 소개한 로봇 MCP나 SLAM 기반 자율 탐색 등에 관심이 있다면, QR 링크의 공개 소스를 받아 직접 ROS 환경에서 사용해 보길 권합니다.