소프트 센서와 소프트 액추에이터로 만드는 소프트 로봇
Soft Robots Driven by Soft Sensors and Soft Actuators

고려대학교에서 온 연구실 소속으로, 오늘은 소프트 센서와 소프트 액츄에이터를 결합한 로봇에 대해 발표하겠다고 인사를 건넵니다. 한국로봇학회, 제어로봇시스템학회 등에서 이사로도 활동하고 있다고 소개합니다.

걸어온 길과 함께 연구 이력을 소개합니다. 석사를 마치고 KIST에서 전문연구요원으로 근무할 때, 당시 잘 나가던 휴머노이드 연구팀에 합류해 주로 휴머노이드의 컨트롤러를 개발하는 일을 맡았습니다.

그런데 일을 하다 보니 석사 학위만으로는 한계를 절감하게 되었고, "박사를 해야겠다"는 결심을 했다고 합니다. 무엇을 연구할지 고민하던 시기에 학회를 다니면서 인공근육(artificial muscle) 같은 주제가 막 떠오르고 있었습니다. 지금은 흔하지만 당시엔 거의 신생 분야여서, "한번 해볼까" 하는 마음으로 관련 연구를 하는 교수들에게 메일을 뿌렸다고 합니다.

그 중 한 분이 받아주어 NYU로 진학하게 되었는데, 박사 지도교수가 로봇물고기(robotic fish) 전문가였다고 합니다. 다만 로봇물고기 연구는 현실적으로 지속하기 어려운 면이 있어, 막상 가서는 그 주제로 진행하지 않게 되었다는 뒷이야기를 들려줍니다.

이 사진은 예전 휴머노이드 연구 시절 내셔널 지오그래픽 사진기사가 연구 현장을 촬영한 유명한 사진이라고 소개합니다. 사진기사가 천 장 가까이 찍었지만 실제로 잡지에 실린(픽된) 것은 단 한 장이었다고 합니다.

로봇 한 대를 개발하는 데 8명 정도의 연구원이 붙어 있을 만큼 휴머노이드 연구가 결코 쉽지 않다는 점을 사진을 통해 보여줍니다. 자신도 계속 촬영 대상이 되었지만 정작 출판된 한 장에서는 본인 모습을 찾기 어렵다는 일화를 농담처럼 곁들입니다.

휴머노이드(humanoid)는 사람과 비슷한 형태(머리·팔·다리, 두 발 보행)를 가진 로봇을 말합니다. 균형 제어, 보행, 다관절 협응 등 풀어야 할 문제가 많아 한 대를 완성하는 데 대규모 인력과 비용이 든다는 점이 이 슬라이드의 핵심 메시지입니다.

KIST에서 개발에 참여한 휴머노이드 계열 로봇들입니다. 초기 마루(Mahru)부터 마루 R, M, Z로 이어지는 시리즈와, 안내·서비스용 로봇 버니까지 보여줍니다.

이 로봇들에서 본인이 담당한 부분은 전장(電裝, 임베디드/하드웨어 시스템)이었다고 밝힙니다. 임베디드 시스템과 내부 전장을 계속 발전시켰으면 좋았겠지만, 휴머노이드는 개발 비용이 워낙 커서 과제비(연구 예산)가 끝나자 더 이상 이어가기 어려웠다는 아쉬움을 전합니다. 그때 더 밀고 나갔다면 지금 훨씬 나은 결과가 있었을 거라고 회상합니다.

당시 휴머노이드가 방송에도 자주 소개되었다는 이야기입니다. 과천 국립과천과학관에 로봇을 한동안 전시했고, 로봇이 나와서 춤을 추고 관람객에게 악수할 기회를 주는 식의 시연을 했다고 설명합니다.

다만 관람객이 너무 많아 모두와 악수할 수는 없었다는 현장 분위기를 전하며, 꽤 오래전에 진행했던 대중 전시·방송 사례라고 정리합니다.

본인이 걸어온 연구 이력을 소개하는 대목입니다. 석사 때는 생체모방 로봇(생물 모방 로봇)의 컨트롤러를 개발했는데, 석사만으로는 한계를 느껴 박사 진학을 결심했다고 합니다. 그 무렵 학회에서 떠오르던 인공근육(인공무늬는 인공근육의 음성인식 오류로 보임) 분야에 관심이 생겨 관련 교수님들께 메일을 돌렸고, 답을 주신 한 분의 연구실로 가게 되었다는 일화를 들려줍니다.

박사 과정 지도교수가 로봇물고기 전문이었지만 그 분야는 연구비 사정 등으로 길게 이어가기 어려웠고, 그래서 휴머노이드 로봇 개발에도 참여했다고 합니다. 이 사진은 그 시절 과천 국립과학관에 전시했던 휴머노이드로, 관람객 앞에서 춤을 추고 악수를 해 주는 시연을 했습니다. 본인이 담당한 부분은 전장(임베디드 시스템·전자 회로)이었고, 더 발전시키고 싶었지만 과제비가 끝나면서 이어가지 못한 아쉬움을 함께 이야기합니다.

현재 진행 중인 연구로 화제를 옮깁니다. 소프트 센서와 소프트 액추에이터를 이용해 소프트 로봇(soft robot)을 만드는데, 이를 위해 세 가지가 중요하다고 강조합니다. 첫째는 구동기(actuator) 자체가 무르다는 점입니다. 우리가 흔히 다루는 로봇은 모터로 구동하지만, 소프트 로봇은 모터를 쓰지 않고 구동기 자체가 소프트한 경우가 많습니다.

둘째로 센서 문제가 이어집니다. 몸체가 소프트하다 보니 여기에 딱딱한 리지드(rigid) 센서를 붙일 수 없습니다. 소프트의 장점은 유연성(flexible)인데, 단단한 센서를 붙이면 그 부위가 굳어 버려 변형 자체가 방해를 받기 때문입니다. 그래서 몸체가 변형(deformation)될 때 그 변형을 직접 측정할 수 있는 유연 센서가 필요하다고 설명합니다. 외부 카메라로 측정하는 방법도 있지만 그러면 항상 카메라 시야 안에서만 움직여야 하는 제약이 생기므로, 자체 소프트 센서가 필요하다는 논리입니다.

핵심은 "소프트한 몸체에는 단단한 부품을 붙일 수 없다"는 한계입니다. 일반 로봇은 관절마다 엔코더·모터를 붙여 위치를 알 수 있지만, 문어 팔처럼 무르게 휘는 몸체에 딱딱한 센서를 박으면 그 지점만 안 휘어 전체 움직임이 깨집니다. 그래서 소프트 로봇은 "구동기·센서·구조"가 모두 몸체와 함께 변형되는 소재여야 한다는 것이 세 요소의 배경입니다.

소프트 로봇을 구동하는 물리적 메커니즘은 여러 가지가 있으며, 형상기억합금(SMA) 등도 있다고 언급합니다. 다만 본인이 주로 다루는 것은 압전(piezoelectric)과 정전기력(electrostatic force) 두 가지라고 정리합니다.

여기서 텐던(tendon, 힘줄식) 구동 같은 방식도 있지만, 그건 물리적으로 새로운 구동 원리라기보다 기존 방식의 변형이므로 이 두 가지와는 다른 범주로 본다고 덧붙입니다. 다음 슬라이드들에서 이 두 메커니즘을 차례로 자세히 설명합니다.

압전 효과는 한 물질이 전기적 특성과 기계적 특성을 동시에 가져 둘이 서로 커플링(coupling)되어 있는 현상입니다. 그래서 이 물질에 외력(external force)을 가하면 기계적 변형이 일어나고, 그에 따라 전기 신호가 나옵니다. 거꾸로 내가 만들어 넣은 신호가 아니라 외부에서 가해진 힘을 이 전기 신호로 거꾸로 측정할 수 있으니, 그대로 센서가 됩니다.

반대로 이 물질에 전기를 가하면 변형이 일어납니다. 전기-기계 특성이 서로 묶여 있어 양방향으로 작동하기 때문입니다. 정리하면, 전기에서 기계로 에너지를 바꿀 때는 액추에이터로, 기계에서 전기로 출력될 때는 센서로 쓰입니다. 압전이 두 방향 모두 가능한 양방향 소재라는 점이 핵심입니다.

두 개의 전극(대전체)에 전압을 걸면 한쪽은 플러스, 다른 쪽은 마이너스로 대전되어 서로 끌어당기는 인력이 작용합니다. 구조만 보면 커패시터(capacitor)와 같습니다. 그런데 보통 커패시터는 딱딱해서 대전시켜도 움직임이 일어나지 않습니다.

여기서 핵심은, 두 판 사이의 유전체(dielectric)가 소프트하면 끌어당기는 힘에 의해 그 사이가 수축한다는 점입니다. 이 수축을 구동에 이용합니다. 정전기력은 전기 입력을 기계적 출력으로 바꾸는 작용이며, 압전과 달리 액추에이터(구동기)로만 사용됩니다 — 그래서 슬라이드의 화살표도 단방향입니다.

슬라이드 9·10을 나란히 보면 화살표 모양의 차이가 의도된 핵심입니다. 압전(슬라이드 9)은 양방향 화살표 ⇄ — 힘을 주면 전기가, 전기를 주면 변형이 나오므로 센서·구동기 둘 다 됩니다. 정전기(슬라이드 10)는 한 방향 화살표 → — 전기를 넣어 끌어당기는 힘을 만들 뿐, 거꾸로 힘으로 전기를 뽑아내지는 않으므로 구동 전용입니다. 이후 슬라이드에서 이 정전기력으로 유압을 만드는 소프트 로봇 핸드(전기유압 구동) 등 응용이 이어집니다.

교수님은 소프트 센서와 소프트 구동기(soft actuator)를 이용해 소프트 로봇을 개발하고 있다고 소개합니다. 소프트 로봇을 만들 때 중요한 요소가 크게 세 가지인데, 먼저 구동기(actuator) 자체가 소프트해야 합니다. 기존 로봇은 대부분 모터를 쓰지만, 소프트 로봇은 모터 대신 몸체와 구동기가 무른 형태인 경우가 많습니다.

두 번째로 센서도 소프트해야 합니다. 몸체가 말랑말랑한데 여기에 딱딱한(rigid) 센서를 붙이면, 그 부위의 무름·유연성(flexibility)이라는 장점이 모두 망가지기 때문입니다. 그래서 변형(deformation) 자체를 직접 감지할 수 있는 소프트 센서가 필요합니다. 외부 카메라로 변형을 측정할 수도 있지만, 그러면 로봇이 항상 카메라 시야 안에서만 움직여야 하는 제약이 생깁니다.

이 섹션의 핵심은 소프트 로봇을 움직이는 물리적 메커니즘 두 가지입니다(SMA 등 다른 방식도 있지만 교수님 연구는 이 둘이 중심).

① 압전효과(Piezoelectric effect): 한 물질이 기계적·전기적 특성을 동시에 가지면서 둘이 커플링(coupling)되어 있는 현상입니다. 외력을 가해 기계적 변형이 생기면 그에 비례해 전기 신호가 나오므로 누르는 힘을 측정하는 센서로 쓸 수 있고, 반대로 전기를 가하면 변형이 일어나므로 구동기로 쓸 수 있습니다. 즉 힘↔전기가 양방향으로 변환됩니다(메커니컬→전기 = 센서, 전기→메커니컬 = 액추에이터).

② 정전기력(Electrostatic force): 마주 보는 두 전극에 전압을 걸면 한쪽은 +, 다른 쪽은 −로 대전되어 서로 당기는 힘이 생깁니다(커패시터(capacitor)와 같은 구조). 딱딱한 커패시터는 당겨도 움직이지 않지만, 두 전극 사이의 유전체(dielectric)가 무르면 그 당기는 힘으로 수축이 일어나 구동력이 됩니다. 다만 전기를 기계적 출력으로 바꾸는 한 방향뿐이라 정전기력은 구동기로만 쓰입니다.

앞서 설명한 구동 원리(압전효과·정전기력)를 실제로 적용한 첫 연구 사례로 소프트 로봇 핸드를 소개하겠다는 도입부입니다. 이어지는 슬라이드들에서 정전기력 기반과 공압 기반의 두 가지 손을 비교하며 보여줍니다.

구조를 보면 비닐 파우치에 유전체 오일을 넣고, 여기에 실리콘 판과 탄소 테이프 전극을 붙입니다. 전압을 가하면 정전기력이 발생해 두 전극 사이가 줄어들고, 그러면 그 자리에 있던 오일이 다른 쪽으로 밀려 이동합니다. 이 이동한 유체가 손가락 부분을 부풀려 굽힘이 만들어지는 방식입니다.

중요한 점은 손가락 등 몸체는 모두 소프트하고, 외부에서 넣어 주는 것은 오직 전기뿐이라는 것입니다. 전기만 더하면 유체를 옮겨 손을 움직일 수 있습니다. 지금은 켜고 끄는(on/off) 방식으로 시연했지만, 인가하는 전압의 크기에 따라 굽힘각(bending angle)을 다르게 조절할 수 있습니다.

핵심은 섬세하고 약한 물체를 부서뜨리지 않고 잡는 것입니다. 딸기 같은 과일은 잘못 잡으면 생채기가 나거나 뭉개지기 쉬운데, 이 부드러운 손은 작은 힘으로도 손상 없이 다룰 수 있습니다. 물풍선처럼 터지기 쉬운 것도 마찬가지입니다.

특히 알루미늄 컵 예시를 강조합니다. 호일처럼 얇아서 너무 약하게 잡으면 놓치고, 너무 세게 잡으면 안의 내용물이 튀어나오거나 컵 모양이 찌그러집니다. 그런데 이 소프트 핸드로 잡으면 컵의 형태가 그대로 유지된 채 들어 옮길 수 있다는 점을 보여 줍니다.

이 손은 공압 방식인데, 일반적인 공압 로봇 핸드와 다른 점은 외부 컴프레서로 공기를 공급받지 않는다는 것입니다. 외부 컴프레서에 연결되면 로봇이 늘 어딘가에 묶여 있어야 해서 자유롭게 움직일 수 없습니다. 교수님 팀이 원한 것은 독립적으로 움직이는(self-contained) 로봇 핸드였습니다.

그래서 손가락 바로 밑에 오리가미 펌프를 두고, 이 펌프를 텐던(tendon, 힘줄)으로 당기면 펌프 안의 공기가 손가락 챔버 위로 이동하면서 손가락이 굽혀지도록 했습니다. 텐던은 모터에 핸들을 연결해 당기므로 제어가 쉽습니다. 즉 외부 공기 공급원 없이 전기(모터)만으로 공압을 스스로 만들어 쓰는 구조입니다.

앞서 다룬 소프트 로봇 핸드(손)에 이어, 이번에는 그 손을 달 팔(arm) 이야기로 넘어갑니다. 교수님은 로봇 암을 직접 개발하면서 깨달은 점을 강조합니다 — 손은 부드러워도 큰 문제가 없지만, 팔(로봇 암)까지 너무 소프트하게 만들면 힘이 약해져서 제 역할을 못 한다는 것입니다.

그래서 떠올린 해법이 하이브리드(hybrid) 구조입니다. 즉 완전히 부드럽게 가는 대신, 강체(rigid body)와 소프트한 부분을 합쳐서 부드러움(유연성)은 유지하면서도 일정한 지지력(강성)을 확보하는 방향입니다. 다음 슬라이드부터 이 아이디어를 구현한 실제 로봇 암이 등장합니다.

이 팔은 오리가미(종이접기) 구조에서 영감을 얻었습니다. 다만 진짜 종이접기처럼 만든 것이 아니라, 고무(rubber)와 3D 프린팅으로 출력한 부품을 결합해서 만든 점이 핵심입니다. 그 결과 오리가미처럼 접히면서도 동시에 지지력(강성)을 갖는, 즉 굽혀지면서도 형태가 무너지지 않는 구조가 됩니다.

구동 방식은 모터가 와이어(텐던)를 당겨 힌지를 접는 방식입니다. 단순한 종이접기 오리가미는 잘 접히지만 힘을 못 받는데, 여기서는 면(Facet)은 단단하게, 경첩(Hinge)은 유연하게 역할을 나눠 두 장점을 모두 챙긴 하이브리드라는 점이 이 연구의 메시지입니다.

오리가미에서 Valley/Mountain은 종이가 안쪽(골)으로 접히느냐 바깥쪽(산)으로 접히느냐를 뜻하고, Crease는 그 접힘이 일어나는 선입니다. 일반 종이는 접힘 선이 약해 반복하면 찢어지지만, 이 연구는 그 선을 고무 힌지로 바꿔 수없이 접었다 펴도 견디는 탄력성(resilient)을 확보했습니다. "단단한 면 + 잘 휘는 경첩"의 조합이 곧 하이브리드의 정체입니다.

그냥 굽혀지는(bending) 동작은 보통의 구조로도 만들 수 있어 큰 문제가 아닙니다. 어려운 건 직선 동작(linear motion)입니다. 기존처럼 강체(rigid body)만으로는 길이를 늘렸다 줄였다 하는 직선 신축을 만들 수 없기 때문입니다 — 단단한 부품은 줄어들지 않으니까요.

그런데 이 팔은 모듈 중간중간에 고무가 들어가 있어서, 굽혀지는 것은 물론이고 직선 방향으로도 늘었다 줄었다 움직일 수 있습니다. 그래서 마치 코끼리 코처럼 자유롭게 굽고 휘감으면서도 길이 변화까지 가능한 동작을 보여줍니다.

가장 최신 연구로, 엊그제 신문 뉴스에도 소개되었다고 합니다. 이 웨어러블 로봇 팔은 오리가미 방식으로 만들되 재료는 PVC 필름을 베이스로 했고, 길이는 약 77cm로 거의 사람 팔 크기입니다. 각 모듈은 오리가미 PVC 필름으로 만들고, 모듈 사이사이에 모터를 넣어 각 모듈을 굽히거나 직선으로 움직이게 합니다.

가장 인상적인 건 무게로, 팔 전체가 1.35kg(설명에선 약 1.5kg)밖에 안 됩니다. 교수님은 스파이더맨의 빌런 닥터 옥토퍼스처럼 등 뒤에 팔을 여러 개 달고 다니는 모습을 떠올렸다고 합니다 — 4개를 달아도 약 5kg 정도라, 등에 매면 충분히 감당할 만한 무게라는 설명입니다.

이 웨어러블 팔을 개발한 학생은 대학원 입시(면접) 단계에서부터 직접 구상해 만들어 본 작품이라고 합니다. 처음 버전은 제어를 하지 않은, 즉 정해진 동작을 한 번 내보내는 전통적(traditional)인 시연 수준이었습니다.

하지만 로봇인 이상 결국 제어(control)가 되어야 하므로, 지금은 다음 학생이 이 팔의 제어를 연구하고 있다고 소개합니다. 즉 "착용형 다관절 팔"이라는 콘셉트를 먼저 보여주고, 정밀 제어는 후속 과제로 이어가는 흐름입니다.

이제 손·팔을 떠나 이동 로봇(mobile robot)으로 넘어갑니다. 교수님은 "원리는 똑같다"고 말합니다 — 앞에서 본 오리가미 구조를 이번엔 로봇의 다리(leg)로 사용한 것입니다. 손가락에서 쓰던 방식, 즉 내부에서 공기를 만들어 공압 챔버를 부풀리는 펌프 구조를 다리 구동에 그대로 응용합니다.

핵심은 여전히 외부 컴프레서 없이 로봇이 스스로 공기를 만들어 움직이는 독립형(self-contained) 구동입니다. 다음 슬라이드들에서 이 오리가미 다리로 걷고 뛰는 모바일 로봇의 구체적인 동작이 이어집니다.

이 섹션 전체를 관통하는 차 교수 연구실의 일관된 철학은 "외부 동력원(컴프레서)에 줄로 연결되지 않는 독립 로봇"입니다. 핸드에서는 정전기 기반 유압이나 손가락 밑 내장 펌프로, 팔에서는 모터·텐던으로, 모바일 로봇에서는 오리가미 다리 펌프로 — 구동 방식은 달라도 "몸 안에서 동력을 만든다"는 목표가 똑같이 적용된다는 점을 염두에 두면 이후 내용이 자연스럽게 이어집니다.

이 모바일 로봇의 다리는 앞에서 본 손가락 구조와 원리가 똑같습니다. 손가락에서는 펌프 챔버가 공압 챔버 바로 위에 붙어 있었는데, 여기서는 두 부분을 약간 떨어뜨려 놓고 그 사이를 튜브로 연결했습니다. 그래서 모터로 펌프만 움직여 주면, 그에 연동되어 떨어져 있는 공압 챔버가 굽혀집니다. 즉 외부 컴프레서 없이 내부에서 공기를 만들어 다리를 구동하는 방식입니다.

처음에는 다리 4개를 모두 오리가미 펌프로 썼는데, 이번 버전에서는 펌프 대신 다리 자체가 공기를 만들어 내며 스프링처럼 살짝 굽혀지게 했습니다. 그러다 보니 약간 통통 뛰는 듯한 느낌으로 움직입니다. 사실 정교한 제어가 아니라 시행착오(trial and error)로, 이만큼 움직이고 속도를 이렇게 하면 앞으로 나가더라 하는 식으로 적절한 동작 하나를 찾아낸 것입니다. 느리긴 하지만 그렇게 보행하는 모습을 보여 줬습니다.

디자인이 귀여웠는지 스마트 스트럭처(Smart Structures) 학회에서 상을 받기도 했습니다. 동작 실험은 혼자 한 게 아니라 KIST에서 휴머노이드 보행을 연구하시는 이수 박사님과 함께 진행했습니다. 또 앞서 본 코끼리 코 방식을 응용해 보조 다리를 만들어 붙였는데, 이 보조 다리는 지지력이 더 좋아서 바퀴가 턱에 걸리면 펴져서 로봇을 넘어가게 해 줍니다. 머리에 카메라를 달면 위치도 바꿀 수 있어, 순찰용 등으로 활용할 수 있습니다.

오리가미 펌프의 핵심은 '펌프'와 '구동부'를 분리해 튜브로 잇는다는 점입니다. 보통 공압 로봇은 외부 공기 압축기(컴프레서)가 필요해 무겁고 선이 거추장스러운데, 종이접기처럼 접히는 PP 필름 챔버를 모터로 눌렀다 펴면 그 자체가 작은 펌프가 되어 내장형으로 공기를 밀어냅니다. 컴프레서를 없앤 대신 출력은 약해서, 빠르기보다 가볍고 부드러운 움직임에 유리합니다.

PP(폴리프로필렌) 필름 + 캡톤 조합은 잘 접히면서도 형태를 유지하는 오리가미 구조에 자주 쓰입니다. 얇은 필름은 잘 접히지만 힘을 못 버티는데, 캡톤 같은 보강층과 3D 프린팅 부품을 부분적으로 결합하면 '접히는 유연성'과 '버티는 강성'을 한 부품 안에서 동시에 얻는 강체-소프트 하이브리드 설계가 됩니다.

앞서 손가락에서 본 오리가미·공압 챔버 구조를 이번엔 다리로 가져온 모바일 로봇입니다. 원래는 펌프 역할을 하는 챔버가 공압 챔버 바로 위에 붙어 있었는데, 둘을 살짝 떨어뜨리고 튜브로 연결한 것이 핵심 아이디어입니다. 그러면 모터는 펌프 챔버 하나만 눌러줘도, 거기서 밀려난 공기가 튜브를 타고 이동해 떨어져 있는 공압 챔버를 굽혀 줍니다. 즉 모터 하나로 펌핑과 다리 굽힘이라는 두 동작이 연동되는 것이죠.

처음엔 공기가 이동하며 뒷발을 굽히는 식이라 속도가 느렸고, 얼마만큼 움직여 어떤 속도로 하면 앞으로 나아가는지를 시행착오(trial and error)로 찾아냈다고 합니다. 결국 발 네 개를 모두 오리가미 펌프로 만들었고, 나중 버전은 펌프로 쓰지 않고 공기를 머금어 스프링처럼 통통 튀는 보행을 구현했습니다. 디자인이 귀여워서였는지 스마트 구조 관련 학회(Smart Structures)에서 상도 받았고, KIST에서 휴머노이드를 하시는 이수 박사님과 협업한 연구라고 소개합니다.

앞의 펌프 방식과 달리, 이 로봇은 오리가미 다리를 텐던(tendon, 힘줄처럼 당기는 케이블) 방식으로 구동합니다. 모터가 풀리를 돌려 케이블을 당기면 오리가미 다리가 코끼리 코처럼 굽혀지는 구조죠. 공압보다 케이블로 당기는 쪽이 지지력(지지 강성)이 더 좋아서, 소프트하면서도 몸체를 받쳐 걸어다닐 수 있게 됩니다. 배터리와 제어 모듈을 직접 싣고 다니는 자율 모바일 로봇 형태로 발전시킨 버전입니다.

코끼리 코처럼 굽히는 방식을 다리에 적용해 만든 보조 다리(leg-assisted) 로봇입니다. 평소에는 바퀴(휠)로 굴러가다가, 바퀴가 걸려 넘지 못하는 장애물(볼록한 지형)을 만나면 접혀 있던 보조 다리가 펴져 나와 그 위로 넘어갑니다. 텐던 구동이라 지지력이 좋아 다리 역할을 제대로 해 줍니다.

같은 접이식 모듈을 매니퓰레이터(조작 팔)로도 쓸 수 있습니다. 카메라가 달린 목을 굽혀 시야 위치를 바꾸거나, 끝에 핸드/그리퍼를 달아 물건을 집을 수 있죠. 교수님은 이를 순찰(patrol)용 로봇 — 카메라 목을 단 정찰 플랫폼 — 으로 구상해 만들었다고 설명합니다.

슬라이드의 1 T, 0.66 T 같은 표기는 시간이 아니라 자기장 세기(테슬라)입니다. 모듈 안에 자성 입자가 들어 있어, 외부 자기장을 세게 걸수록(1 T 쪽) 더 많이 접히고, 0으로 풀면(Release) 다시 펴집니다. 즉 전기 모터 없이 외부 자기장만으로 원격 구동하는 방식이라, 다리를 아주 얇고 가볍게 만들 수 있다는 장점이 있습니다.

어릴 때 계단에서 걸어 내려가게 갖고 놀던 스프링 토이(슬링키)에서 영감을 얻은 로봇입니다. 단, 실제로 금속 스프링으로 만든 게 아니라 종이(색종이)로 만든 것이 포인트입니다. 종이에 전기유체 액추에이터를 붙이는데, 전압을 가하면 유전성 액체가 전극 쪽에서 파우치 쪽으로 이동하면서 그 칸의 높이가 바뀝니다. 이걸 칸마다 하나씩 달아 순서대로 작동시키면, 스프링 토이가 단을 내려가듯 움직이는 동작을 만들 수 있습니다.

소재가 얇은 색종이라 평소엔 납작하게 붙어 있지만, 전압으로 칸별 높이를 조절하면 나선형으로 서서 계단을 내려가는 연속 동작이 구현됩니다. 디자인이 재미있어 10월경 YTN 등 뉴스에도 소개된 연구라고 합니다.

피에조(piezoelectric, 압전) 재료에는 단단한 세라믹 계열과 유연한 필름 계열이 있는데, 이 로봇은 소프트한 PVDF 필름을 씁니다. 필름을 4장 사용해 한두 장씩 합쳐 다리(발)에 방향성을 주고, 전압을 가하면 필름이 진동하면서 다리가 휘어집니다. 실제 변위가 마이크로미터 수준이라 눈으로는 어떻게 움직이는지 알기 어려워 레이저로 측정했다고 합니다.

변형(deformation)을 시뮬레이션으로 모델링해 보니, 좌우 비대칭으로 무게/구동을 실어 주면(weighting) 로봇이 한쪽 방향으로 전진합니다. 들어가는 부품은 전압을 거는 전선 정도로 매우 단순하고, 가볍고 튼튼해서 때려도 망가지지 않는 점을 강조합니다.

앞·뒷다리를 연결(O)하거나 끊는(X) 조합을 바꿔 가며 속도를 비교한 실험입니다. 그래프를 보면 앞다리와 뒷다리를 모두 연결한 OO 조건에서 가장 빠르고(약 35 mm/s), 일부만 연결하면 속도가 떨어집니다 — 즉 네 다리가 함께 협응해야 잘 전진한다는 뜻이죠.

마지막 고무 망치 시험은 이 로봇의 가장 큰 장점인 소프트함과 내구성을 보여 줍니다. 얇은 필름 로봇을 망치로 내려쳐도 부서지지 않고 멀쩡히 다시 움직입니다. 단단한 강체 로봇이라면 충격에 깨지겠지만, 유연한 PVDF 기반이라 충격을 흡수한다는 점을 강조하는 시연입니다.

(앞 순찰 로봇 마무리) 보조 다리가 있어 지지력이 좋고, 바퀴가 걸리는 장애물에서는 보조 다리가 나와 넘어갑니다. 카메라가 달린 '목'으로 시야를 바꾸고, 손을 달면 물체를 잡을 수도 있습니다. 이런 식으로 캡트롤(순찰)용 로봇을 만들었습니다.

그리고 이쪽은 이동 로봇입니다. 어릴 때 갖고 놀던 '스프링 토이'를 떠올려 보면, 저희는 그걸 종이로 만들었습니다. 종이의 각 칸마다 정전기력 액추에이터(electrostatic actuator)를 붙이고 전압을 가하면 내부 유체가 한쪽에서 파우치로 이동하면서 높이가 바뀝니다. 그래서 스프링 토이처럼 움직이는 구조를 만들었어요.

이 슬라이드의 곡면 꼬리 로봇은 피에조 필름(piezo film, PVDF)으로 만든 것입니다. 세라믹 계열은 단단해서 부적합하고 필름 계열을 씁니다. 필름을 4장 겹쳐 몸체를 만들면 꼬리가 휘어지고, 전기를 가하면 진동합니다. 실제 변위는 너무 작아 레이저로 마이크로미터 단위까지 측정하고, 동역학 모델로 시뮬레이션해 변형(deformation)을 줍니다. 그러면 마치 물고기가 꼬리를 흔들듯 오른쪽으로 전진합니다. 핵심은 꼬리이고 몸체는 그냥 투명 필름이어서, 꼬리에 지느러미(fin)를 달면 물고기 원리처럼 훨씬 잘 나아갑니다.

PVDF는 전압을 주면 늘어나고/휘는 압전(piezoelectric) 고분자 필름입니다. 얇고 유연해서 소프트 로봇에 적합합니다. 그래프의 피크는 공진 주파수(resonance frequency)로, 이 주파수로 구동하면 작은 입력으로도 큰 진동을 얻습니다. 물고기 꼬리지느러미가 물을 밀어내듯, 지느러미가 추가 질량과 추진면을 만들어 공진을 더 낮은 주파수(≈50 Hz)에서 더 크게 일으켜 추진 효율을 높입니다.

다음은 소프트 센서 이야기입니다. 센서 종류는 매우 다양하지만, 저는 주로 물체 인식과 인공 피부(tactile skin) 쪽을 연구하고 있습니다. 단순히 눌린 정도를 재는 압력 센서는 이미 많이 나와 있고, 저는 한 걸음 더 나아가 '무엇을 잡았는지'까지 알아내는 방향을 봅니다.

한 과제에서 책임자분이 "이 압전 센서로 물체 인식, 그리고 인공지능과 결합한 인식이 될 것 같다"고 조언해 주셨고, 실제로 해봤더니 됐습니다. 이런 분들의 인사이트가 정말 중요합니다. 센서는 유연(flexible)해서 어디든 그냥 붙이기만 하면 됩니다.

핵심 원리는 이렇습니다. 피에조(piezo) 소자는 액추에이터로도, 센서로도 동작합니다. 그래서 두 개를 붙여 하나는 액추에이터(진동을 보냄), 하나는 센서(진동을 받음)로 씁니다. 둘 사이에 물체를 끼워 잡으면, 그 물체를 통해 전달되는 진동 신호를 센서가 받습니다. 이 신호로 물체를 분류하는 것입니다.

압전 소자는 '전압→변형(액추에이터)'과 '변형→전압(센서)'이 모두 가능합니다. 한쪽에서 진동을 보내고 다른 쪽에서 받으면, 그 사이 물체의 재질에 따라 진동이 통과하는 정도(전달 함수, transfer function)가 달라집니다. 마치 두드려보고 소리로 속을 짐작하는 것과 같은 원리입니다.

이 방식이 요즘 너무 잘 됩니다. 학습을 많이 시키지 않아도 정확도가 높게 나오고, 리뷰(시험) 결과가 100%로 나온 적도 있습니다. 무언가를 잡는 순간 그게 무슨 물체인지 알아맞히는 것이죠.

다만 정확히 말하면 이건 물체 그 자체가 아니라 물질(재질)을 인식하는 것입니다. 재질에 따라 진동 전달 함수가 다르고, 또 같은 물체라도 어디를(약 1mm 두께 부위 등) 잡았느냐에 따라 신호가 달라집니다. 예를 들어 아까 오레오 통을 잡았을 때, '같은 과자 통'이라는 건 알아도 오레오 맛까지 구분하는 건 비전(카메라)의 영역입니다. 하지만 '종이 상자다' 같은 재질 구분은 이 센서로 맞출 수 있습니다.

이번엔 열전달(heat transfer)을 이용합니다. 우리가 물체를 만질 때 경험적으로 알게 되는 게 있죠. 어떤 건 차갑고 어떤 건 미지근하고 — 재질마다 손에 전해지는 느낌이 다릅니다. 그 차이를 센서로 잡는 것입니다.

그런데 가만히 대고만 있으면 열전달이 잘 일어나지 않아 측정이 안 됩니다. 그래서 손가락에 일부러 '운동(움직임)'을 줍니다. 물체를 잡을 때마다 열전달이 달라지는데, 이걸 온도 센서(RTD, TED)로 측정해 물체를 인식합니다. 사람보다 로봇이 더 잘해야 하므로, 사람이 손끝 감각으로 재질을 알듯 로봇도 이 방식으로 재질을 구분하게 만든 것입니다.

금속이 차갑게 느껴지는 건 실제 온도가 낮아서가 아니라 열전도율이 높아 손의 열을 빠르게 빼앗기 때문입니다. 나무·플라스틱은 열전도율이 낮아 덜 차갑게 느껴집니다. 즉 손끝의 온도 변화를 측정하면 그 물체의 열적 성질로 재질을 구별할 수 있습니다. RTD는 온도에 따라 저항이 변하는 측온 센서, TED는 열을 가하거나 측정하는 열전 소자입니다.

이 연구는 대지윤 교수님의 조언에서 시작됐습니다. 그분은 로봇 핸드 매니퓰레이션을 하시는데, 종이를 잡아도 종이가 스르륵 빠지면 그걸 인식하지 못하는 문제가 있었습니다. "네 센서를 쓰면 되겠다"는 말에 바로 해봤죠. 처음에는 카메라가 못 하는 것을 노렸습니다. 바로 투명 필름입니다. 좋은 카메라로도 '뭔가 있다'는 건 알아도 '그게 무엇인지'는 모르거든요. 그런데 우리 센서로 잡으면 재질까지 알 수 있습니다.

그래서 종이·필름이 손가락에 있는지/없는지, 흘러내렸는지를 알아내고, 나아가 몇 장인지 세는 것(counting)까지 합니다. 돈을 셀 때처럼 잡는 순간 한 장, 두 장, 열 장을 구분합니다. 단지 유무뿐 아니라 어떤 재질인지까지 맞춥니다.

리뷰 때 "두꺼운 종이 한 장과 얇은 종이 여러 장을 구분할 수 있냐"는 질문이 나왔습니다. 종이는 같은 두께를 만들기 어려워, 대신 0.1mm 필름과 0.5mm 필름으로 실험했습니다. 0.1mm 5장과 0.5mm 1장은 총 두께가 같지만, 여러 장을 겹친 것은 사이의 공기층·접촉면(interface) 때문에 하나의 통짜와 진동 특성이 달라집니다. 그래서 둘이 구분됩니다.

여러 장을 겹친 박막은 물리적으로 연결되어 있지 않아, 층과 층 사이에 미세한 공기층과 접촉 경계가 생깁니다. 이 경계가 진동 전달을 끊어 단일 두께 재료와는 다른 진동 특성을 만들기 때문에, 총 두께가 같아도 '몇 장인지'를 구별할 수 있습니다. 투명 필름처럼 카메라가 약한 대상에서 압전 센서가 빛을 발하는 사례입니다.

핵심은 압전 소자(piezoelectric)를 액추에이터와 센서로 동시에 쓴다는 점입니다. 압전 필름 두 장을 붙여서, 한 장은 진동을 일으키는 가진기(actuator)로, 다른 한 장은 그 진동을 받는 센서로 작동시킵니다. 두 필름 사이에 물체가 끼이면 진동이 물체를 통과하며 변형되는데, 이 진동 전달함수(transfer function)가 물체의 재질마다 다릅니다. 그래서 이건 형상을 보는 게 아니라 재질을 인식하는 기술입니다.

이 원리를 대지윤 교수님의 조언을 받아 투명 필름 인식 문제에 적용했습니다. 로봇 손이 매니퓰레이션 중에 종이나 투명 필름이 손에서 미끄러져 빠져도, 카메라(비전)로는 투명 필름이 빠진 걸 못 잡아내지만 이 압전 센서는 잡는 순간 재질을 알기 때문에 필름이 있는지 없는지를 알 수 있습니다. 학습 데이터도 얼마 안 줘도 거의 100%에 가깝게 잘 맞춰서, 같은 과자통이라도 종류를 구분할 정도로 성능이 좋았다고 합니다.

비유하자면 컵을 두드려 소리만 듣고 유리컵인지 종이컵인지 맞추는 것과 같습니다. 물체마다 진동이 통과하고 반사되는 특성(고유한 음향·기계적 응답)이 다르기 때문에, 카메라로 색·모양만 보는 비전이 놓치는 "재질"이라는 정보를 진동으로 잡아내는 것입니다. 투명한 필름은 비전이 가장 약한 분야라, 이 센서가 비전을 보완하는 좋은 예가 됩니다.

앞의 재질 인식을 한 단계 발전시켜, 같은 재질이라도 몇 장 겹쳐 있는지를 세는 연구입니다. 종이나 필름을 한 장, 두 장, … 열 장까지 잡았을 때 그 장수를 맞춥니다. 돈을 셀 때처럼 잡는 순간 몇 장인지 바로 알면 유용하겠다는 발상에서 출발했습니다.

종이는 일정한 두께로 만들기 어려워서, 실험은 0.1mm·0.5mm 같이 두께가 규격화된 투명 필름으로 진행했습니다. 흥미로운 건, 0.1mm 필름 5장을 겹친 것과 0.5mm 한 장도 구분된다는 점입니다. 물리적으로 하나로 만든 필름과 여러 장을 겹친 것은 사이사이 공기층·계면(interface)이 생겨 진동 특성이 달라지기 때문입니다. 그래서 두께 총합이 같아도 "한 덩어리"와 "여러 장 겹침"이 구별됩니다.

진동만으로는 한계가 있어서 열(thermal) 센서를 추가로 결합한 시스템입니다. 사람이 어떤 물체를 만지면 "차갑다/따뜻하다"는 열전달(heat transfer) 감각으로 재질을 경험적으로 구분하죠. 금속은 차갑게, 나무는 덜 차갑게 느껴지는 것이 그 예입니다. 이 열전달 차이를 온도 센서로 측정해 물체 인식에 쓰는 것입니다.

단, 열은 물체를 잡고 가만히 있으면 평형에 도달해 더 이상 정보가 안 나오는 문제가 있어, 능동적으로 열을 가하며(발열) 그 변화를 읽도록 설계했습니다. 결국 이 슬라이드는 진동 센서 + 열 센서 두 모달리티를 함께 학습시켜 인식하는 전체 구조를 정리한 것입니다.

"멀티모달(multimodal)"은 서로 다른 종류의 감각 정보를 함께 쓴다는 뜻입니다. 사람도 눈(시각)·손끝의 진동(촉각)·온도(열감)를 합쳐 물체를 판단하듯, 한 센서가 약한 부분을 다른 센서가 보완해 줍니다. 뒤 슬라이드에서 보듯 진동 단독·열 단독보다 둘을 합쳤을 때 정확도가 크게 뛰는 것이 이 접근의 핵심 효과입니다.

이번엔 "비전으로 안 되는 것"을 정면으로 노립니다. 병을 들지 않고 그냥 잡기만 한 상태에서, 안에 든 액체가 무엇인지를 맞추는 연구입니다. 비전을 안 쓰기 때문에 불투명한 병이어도 결과가 똑같이 나옵니다. 슬라이드에서는 설명을 위해 투명 병을 썼을 뿐입니다.

여기서도 앞서 본 두 센서를 함께 씁니다. 진동을 일으키는 압전 센서로 유체의 진동 전달 특성을 보고, 동시에 열 센서로 측정합니다. 액체는 열을 같이 빼앗아 가므로(차가운 음료가 꽉 찼을 때와 비었을 때 열 응답이 다름) 열 정보가 유체 판별에 도움이 됩니다. 이 두 신호를 합쳐 학습시켜 액체 종류를 분류합니다.

결과가 멀티모달의 효과를 잘 보여줍니다. 열 센서만 쓰면 약 47.5%, 진동 센서만 쓰면 약 85.6%로 둘 다 90%를 못 넘지만, 둘을 합치면 약 97.5%로 크게 뜁니다. 서로 다른 정보를 보완하기 때문에 단독 센서의 한계를 넘어서는 것입니다.

여기서 한 발 더 나아가, 액체의 종류뿐 아니라 병에 얼마나 들어있는지(잔량)까지 맞춥니다. 보통은 들어 올려 중력으로 무게를 재면 알 수 있지만, 이 연구는 들지 않고 잡기만 한 상태에서 50ml/100ml 단위로 잔량을 추정합니다. 정리하면, 로봇이 잡는 순간 "이 화학물질이 무엇이고, 안에 얼마나 들어있으며, 변화가 있는지"를 인공 피부 없이 알아내는 것이 이 일련의 센싱 연구의 목표입니다.

혼동행렬(confusion matrix) 읽는 법: 세로축은 실제 정답(Actual label), 가로축은 예측(Predicted label)입니다. 대각선 칸의 값이 클수록(=실제와 예측이 일치) 정확한 분류입니다. (a)처럼 대각선 바깥에 숫자가 흩어져 있으면 헷갈린 경우가 많다는 뜻이고, (c)처럼 대각선만 진하면 거의 다 맞췄다는 뜻입니다. 같은 데이터라도 어떤 센서(모달리티)를 쓰느냐에 따라 이 행렬이 어떻게 선명해지는지를 비교하는 것이 이 슬라이드의 핵심입니다.

이 연구의 출발점은 "카메라(비전)가 못 하는 일을 하자"는 것이었습니다. 처음에는 투명 필름(transparent film)을 대상으로 했는데, 좋은 카메라를 쓰면 "뭔가 있다"는 것까지는 알아도 그게 어떤 재질·종류인지는 모릅니다. 반면 우리 인공 스킨으로 잡으면 재질 자체를 식별할 수 있습니다. 그래서 다음 질문은 "사람도, 기존 로봇도, 비전으로도 못 하는 건 뭐지?"였고, 그 답으로 병 속 유체(액체량)를 잡았습니다.

핵심은 비전을 전혀 쓰지 않는다는 점입니다. 비전을 안 쓰기 때문에 병이 불투명해도 결과가 똑같습니다. 병 안에 여러 양의 액체를 넣어두고 로봇이 그냥 잡는 순간, 안에 든 액체의 양이 얼마인지를 맞히도록 했습니다. 슬라이드 시연에서는 투명 병을 썼지만(사람 눈으로 보여주기 위해서일 뿐), 원리상 불투명 병에서도 동일하게 동작합니다.

센서는 두 가지를 함께 씁니다. 앞에서 본 진동을 일으키는 압전 센서(piezoelectric sensor)가 잘 동작하고, 여기에 열 센서(heat/thermal sensor)를 함께 붙입니다. 차가운 음료가 가득 찬 병과 비어 있는 병은 열을 빼앗기는 정도가 다릅니다. 유체가 열을 같이 빼주기 때문에, 온도 변화로도 양에 대한 단서를 얻을 수 있죠.

두 센서를 합쳐 학습시키면, 한 센서만으로는 90%를 못 넘던 정확도가 크게 올라갑니다. 슬라이드 기준으로 열 센서 단독 50.8%, 진동 센서 단독 82.5%인데, 둘을 합치면 97.5%까지 올라갑니다. 게다가 50 mL · 100 mL 단위까지 양을 구분할 수 있습니다.

중요한 차별점은 "방식"입니다. 손에 압력 센서만 달면, 들어 올렸을 때 중력으로 아래 방향에 걸리는 힘으로 양을 추정할 수는 있습니다. 그런데 우리는 들지 않고, 움직이지도 않고, 그냥 잡는 순간에 알고 싶었던 겁니다. 즉 로봇이 병을 잡는 순간, 안에 어떤 물질이 들었는지·얼마나 들었는지·투명인지 아닌지까지 인공 스킨만으로 판별합니다.

혼동 행렬은 "실제 라벨(세로)"과 "예측 라벨(가로)"을 맞춰보는 표로, 대각선이 진하고 칸 밖이 옅을수록 잘 맞춘 것입니다. (a)에서 대각선이 흐트러져 있는 건 열 정보만으로는 양 구분이 어렵다는 뜻이고, (c)에서 대각선이 또렷한 건 두 센서가 서로 다른 물리량(진동 전달 특성 + 열전달)을 봐서 정보가 상호 보완되기 때문입니다.

"로봇 하는 사람이 왜 모션 센싱을?" 하면, 원격 제어(teleoperation) 때문입니다. 조작자가 원격지에 있고 로봇이 다른 곳에 있을 때, 사람의 모션을 인식해 로봇에게 전달하면 로봇이 그 동작을 따라 합니다.

여기서는 압전 센서를 굳이 두드리지 않아도, 손가락이 굽혀지면 벤딩(bending)이 일어나 전기 신호가 나옵니다. 이 신호를 처리하면 손 관절 각도를 실시간으로 바로 알 수 있습니다. 검은 장갑 안에 센서가 들어가 있고, 실시간 처리로 곧장 가상 핸드(virtual hand)의 움직임으로 만들어 냅니다. 슬라이드 아래 그래프가 그 결과가 카메라로 측정한 값과 잘 일치함을 보여줍니다.

이 응용은 병원 환자 모니터링입니다. 어떤 환자는 항상 누워 있어야 하고, 어떤 환자는 몇 시간은 앉아 있어도 됩니다. 그래서 환자의 자세(포즈)를 계속 모니터링하려는 것이죠.

가장 정확한 건 카메라지만, "누가 나를 계속 찍고 있다"는 건 환자에게 큰 부담(프라이버시)입니다. 그래서 카메라를 쓰지 않고도 환자의 자세 상태를 알 수 있는 기술을 만들었습니다. 엉덩이와 무릎에 유연 센서를 두고 무선으로 데이터를 보내, 환자가 누워 있는지 앉아 있는지를 센싱·모니터링합니다.

앞의 하체(엉덩이·무릎) 자세 인식을 이어서, 이번엔 센서를 환자복 자체에 통합했습니다. 바지의 관절 부위에 센싱부를 넣어, 환자가 누워 있는지·앉아 있는지뿐 아니라 걷고 있는지까지 추가로 인식합니다.

그리고 환자에게 이상 상황이 생기면 알람을 주도록 시스템을 구성했습니다. 마찬가지로 카메라 없이, 입고 있는 옷의 센서만으로 환자의 활동 상태를 비침습적으로 모니터링하는 것이 핵심입니다.

하체에 이어 상체(팔) 동작 인식으로 확장했습니다. 그런데 손가락과 달리 팔 관절은 부위가 넓어, 관절에 센서를 직접 넣으면 조금만 움직여도 센싱이 제대로 안 되는 문제가 있었습니다.

그래서 발상을 바꿨습니다. 폭 약 5 mm, 길이 약 2 cm의 작은 압전 센서를 그대로 쓰되, 관절에는 센서가 아니라 실(string)을 통과시키고 그 실 끝에 압전 센서를 답니다. 팔을 움직이면 실이 압전 센서를 당기고, 그 미세한 당김을 민감하게 센싱해 전기 신호가 나옵니다. 이 신호를 처리하면 동작을 알 수 있고, 슬라이드 시연처럼 아바타가 실시간으로 동일하게 따라 움직입니다.

"실로 당겨 받는다"는 방식의 직관: 넓은 관절 표면의 변형을 센서가 직접 펴졌다 굽혔다 하며 받으면 노이즈가 크지만, 관절을 가로지르는 실에 변형을 인장(당김) 한 방향으로 모아 작은 센서에 전달하면 신호가 깔끔해집니다. 왼쪽 신장률–전압 곡선이 바로 "얼마나 당겨지면 얼마의 전압이 나오는가"의 보정 관계로, 이 곡선이 있어야 신호를 실제 관절 각도 θ로 환산할 수 있습니다.

모션 센싱을 로봇 연구자가 왜 하느냐 하면, 원격 제어(teleoperation) 때문입니다. 조작자가 원격지에 있고, 사람이 동작을 인식해 그 모션을 로봇에게 전달하면 로봇이 그대로 따라 움직입니다. 첫 사례는 손가락 굽힘 센싱입니다. 압력을 따로 가하지 않아도 손가락이 굽으면 벤딩(bending)이 일어나 전기 신호가 나오고, 이걸 실시간으로 처리하면 손 관절 상태를 바로 알 수 있습니다. 검은 장갑 안에 센서를 넣고, 실시간 프로세싱으로 가상 핸드(virtual hand)의 움직임을 그대로 재현합니다.

그다음은 하체 모션 인식입니다. 이건 환자 모니터링 용도인데, 항상 누워 있어야 하는 환자, 일정 시간만 앉을 수 있는 환자 등 환자의 자세(pose)를 병원에서 계속 추적해야 합니다. 가장 정확한 건 카메라지만 프라이버시 문제가 있어, 카메라 없이도 환자가 누워 있는지·앉아 있는지·걷고 있는지를 센서로 모니터링하고, 위험 상황에는 알람을 주는 시스템을 만듭니다.

마지막은 상체(팔) 모션 인식입니다. 관절에 센서를 직접 넣으면 부위가 넓어 움직여도 센싱이 잘 안 됐습니다. 그래서 폭 5 mm·길이 2 cm 정도의 작은 합전 센서(저항 변형 센서)를 관절이 아니라 옆에 두고, 관절에는 실(thread)만 통과시킵니다. 팔이 움직이면 그 실이 센서를 당기고, 미세하지만 민감하게 반응해 전기 신호가 나옵니다. 이를 처리하면 팔 동작을 실시간으로 아바타에 그대로 옮길 수 있습니다.

핵심 트릭은 "센서를 관절에 직접 붙이지 않는다"는 점입니다. 관절은 굽을 때 피부 표면이 넓게 늘어나 변형이 한 점에 집중되지 않습니다. 대신 관절을 가로지르는 실을 통해 변형을 한 곳(작은 센서)으로 모아서 증폭하면, 작고 민감한 센서로도 큰 동작을 안정적으로 잡아낼 수 있습니다. 밴덴(보든) 케이블로 힘을 끌어오는 발상과 비슷합니다.

핸드 모션을 인식하다 보니 "가상 물체를 잡았을 때의 촉감도 느끼게 해주고 싶다"는 생각이 들었습니다. 모션 캡처로 가상 물체를 조작할 때, 닿는 순간의 촉감(haptic)을 더해주자는 것이 자연스러운 다음 연구가 된 셈입니다. 그래서 연구가 VR 디바이스 쪽으로 확장됩니다.

제가 만드는 건 가볍고 소프트한 촉감 장치입니다. 위쪽은 링 형태의 전극, 아래쪽은 얇은 전극판이고, 안쪽을 완전히 실링(sealing)해 공기를 밀폐합니다. 전압을 가하면 링 전극이 아래로 내려오면서 밀폐된 가장자리의 공기가 중앙으로 몰립니다. 그러면 가운데가 볼록 부풀어 오르고, 손가락은 그 부분에서 압력(촉감)을 느낍니다. 정전기력 기반의 이 축하(액추에이터) 장치를 세 손가락에 달면, 가상 체스 말을 잡았을 때 "잡았다"는 감각을 줄 수 있습니다. 입력(핸드 모션)은 앞서 본 합전 센서로 잡고, 출력(촉감)은 이 링 전극 장치가 담당하는 것입니다.

여기에 열 전달(온도 피드백)을 결합하면 효과가 커집니다. 그냥 잡고 있을 때 미리 촉감 장치가 닿아 있으면 접촉감이 이미 느껴져 버립니다. 그래서 실제처럼 "떨어져 있다가 갑자기 터치"하는 상황을 구현합니다. 가상에서 손이 비어 있다가, 물체를 잡는 순간 촉감과 열이 동시에 옵니다. 잡을 때 공압 펌프로 압력을 밀어 올리면서 열도 함께 전달하면, 두 감각이 같이 와서 사람이 훨씬 더 실감 나게 느낍니다.

밀폐된 얇은 공간에서 가장자리를 눌러 공기를 중앙으로 몰면, 같은 공기 부피가 좁은 곳으로 모이며 그 부분이 볼록 솟습니다(부피 보존). 손끝은 면적이 작은 이 돌출부에 압력이 집중되어 촉감을 느낍니다. 또 다중감각 통합(multisensory integration) 원리상, 촉감과 온도가 동시에·같은 위치에 들어오면 뇌는 그 자극을 더 강하고 진짜처럼 받아들입니다 — 그래서 두 감각을 동기화해 함께 주는 것이 핵심입니다.

논문 자체는 처음에 잘 안 받아졌는데, Science 홈페이지 뉴스 담당자가 먼저 연락해 와서 연구를 소개하고 싶다고 했고, 그렇게 뉴스로 나갔습니다. 이후 조선일보를 비롯해 한국·미국·영국·스웨덴·이탈리아·독일 등 여러 나라 매체에 보도되었습니다. 가벼운 장갑으로 가상 물체를 "만져서 느낀다"는 점이 주목받은 것입니다.

관련해 MBC에서도 연락이 왔습니다. 아이를 잃은 어머니가 가상에서 딸을 다시 만나는 프로그램에 제 촉감 기술이 참여했습니다. 사람이 가상에서 만난 것인지, 단지 압력감만 느낀 것인지 — 그만큼 촉감의 존재가 경험에 큰 영향을 준다는 사례입니다.

여기서 더 나아가 온도(열) 연구도 합니다. 반려동물을 만질 때처럼 촉감뿐 아니라 따뜻함을 함께 주거나, 냉장고 속 콜라를 잡으면 시원하게 온도를 낮춰 줍니다(냉감도 가능, 5~10도 변화). 흥미로운 실험으로, 가상의 회색 막대를 잡게 한 뒤 비전 피드백을 무작위로 빨강/파랑으로 바꾸고 온도를 ±1도만 살짝 변화시켰더니, 빨강으로 바뀌며 온도가 1도 오르자 사용자가 "뜨겁다"고 착각해 손을 떼는 반응이 나왔습니다. 시각과 온도, 두 감각이 함께 오면 사람이 더 강하게·더 잘 느낀다는 것을 보여줍니다.

앞서 보여드린 손 모션 인식은 압전 센서(piezoelectric sensor)가 당겨지는 미세한 신호를 감지해 동작합니다. 손이 움직이면 센서가 당겨지고, 그 미세한 변화가 워낙 민감하게 잡혀서 전기 신호로 나옵니다. 이 신호를 처리하면 다음 동작을 실시간으로 센싱할 수 있고, 그 결과가 아바타에서 똑같이 실시간으로 재현됩니다. 이런 손 모션 인식을 하다 보니 자연스럽게 "가상 물체를 잡았을 때의 느낌을 어떻게 줄까"라는 고민으로 이어져 VR 디바이스 연구로 확장됐습니다.

실제로 이 연구가 알려지면서 Science 홈페이지 뉴스에 소개됐고, 그것을 본 MBC에서 연락이 와 다큐 「너를 만나다」에 참여하게 됐습니다. 어머니가 먼저 떠난 딸을 가상에서 다시 만나 얼굴과 볼을 만지는 장면인데, 사람은 가상에서 만나는 그 순간을 단지 압력감(촉감)만으로 느낀다는 점이 핵심입니다.

그런데 여기에 결정적으로 빠진 것이 온도입니다. 강아지나 고양이를 안을 때 털의 촉감과 함께 따뜻한 체온을 느끼는데, 가상에서는 촉감은 줘도 온도가 차갑게 느껴지면 실감이 떨어집니다. 그래서 "열 피드백(thermal feedback)"이 필요하다는 것이 이 슬라이드의 메시지입니다.

압전 센서는 물리적 변형(휘어짐·당겨짐)을 전압으로 바꾸는 소자입니다. 관절이 굽으면 손가락에 붙은 센서가 당겨지면서 전기 신호가 나오고, 이 패턴을 분석하면 별도의 카메라 없이도 손가락 하나하나의 굽힘 정도를 알아낼 수 있습니다. 여기에 더해 "촉감만으로는 부족하고 온도까지 줘야 진짜 같다"는 것이 다음 슬라이드들의 출발점입니다.

이 장갑은 손 모션 인식(압전 센서)은 그대로 두고, 거기에 정전기 기반 촉각 장치와 열전소자(TED)를 더한 것입니다. 위쪽 링은 전극, 아래쪽은 얇은 구이판(전극판) 구조인데, 잘 실링(sealing)한 뒤 전기를 가하면 링이 아래로 내려오고, 안의 공기가 밀폐돼 있어 가장자리가 내려오면서 공기가 중앙으로 모입니다. 그 결과 손끝 중앙에서 압력을 느끼게 됩니다. 이렇게 세 손가락으로 가상의 물체(체스 말 등)를 잡으면 "내가 정말 잡았다"는 느낌을 받습니다.

여기에 열 피드백을 추가합니다. 강아지를 안을 때처럼 촉감과 함께 체온을 살짝 올려주고, 냉장고 콜라처럼 차가운 물체를 잡으면 온도를 내려줍니다(냉감도 가능). 보통은 실감을 위해 1도 정도만 살짝 주지만, 필요하면 5도·10도까지도 변화시킬 수 있습니다.

이와 관련해 흥미로운 착시 실험도 했습니다. 가상의 회색 막대(gray bar)를 쥐게 한 뒤, 화면 색이 랜덤으로 빨강/파랑으로 바뀝니다. 빨간색이면 온도를 1도 올리고, 파란색이면 1도 내립니다. 빨간색 비전 피드백과 함께 손에서 1도가 올라가는 순간, 피험자가 "뜨거운 물을 쥐었다"고 착각해 순간적으로 손을 떼는 장면이 나옵니다. 즉, 시각과 온도 두 감각이 함께 올 때 사람은 훨씬 강하게 느낀다는 것을 보여줍니다.

열전소자(TED, ThermoElectric Device)는 전류 방향에 따라 한쪽 면은 데우고 반대쪽은 식히는 펠티에 효과(Peltier effect) 소자입니다. 전류 방향만 바꾸면 같은 소자로 온감과 냉감을 모두 낼 수 있어서, 따뜻한 강아지든 차가운 콜라든 하나의 장치로 표현할 수 있는 것입니다. 회색 막대 실험은 다중 감각 통합(multisensory integration)의 사례로, 색(시각) 단서가 온도 지각을 증폭시켜 실제보다 더 뜨겁게/차갑게 느끼게 만든다는 점이 핵심입니다.

앞의 장갑(2020)은 손가락에 촉각 장치가 이미 붙어 있는 상태였습니다. 즉 접촉을 미리 느끼고 있다가 열만 전달되는 방식이라, 실제 "물체를 처음 만지는 순간"과는 다릅니다. 현실에서는 아무것도 안 잡고 있다가 갑자기 닿을 때 열 전달과 압력감이 동시에 옵니다. 그래서 이 연구에서는 떨어져 있던 부분이 공압 펌프(pneumatic pump)로 올라오면서, 열을 주는 동시에 위로 밀어 압력감까지 함께 주도록 구현했습니다. 가상에서 손이 비어 있다가 물체를 잡는 순간 촉감과 열이 같이 나니, 사람은 당연히 훨씬 더 실감 나게 느낍니다.

이 시스템은 햅틱 연구에서 그동안 잘 안 되던 부분도 보완합니다. 압력·진동은 상용 수준으로 구현이 잘 됐지만 전단력(shear, 미끄러지는 감각)은 부족했는데, 여기서는 공압을 이용해 장치를 회전시켜 밀어주는 방식으로 시어를 구현하고 진동도 함께 줍니다.

마지막으로 이 열 감각 기술은 로봇 원격 조작(teleoperation)으로도 확장됩니다. 손 모션으로 로봇 그리퍼를 제어해 캔을 잡을 때, 열 피드백을 주면 그 캔이 뜨거운지 차가운지를 사람이 바로 느낄 수 있습니다. 너무 뜨거운 물체면 로봇이 손상될 수 있으니 즉시 손을 떼게 인식시킬 수 있죠. 실제 그래프에서 물체를 잡았다 뗄 때의 온도 변화는 약 10도 수준이며, 냉감도 동일하게 제어해 다양한 응용이 가능하다고 정리합니다.

전단력(shear force)은 표면을 따라 옆으로 미끄러지는 힘으로, 물체가 손에서 빠져나가는지 가늠하는 데 중요한 감각입니다. 기존 햅틱은 누르는 수직 압력(normal force)과 진동에 치우쳐 이 미끄럼 감각을 잘 못 줬는데, 공압으로 패드를 회전·전단 방향으로 움직여 이를 재현한 것이 이 인터페이스의 차별점입니다. 또한 "접촉과 동시에 열이 온다"는 점은 시간적 동기화(temporal binding)가 실감을 좌우한다는 의미로, 같은 열량이라도 닿는 타이밍에 맞춰 줘야 진짜 접촉처럼 느껴집니다.

이 연구는 약 1년 반 동안 진행한 것으로, 그동안 압력(누르는 감각)과 진동은 충분히 구현했지만 한 가지가 빠져 있었습니다. 바로 전단(shear), 즉 표면을 따라 손가락이 미끄러지는 감각입니다. 압력과 진동만으로는 "쓸어내린다", "미끄러진다" 같은 감각이 잘 살지 않았던 것이죠.

그래서 전단을 구현하기 위해 공압 압력(pneumatic pressure)을 이용합니다. 공기압으로 장치가 회전하면서 피부를 옆으로 밀어주어 전단력을 만들고, 여기에 진동까지 더해 더 풍부한 촉감을 제공합니다. 누르는 힘만 주던 기존 방식에서 한 단계 나아가, 사람이 실제로 물체 표면을 만지고 쓸 때의 미끄러짐까지 재현하려는 것이 핵심입니다.

촉감은 크게 세 성분으로 나눌 수 있습니다. 법선력은 수직으로 누르는 압력, 전단력은 표면을 따라 옆으로 끄는 마찰감, 진동은 거친 질감이나 떨림을 느끼게 하는 고주파 자극입니다. 이 셋을 모두 줄 수 있어야 "매끄럽다 / 거칠다 / 미끄러진다" 같은 실제 손가락 감각을 온전히 재현할 수 있는데, 그중 가장 구현이 까다로운 전단을 공압 회전 구조로 해결한 것이 이 슬라이드의 성과입니다.

이 연구는 앞에서 설명한 열 전달 장치(강아지를 만질 때 체온을 함께 올려주던 그 장치)를 그대로 로봇 원격제어에 연결한 것입니다. 사람이 손을 움직이면 로봇 그리퍼가 똑같이 움직여 물체를 잡는데, 원격에서 조종하다 보면 그 물체가 뜨거운지 차가운지 알 수가 없습니다.

그래서 로봇이 느낀 온도를 사용자 손에 열 감각으로 피드백해 줍니다. 로봇이 캔을 잡았을 때 그것이 뜨거운 캔이면 사용자도 뜨거움을 느끼게 되는 것이죠. 실제 위험한 물체라면 "뜨겁다"는 감각을 받아 바로 손을 떼어 로봇을 보호할 수 있습니다. 그래프를 보면 물체를 잡았다가 떼는 동안 실제 온도가 약 10도 정도 변하며, 이 정도면 사람이 충분히 위험을 인지할 수 있는 수준입니다. 냉감(차가움)도 동일한 원리로 구현됩니다.

핵심은 펠티어 소자입니다. 전류 방향에 따라 한쪽 면은 데워지고 반대쪽은 식는 반도체 소자로, 같은 장치 하나로 온감과 냉감을 모두 줄 수 있습니다. 또한 앞 슬라이드의 발견(촉감과 열이 동시에 오면 사람이 더 강하게 느낀다)을 떠올리면, 로봇 원격제어에서 "잡는 순간 압력과 열을 함께" 주는 것이 더 사실적인 이유를 알 수 있습니다. 단순한 영상 정보만 있는 원격제어보다, 뜨거움·차가움을 손끝으로 직접 느낄 수 있어 안전성과 몰입감이 크게 높아집니다.

발표를 마치며 질문을 받는 슬라이드입니다. 강의 전체를 정리하면, 부드러운 소재 기반의 햅틱 장치로 압력·전단·진동 같은 촉감과 온·냉감의 열 피드백을 함께 제공하여, VR 환경에서의 현실감 있는 상호작용과 로봇 원격제어의 안전한 조작을 모두 가능하게 한다는 것이 핵심 메시지입니다. 추가 질문은 발표자 이메일로 받겠다는 안내로 강의를 마칩니다.