AI시대, 인터페이스의 현재와 미래

안녕하세요. 에이뉴트의 박재민 입니다. 2025년 9월 공개된 Meta의 차세대 스마트 글래스(Meta Ray-Ban Display)는 기존과는 다른 새로운 사용성으로, 모두가 관심을 가지고 막연하게 언젠가는 되겠지..라는 생각으로 외면하고 있던 AR 인터페이스에 대한 흥미를 다시금 높이는 계기로 충분했는데요. 아직 국내에 출시되지 않았지만 공개된 정보와 활용되는 사례들을 살펴보면 우리가 상상만 하던 미래 인터페이스의 등장이 그리 멀지만은 않은 것처럼 보입니다.

Meta는 정보가 표시되는 디스플레이(Display) 글라스와 함께 손목 근전도(EMG : Electromyography Sensor) 센서를 인터페이스에 활용할 수 있는 뉴럴 밴드(Neural Band)를 함께 제공하고 있는데요. 안경과 손목 밴드를 착용하고 허공에 손짓을 하는 사람들의 모습을 보고 있으면, 2002년에 개봉된 영화 ‘마이너티리 리포트’에서 보았던 제스처(Gesture) 인터페이스가 현실화된 것 같은 모습입니다. VR(Virtual Reality)을 시작으로 AR(Augmented Reality), MR(Mixed Reality) 그리고 확장된 현실(eXtended Reality)인 XR까지 이제는 일상에서 손쉽게 이용할 수 있는 날이 그리 멀지만은 않은 것 같습니다. 시장의 변화와 관련 기술을 활용한 서비스의 등장을 지켜봐야겠지만 2024년 출시된 애플의 ‘비전 프로(Vision Pro)’가 MR(Mixed Reality) 시대의 시작을 알리는 신호탄을 울렸다면, AR 중심의 인터페이스에서는 아직까지는 지역적인 제한이 있지만 기술적으로 가장 높은 완성도를 보여주고 있는 Meta가 제일 앞장 서고 있는 것 같습니다.

(좌측)영화 마이너리티 리포트의 한 장면. 20세기 폭스 코리아, (우측)Meta Connect 2025 발표 중.

그동안 PC나 Mobile 기기의 모니터 화면에만 한정되던 사용자 인터페이스가 일상생활의 현실로 확장되려는 움직임을 보이는 지금. 우리에게 다가올 미래의 인터페이스는 어떤 모습일까요? 상상으로만 생각하던 모습과 영화 속에서 보았던 FUI(Futuristic User Interface) 인터페이스들이 눈 앞에 펼쳐질 수 있을지에 대한 기대를 품으며, 말만하면 무엇이든 대답해주는 AI의 보편화가 시작된 시대에서 우리에게 다가올 인터페이스에 대해 이야기 해보고자 합니다.

미래의 UI, FUI

영화를 통한 인류의 상상은 시간이 걸렸을지는 몰라도 언젠가는 우리가 마주하는 현실과 일상이 되었습니다. 지구의 중력을 벗어나 우주로 향하지 못하던 1902년 달 착륙을 상상했던 ‘달 세계 여행(A Trip to the Moon)으로부터 100년이 지나지 않은 시기에 인류는 1969년 아폴로 11호를 달 표면에 착륙시켰고, 그 이후로 얇고 투명한 유리에서 보이는 TV, 하늘을 나는 자동차, 이제는 필수품이 되어버린 손안에서 세상을 향하는 출입문이자 연결점이 된 스마트폰부터 짧지만 지구 궤도로의 여행도 가능한 동시에 원하는 것은 무엇이든 대답해 주는 똑똑한 인공지능 기술과 함께하는 시대에서 우리는 과거에는 감히 실현될 것이라고 생각도 하지 못했던 일들과 너무도 익숙하게 살아가고 있습니다. 시대를 돌아보면 인류는 언제나 상상하던 것들을 현실로 만들어 내고 있는데, 특히 영화를 통해 그려내던 장면들은 멀지 않아 우리의 눈앞에 자연스럽게 등장했습니다. 이는 허무맹랑한 주장이나 말이 되지 않는 장면에는 흥미를 느끼지 못하거나 공감하지 못하는 우리의 특성을 고려한 영화들이 만들어지기 때문은 아닐까요? 우리의 관심을 끌고 장면에 몰입하게 하기 위해서는 하늘에 불을 뿜는 용이 날아다니고 마법사가 얼음 비를 내리는 판타지 마법의 세계가 아니라면 어느정도는 상상 가능하고 있을 법한 과학적, 기술적 이론을 기반으로 영화를 만드는 것이 필수적인 기준점 같습니다. 이와 같은 맥락에서라면 어느 정도는 현실성과 과학적 지식을 활용해서 제작된 ‘아바타(2009)’처럼 정신 공유를 통해 판도라 행성을 뛰어다니는 나비 일족이 되는 것도 꼭 불가능하다고는 볼 수 없지 않을까라는 재미있는 상상을 해봅니다.

시간이 걸려도 언젠가는 우리의 상상이, 우리의 일상이 되어 왔던 것 같습니다.

1. FUI는 지금 어디에?
먼 미래를 보여주는 아바타에서도 우리는 지금과 유사하지만 더 진보한 인터페이스를 확인할 수 있습니다. 허공을 비치고 공간을 가득 채우는 화면, 투명한 유리 가득 표시된 멋진 그래픽들은 당장이라도 현실에 적용할 수 있을 것 같이 보이지만 영화와 현실의 벽은 기술적 한계와 사용성의 문제로 우리의 생각보다 더 뚫기 어려운 단단함을 가지고 있습니다. 하지만 그렇다고 아쉬워할 필요는 없습니다. 영화와 같은 인터페이스들은 아직은 먼 미래의 일처럼 보이지만 앞서 이야기 했던 ‘마이너티리 리포트’의 제스처 인터페이스와 어벤저스 인피니티 워(2018)에서 토니 스타크가 디스플레이가 장착된 안경 다리를 손가락으로 두드리면서 ‘프라이데이’를 호출해 명령을 하는 모습은 얼마전 공개된 Meta의 스마트 글라스를 착용하면 얼마든지 현실로 구현할 수 있으니까요. 다만 영화처럼 살인 사건의 단서를 찾기 위한 긴장감 넘치는 상황이나 지구의 멸망 직전의 위급한 상황이 아닌 처음 간 장소에서 길을 물어본다든가 오늘 저녁 먹을 요리를 위한 레시피를 물어보는 아주 일상적인 상황을 다르다면 달리 볼 수 있겠죠. 오블리비언(2013)이나 프로메테우스(2012), 스타트렉 다크니스(2013) 그리고 얼마 전 개봉했던 용의자와 인공지능 판사와의 법리 다툼을 보여주었던 No Mercy(2026)까지 꾸준하게 등장하는 상상력을 가미한 영화적 인터페이스들은 조금만 기다리면 사용자를 위한 변환(Converting) 과정을 마친 다음 우리의 현실로 입장하게 될 것입니다.

(좌측)영화 프로메테우스의 한 장면. 20세기 폭스 코리아, (중앙)영화 어벤저스 인피니티 워의 한 장면. 월트 디즈니 컴퍼니 코리아, (우측)영화 노 머시:90분. 소니 픽쳐스 코리아

영화에서 등장하는 FUI는 실현가능성의 여부를 떠나 우리의 흥미와 관심을 끌기에 충분하고 나도 저런 기술을 쓸 수 있다면 좋겠다라는 생각을 하게 되는데..영화 속에서 등장하는 장면 모두를 실제로 구현할 수는 없겠지만, 그중 현실로 구현된 대표적인 예가 있다면 바로 ‘Her(2013)’가 있습니다. 화려한 화면도 능숙한 제스처 인터페이스도 없던 평범한 우리의 일상 같은 모습의 영화였지만 극중에서 표현되는 대화(CUI : Conversational User Interface)와 음성 인터페이스(VUI : Voice User Interface)를 활용한 인공지능과의 상호작용은 불과 10년이 지나 지금의 현실이 되었습니다.

영화 개봉 당시에는 고객센터의 간단한 안내와 응대 정도만 가능했던 AI 기술이 2026년인 지금에 와서는 사람처럼 대화하고 공감하는 것이 가능한 수준인데, 이제는 가족이나 친구보다 인공지능에게 비밀스러운 이야기와 고민 상담을 더 많이 하고 심지어 사랑의 감정을 느끼는 사람까지 있다는 점이 새삼 놀라울 따름입니다. 현재를 살아가는 그 누구도 인공지능에게 사람과 비슷한 유대 관계를 느낄 것이라고 상상이나 했을까요? 우리의 상상이 얼마나 빠르게 현실화되고 있는지 알 수 있는 사례 중 하나로 볼 수 있을 것 같습니다. 이와 같은 속도로 본다면 지금도 불편하고 거추장스러운 시야를 완벽히 가리는 VR, MR 장비를 머리에 착용하면 아이언맨이 될 수 있고 아바타가 될 수 있는데, 이것 또한 얼마 지나지 않아 더 가볍고, 편한 방법으로 기술 진화를 거처 영화와 같은 모습으로 우리 삶에서 함께 작동할 것으로 보입니다.

(좌측)영화 Her의 한 장면. 워너브라더스

인공지능의 발전과 인터페이스의 확장

신규 시장을 위한 기술 확장과 사용성 구축을 위한 VR, AR, MR, XR과 같은 개념들이 꾸준하게 발전하고 새로운 시도들이 지속되고 있었지만 인공지능 기술의 발전이야 말로 인터페이스의 영역 확장 경쟁에 제대로 불을 붙인 것 같습니다. 모니터 화면을 바라보며 키보드와 마우스로 입력하는 작업과 작은 노트 크기의 화면에 손가락을 꾹꾹 눌러가며 원하는 내용을 직접 입력하던 제한된 인터페이스에서 인공지능이라는 유능한 지원자이자 램프를 벗어나려는 ‘지니’의 등장은 인류가 기술을 활용하는데 필요한 사용성에 대한 개념을 새롭게 정의하고 확장을 목표로 하는 방법에 열중하기에 충분한 자극제가 되었습니다.

인공지능을 활용하기에 가장 좋은 장치(Device)와 방식(Interface)은 무엇일까요? Meta, Google 그리고 Samsung도 곧 출시를 예고한 안경 형태의 디스플레이 장치일까요? 아니면 Open AI의 샘 올트먼(Sam Altman)과 애플의 디자인 총괄이었던 조너선 아이브(Jonathan Ive)가 설립한 아이오(io)에서 제안하려고 하는 귀 부착형 장치일까요? 인공지능의 참가를 담보로 작동하는 사용자 중심의 인터페이스에 대한 확장은 지금도 다양한 기관과 많은 기업들에서 실험과 시도를 계속하고 있습니다. 알려진 시도 중 가장 보편적으로 고려되고 짧은 시간 안에 접근할 수 있는 방법으로는 스마트폰에서 보던 시각적 정보들을 화면으로 표시할 수 있는 안경형 장치일 것 입니다. 전 세계적으로 각기 다른 AI 탑재형 스마트 글라스가 등장하고 있고, 대부분 화면으로 간단한 문자나 이미지를 표현하거나 안경테에 위치한 카메라를 통한 주변 환경 인식 그리고 스피커를 통해 청각적 정보도 함께 제공하고 있어 얼굴에 착용하는 스마트폰 형태로서 가장 적합한 형태로 활용되고 있습니다. 안경과 함께 손목이나 손가락에 착용하는 추가 장치를 이용하면 사용성을 증대시킬 수 있는데요. 사용자들이 스마트폰 화면을 터치하던 방법을 유사하게 옮겨 놓은 제스처 컨트롤 기술을 적용하는 방법도 함께 고려되고 있어 제약 없이 자유롭게 제어가 가능한 손을 활용한 확장된 인터페이스가 많은 사용이 예상되는 방법 중 하나 입니다.

안경 형태의 장치 외에도 흥미로운 시도가 예상되는 방법으로는 이어폰 또는 귀에 부착하는 형태의 AI 장치 입니다. 사람과 같이 생각하고 대화할 수 있는 인공지능 기술을 활용하여 모든 인터페이스를 음성과 대화로 처리하면서 높은 정확성을 기반으로 시각적 정보 없이도 불편함이 느껴지지 않도록 하는 방법 인데요. Google도 ‘Iyo One’과 같은 무선 이어폰 형태의 AI 인터페이스 장치를 개발하고 있어 화면 없이 인공지능과 소통하는 ‘오디오 퍼스트(Audio-First) 생태계도 안경을 활용한 방식에 버금가는 매력적인 선택지로 다가오고 있는 것 같습니다. 안경이나 이어폰 형태 외에도 옷에 부착하는 카메라가 달린 핀이나 펜던트 형태의 장치, ‘Rabbit’의 ‘R1’과 같이 주머니에 들어가는 작은 형태의 이동형 장치까지 사용자가 기술을 편리하게 사용할 수 있는 아이디어와 개념을 기반으로 하는 다양한 종류의 인터페이스 방법들이 등장할 것으로 예상됩니다.
어떤 형태를 띈 장치가 스마트폰 다음의 장치로서 활약하게 될지는 알 수 없지만 새로운 기술의 등장을 기대하는 상상만으로도 흥미로운데요. 만약 안경형 디스플레이 장치가 스마트폰 다음을 대표하는 제품이 된다면, 가까운 미래 대부분의 인류는 안경을 하나씩 착용하고 있거나 그게 아니라면 귀에 착용하는 보기 좋게 디자인된 세련된 이어폰을 착용하고 인공지능과 대화를 하고 있을 지도 모르겠습니다. 어떤 방향이던 화면 중심의 인터페이스에서의 탈출과 확장은 틀림없을 것으로 보여지네요.

FUI와 현실의 UI

우리가 현실에서 사용할 장치와 함께 따라오는 인터페이스들은 영화에서 보던 화려한 FUI의 모습과는 차이가 있을 수 있습니다. FUI의 인터페이스는 현실에서 직접 사용하지 않을뿐더러 영화 속 단 몇 초의 장면 안에서 관람객에게 시각적으로 확실한 자극과 정보를 제공해야 하기 때문에 화려하고, 복잡합니다. 사용자를 위해서라면 필수적인 정보만 표시되어야할 화면이 표시할 수 있는 모든 정보를 빈 공간 없이 꾹꾹 눌러담아 엄청나게 많은 정보량을 보여주는데요. 때로는 정보가 표시된 투명 디스플레이가 여러 겹으로 중첩된 모습까지 보이고는 합니다. 이러한 상태를 현실에서 그대로 사용한다면 다들 눈이 아프다고 눈을 감아버리거나 어지러워서 사용을 포기할 것입니다. 아니면 표시되는 정보 자체를 놓쳐버리거나 어떤 내용인지 알기 어려울 수 있습니다.

(좌측)영화 아이언맨의 한 장면. 월트 디즈니 컴퍼니 코리아, (우측)영화 아바타의 한 장면. 20세기 폭스 코리아

Apple과 Google에서 배포한 MR, XR 관련 인터페이스 정의서를 살펴보면 세부적으로는 차이가 있는 부분이 있지만 양사 모두 가장 중요하게 고려하는 부분은 바로 사용자의 편의성을 확보하고 불편함을 줄이는 것 입니다. 인터페이스 정의에서 사용성을 고려하는 것은 너무나 당연한듯 보이지만 사용자가 디스플레이가 적용된 안경이나 머리 고정형 장치들을 사용하면서 느낄 수 있는 거부감, 두통, 어지러움을 최소화하는 것에 집중하고 있는 것인데요. 이는 고정된 화면에서 정보를 표시하던 제한된 환경을 벗어나 배경이 끊임 없이 변화하고 움직이는 우리의 일상 생활에 시각 화면을 투사하기 때문입니다. 스마트 글라스나 Vision Pro를 통해 표시되는 정보들은 화면에는 고정되어 있어도 사용자가 머리를 움직이거나 이동을 위해 걸을 때, 시선을 돌릴 때 불가항력적으로 많은 것들이 움직이게 됩니다. VR이나 MR 장치처럼 몰입형 화면을 활성화해서 주변 환경을 완전히 차단한 상태에서 정보를 표시하지 않는 이상 주위 환경과 정보를 함께 확인하는 상태는 사용자에게 책을 보면서 바이킹을 타라는 것과 같아 많은 부담을 주게 됩니다.

예를 들어 Meta의 Ray-Ban Display를 착용한 상태로 거리를 걷거나 지하철이나 버스를 타기 위해 이동할 때 화면에 표시된 문자가 시각 정보가 너무 많다면 사용자는 일일히 떠오르는 정보를 확인하기 위해 시력을 집중하게 되고 동시에 일어난 과도한 주변 환경 정보가 중첩되어 ‘멀미’를 일으킬 수도 있습니다. 그게 아니라면 화면에 표시된 정보에 집중하다가 주변 사람들이나 벽에 충돌하거나 다가오는 차를 제대로 인식하지 못해 큰 사고를 당할 수 도 있습니다. 주변 환경을 살피면서 안경형 디스플레이의 작은 화면 안에 표시되는 정보를 인식하기 위해 집중하는 경험은 출렁이는 너무 어지러워서 배에 올라탄 것과 같은 기분을 느끼게 될지도 모릅니다. 이러한 상황을 대비해서 Apple은 Vision Pro를 착용 중인 상태에서 사용자가 움직이거나 위치를 이동하면 표시되던 화면을 최소화하여 사용자가 주변 환경을 편안하게 인식할 수 있도록 하고 있습니다. Google도 마찬가지로 ‘Glimmer UI’를 통해 화면에 표시되는 정보를 최소화하고 너무 많은 내용이 장시간 표시되지 않도록 해서 사용자의 부담을 줄이는 방법을 제안하고 있습니다. 전투기나 자동차의 유리창에 주사 되는 HUD(Head Up Display)만 봐도 운전자에게 필수적으로 제공되어야 할 핵심 정보만을 표시하는 것을 보면 스마트 글라스도 이와 같은 고려가 필요한 것입니다. 특히 넓고 광활한 자동차 유리에 작게 표시되는 HUD 정보에 비해 안경은 좁고, 사용자가 느끼는 화면과의 거리감이 매우 가깝습니다. 특히 스마트 글라스의 경우 정보 표시를 위해 한쪽 화면에 흐림(Blur) 처리를 하는 경우가 있어 시야의 절반이 완전히 가려지는 경우도 발생할 수 있습니다.

아이언맨에서 토니 스타크의 얼굴에 비치는 인터페이스는 보는 사람은 멋져 보일지 몰라도 좁은 헬멧 안에서 일일이 정보를 파악하는 사람에게는 정말 괴로운 경험이 아닐까요? 실제 토니 스타크 역의 로버트 다우니 주니어(Robert Downey Jr)는 헬멧이 너무 답답해서 어느정도 시간이 지난 다음부터는 아예 착용을 거부했다고 합니다. 영화 속 세계와는 다른 현실적인 문제로 그 모습을 그대로 보여주기는 어렵겠지만 사용자의 시야를 중심으로 편안하게 표현할 수 있는 디스플레이(인터페이스 영역) 기술이 발전하고 그와 관련된 인터페이스 개념들이 고도화되어 정의된다면 영화와 유사한 모습을 구현해내는 것도 불가능하지만은 않을 것 같은데요. 아직은 시간이 더 필요할지 모르지만 하나의 장치에 속박되어 있던 구속을 풀고 내 몸처럼 편하게 사용하고 작동하는 인터페이스의 시대를 기대해 보겠습니다.

늘 그랬듯이 ‘우리는 답을 찾을 것입니다.’ (영화 ‘인터스텔라’ 2014)

그렇다면, 앞으로 다가올 미래의 인터페이스는 어떤 모습일까요?

앞서 FUI와 우리가 실제 사용하는 UI에 대한 차이와 한계에 대해 이야기 했지만, 인류는 언제나 상상을 현실로 만들어 왔듯이 꿈꾸던 그 모습은 언젠가 눈 앞에 등장할 것 입니다. 일론 머스크(Elon Musk)의 화성 탐사가 지금은 허황된 이야기처럼 들려도 시간이 지나 정말로 인류가 화성에 도달한다면 언제 그랬냐는 듯이 당연한 일이 될 테니까요. 미래의 인터페이스를 스마트 글라스나 VR, MR, XR 장치 없이도 편리하게 사용할 수 있는 방법이 등장할 수도 있습니다. 어떤 방법이던 그 모습을 상상하는 것만으로도 흥미로운데요. 처음 컴퓨터가 등장한 이후 현재에 이르기까지 우리가 사용하는 인터페이스는 계속 변화해 왔습니다. 지금은 모르는 사람이 더 많을 것 같은 CLI(Command Line Interface)부터 우리가 가장 익숙하게 사용하고 있는 GUI(Graphic User Interface) 그리고 사람처럼 자연스러운 소통이 가능한 NUI(Natural User Interface)까지 우리가 기술을 활용하기 위한 인터페이스 방식은 꾸준하게 변화해 왔으며, 앞으로도 변화할 것입니다. 인공지능이라는 새로운 화두는 인터페이스의 발전과 확장에 지대한 영향을 미칠 것이고 우리는 이를 위한 다양한 연구와 시도를 지속할 것입니다. 다만 HCI(Human Centered Interaction)와 같이 사용자를 중심으로 생각하던 연구 방법과 함께 HAI(Human Ai Interaction)를 함께 고려한 인터페이스 연구에 대한 개념을 정립해야 할 때가 되지 않았을까요? 아마도 당분간은 안경, 이어폰, 손목밴드, 반지 등 사용자가 입력을 위해 사용할 수 있는 다양한 제품을 활용한 화면 안에 갇혀 있던 인터페이스를 화면 밖 우리의 일상으로 꺼내는 과정에 많은 노력을 쏟을 것 같습니다. 그러면서 AI와 관련된 인터페이스에 대한 연구도 무르익지 않을까요? 그리고 그 과정 안에서 2007년 처음 아이폰이 등장했을 때와 같은 충격과 파장을 주는 장치나 개념이 등장할 것으로 믿어 의심치 않습니다. 에이뉴트는 사용자와 인공지능을 위한 인터페이스에 대한 연구를 지속하면서 관련 정보와 기술을 지켜보고 새로운 통찰과 발견을 담은 서비스를 제공하고자 합니다.

그럼 또 새로운 사용자와 인공지능 관련 인터페이스 소식으로 찾아뵙겠습니다.

-

참고자료

연인에게도 안 보여준다는 '챗GPT 고민 상담'
IO 관련 기사
구글 iyo 관련 기사
Apple HIG(휴먼 인터페이스 가이드라인)
Google Jetpack Compose Glimmer UI 디자인 원칙