n.Gen UX/UI란?
안녕하세요. 에이뉴트의 박재민 입니다. AI를 중심으로 발생되고 있는 변화의 영향이 다양한 분야로 확산되고 있는 요즘, 우리가 하루의 대부분을 마주하고 있는 인터페이스에도 변화의 바람이 불어오고 있습니다. 이번 글에서는 GUI로 대표되는 현재의 인터페이스가 AI로 인해 어떠한 변화를 겪고 있는지 그리고 앞으로 AI를 활용함에 있어 편리한 인터페이스는 무엇인지에 대해 이야기해 보고자 합니다.
1. 인터페이스의 변화
2022년 Chat GPT의 등장 이후 AI와 함께하는 시간이 증가하고 있는 지금, AI의 성장은 일부 영역으로 한정되겠지만 이제는 사람보다 더 우수한 결과를 만들어내고 있는 것으로 보입니다. 하루가 다르게 예측하기 어려울 정도로 빠르게 향상되고 있는 AI. 하지만 여전히 결과물의 일관성을 유지하기 어렵다는 점과 사용자의 의도를 정확하게 반영하지 못하고 있다는 한계를 가지고 있습니다. 이와 같은 문제는 우리의 의도를 AI에게 온전하게 전달하지 못하는 것이 문제인 것으로 보여지는데요. 관련 서비스를 개발하는 기업들도 이와 같은 일관성 유지를 위한 다양한 시도를 하고 있지만 아직은 이미지나 동영상 생성 영역에만 새로운 시도를 적용하고 있는 상태 입니다.
자연어 입력을 중심으로 구성된 인터페이스는 AI를 활용함에 있어 제한적인 사용성을 가질 수밖에 없고, 가끔은 말로 설명하는 것보다 그림을 그려준다거나 필요한 부분을 콕 집어서 전달하는 방법이 필요하다고 느껴집니다. 여러분도 AI가 의도를 이해하지 못하고 엉뚱한 답변을 내놓거나, 갑자기 일관성을 잃어버리면서 내가 예상했던 것과 다른 결과를 제공받은 경험을 가지고 계실 것 같은데요. 같은 ‘말’인데 매번 다른 결과를 생성하는 예측하기 어려운 AI가 사람이라면 상상만해도 답답할 것 같습니다. 변수를 최소화하기 위해 말로 꽉 짜여진 감옥 같이 정형화된 프롬프트가 필요한 지금의 인터페이스는 인간과 AI의 상호 작용을 향상시키기 위해 새로운 변화가 필요하다고 보여집니다.
우리가 스크린 화면을 통해 AI와 서로를 마주보고 있는 인터페이스는 서로 약속이라도 한 듯 대부분 동일한 구조의 포맷과 유사한 디자인을 보이고 있습니다. 이러한 현상은 사용자들이 처음 등장했던 GPT 방식에 익숙해진 것을 고려한 어쩔 수 없는 선택임과 동시에 LLM(Large Language Model) 모델을 기반으로 작동하는 AI 서비스들이 입력과 출력을 위한 소통의 언어로 인간의 말을 활용하고 있는 것에도 기인하고 있습니다. 요구사항을 문장으로 입력해서 전달하는 방법은 간단한 질의와 자료 검색에는 적합하지만 사용자의 의도를 정확하게 이해시키고 표현하기 위해서는 한편의 단편 문학을 써야할 정도인데요. 초기 CLI를 거쳐 현재는 NUI와 OUI의 개념을 바라보고 있는 지금, 하나의 입력 방법을 사용하기보다는 복합적인 정보 전달이 가능한 인터페이스가 필요하다고 보여집니다.
| Name | Definition | |
|---|---|---|
| CLI | Command Line Interface | 컴퓨터 등장 이후, 1960년대부터 사용자의 명령 입력과 기계와의 소통을 위해 사용된 입출력 방식으로 현재까지도 시스템 개발과 운영을 위해 사용되는 방법 |
| GUI | Graphic User Interface | 제록스 팔로알토 연구소에서 개발된 방법으로 1984년 매킨토시로 대중화되었으며, 그림, 이미지, 아이콘 등을 활용해 컴퓨터 진입 장벽을 낮추고 사용성을 높인 방법 |
| NUI | Natural User Interface | CUI : Conversational User Interface로 2011년 애플의 Siri, 2022년 Open AI의 GPT와 함께 주류로 부상하였으며, 가장 편하게 사용할 수 있는 자연어(언어, 말, 문장) 입력으로 AI 서비스에서 보편적으로 사용되고 있는 방법
GBI : Gesture based Interface로 사용자의 손 모양 제스처를 인식하여 인터페이스로 활용하는 방법 |
| OUI | Organic User Interface | 별도의 인터페이스 인식을 위한 장치 없이 사람의 신체 또는 사물이나 물질을 변형 없이 형태 그대로를 인터페이스로 활용하는 방법 |
AI 인터페이스에 큰 변화가 이뤄지지 않는 이유에는 앞서 언급한 소통을 위한 언어와 관련된 문제도 있지만, AI를 활용하는 장치들 대부분이 스크린 화면을 중심으로 작동하는 것도 이유 입니다.매끈하고 평평한 화면을 마우스나 손가락으로 누르거나 키보드와 문자판으로 입력하는 것에 익숙해진 나머지 새로운 방식으로 작동하는 입력 방식에 대한 고민을 멈추고 있는 것은 아닐까요? 한편으로는 스마트 글라스나 AI를 활용하기 위한 새로운 개념의 제품들이 등장하기 시작한 것을 보면 변화된 인터페이스의 등장을 기대해봐도 좋지 않을까요?
2. 사용자와 AI의 소통을 위한 인터페이스
앞서 이야기했던 새로운 인터페이스의 등장에 대해 이야기하기 전 AI를 안전하고 정확하게 사용하기 위한 정보를 표시하는 관점에 대한 접근에 대해서도 이야기 해보고자 합니다. 우리의 의도를 AI에게 정확하게 전달하는 것도 중요하지만 AI도 우리의 말을 정확하게 이해하고 있다는 점을 표시해줄 필요가 있는데요. AI는 약 3~20% 정도의 환각(Hallucination) 현상을 가지고 있다고 알려져 있는데, 이는 AI 사용에 중요한 영향을 미치는 요인으로 사용자의 요구에 정확한 답변을 제공하지 않거나 의도를 잘못 이해한 결과를 그럴듯하게 사실인것처럼 꾸며서 제공하는 것을 말합니다. 일부 연구는 이와 같이 문제가 될 수 있는 AI의 상태 정보가 인터페이스에 표시되지 않는 것을 문제로 지적하고 개인화된 사용성과 AI 환각을 초기화할 수 있는 방안을 적용한 인터페이스에 대한 연구를 수행하고 있습니다. 내가 말한 것과 다른 이상한 대답을 하면 AI에게 입력했던 정보를 초기화하는 방법인 것인데 대부분의 AI 인터페이스 연구가 소통에 집중한 것과 다른 새로운 관점으로 맥락의 초기화를 위해 이와 같은 방안을 적용하는 것에 대한 고려도 필요해 보입니다. 또한 사용자의 맥락을 구체화해서 인터페이스에 시각적으로 표현하는 방향성에 대한 연구들도 진행 중이어서 안전성과 정확한 의사 전달이 가능한 시도들이 등장할 것으로 예상되고 있습니다.
향상된 소통을 위해 대화형 인터페이스와 함께 사용될 수 있는 방법으로 사용자의 목적을 구체화해서 인터페이스에 표현할 수 있는 노드(Node) 기반의 Comfy UI의 활용도 증가하고 있습니다. 2023년에 등장한 Comfy UI는 오픈 소스 GUI 프로그램으로 높은 유연성과 세부적인 제어 기능을 제공하며, 이미지 생성 과정을 시각화할 수 있다는 특징을 가진 기술인데요. 노드를 활용한 워크플로(Workflow) 구축이 가능하기 때문에 사용자의 요구사항을 적용하고 제어하기 편리하며, 꼭 필요한 내용으로만 작업을 구성해 매번 동일한 결과물을 생성할 수 있다는 장점을 가지고 있습니다. 이는 프롬프트 방식의 AI가 반복되는 작업에서 무작위 결과물을 만들어내는 일관성 부족 문제에 대한 대안으로 적용될 수 있는 방법으로 노드를 활용한 인터페이스는 3D Modeling이나 3D Rendering 프로그램에서 활용되던 것으로 새로운 방식은 아니지만 AI의 성능 향상과 함께 이미지 생성 솔루션인 Stable Diffusion 등에서 사용되면서 다시금 조명을 받고 있습니다. 최근에는 Comfy UI 방식과 프롬프트 입력 방식을 결합한 Comfy Agent와 관련된 연구도 진행 중인 것으로 확인되고 있습니다. 말과 함께 원하는 핵심 내용을 지정해서 AI에게 전달하면 지금보다 더 정확한 결과물 출력이 가능할 것으로 보여집니다.
3. 요구사항의 구체화와 자연스러운 인터페이스
많은 사람들이 AI를 활용하게 되면서 어떻게 하면 쉽고 빠르게 원하는 결과를 얻을 수 있는지에 대한 논의와 고민이 많은 것 같습니다. 앞서 설명했던 노드 기반의 인터페이스는 최근 Google과 Open AI, Figma를 비롯한 빅 테크 기업들도 서비스에 적용하기 시작한 상태 입니다. 구조를 중첩하고 맥락의 흐름을 구체화할 수 있는 이 방법은 사용자의 요구사항을 구체화하고 체계화하는 방법으로 좋은 성능을 제공하고 있는 것으로 보여지는데요. Google은 Opal을 통해 사용자가 입력한 자연어 명령어를 AI가 해석해서 개별 노드로 생성하고 이를 사용자 요구에 맞게 조정할 수 있도록 해서 AI 모델과 애플리케이션을 생성할 수 있는 서비스를 제공하고 있습니다. Open AI 또한 이와 유사한 방식으로 AI Agent를 생성할 수 있는 Builder 서비스를 제공하고 있으며, Figma는 Weeve를 통해 자연어 입력과 노드 조정 방식을 결합한 자유로운 이미지 생성이 가능한 기능을 제공하고 있습니다. 노드에는 구분될 수 있는 콘텐츠를 나눠서 담을 수 있고, 목표를 위한 과정을 순서대로 나열해서 맥락이 유지되도록 연결할 수 있다는 장점이 있는 만큼 앞으로도 많은 사용이 예상됩니다.
(좌측 Google Opal의 화면, 우측 Open AI Agent Builder 화면)
노드를 활용한 시도와 함께 새로운 인터페이스를 위한 접근 방법을 적용한 서비스들도 등장하고 있는데요. Google은 이미지 생성에 특화된 Comfy UI 방식을 과감하게 배제하고 사용자가 혼합하고자 하는 이미지 소스들을 캔버스에 넣기만 하면 AI 모델이 각기 다른 이미지를 자연스럽게 하나로 결합하여 완성된 이미지를 제공하는 Mixboard 서비스도 제공하고 있습니다. Adobe도 Photoshop에서 캔버스에 원하는 이미지와 위치를 표시하는 화살표, 요구사항을 담은 간단한 텍스트를 입력하면 AI가 이를 인식하고 알아서 하나의 자연스러운 이미지로 생성해 주는 기능을 제공하고 있습니다. 어떻게 보면 복잡한 생각과 과정 필요 없이 명확한 목표로만 생성이 가능한 경우에는 사용자 편의성을 최대화 할 수 있는 인터페이스라고 볼 수 있을 것 같습니다. 복잡하게 제어하기보다는 고성능 AI에게 전권을 주고 결과를 만들 수 있도록 하는 방법인데요. 이미지를 생성하는 영역에서는 하나의 옵션 처럼 사용되지 않을까요? 사용자를 위한 새로운 방식의 인터페이스에 대한 고민과 AI의 성능 향상으로 오랜 시간 유지되던 규칙과도 같던 인터페이스의 틀을 깨고 개발자와 연구진들이 제한 없이 자유롭게 문제를 풀어나가고 있는 것 같아 새로운 디자인 제안들이 지속적으로 등장할 것 같습니다.
(Google Mixboard 이미지)
4. 이동하고 함께하는 AI
AI의 사용성 향상을 목표로 하는 연구와 함께 PC와 스마트폰으로 제한되어 있던 AI의 활동 영역을 확장하기 위한 기술 개발과 연구도 진행되고 있습니다. AI가 탑재된 스마트 안경을 비롯해서 스마트폰 보다 작으면서 필수적인 기능으로만 구성된 소형 제품까지, 새로운 시도들이 등장하고 있습니다. 그중 가장 많은 대중화가 예상되는 스마트 글라스는 사용자의 생활과 밀접하게 AI가 작동할 수 있는 방법으로 자연스럽게 주변 상황을 파악하고 사용자의 의도를 이해해서 적절한 시기에 맞춰 답변과 제안이 가능하다는 것이 특징입니다. 우리의 삶과 하나가 되어버린 스마트폰에도 AI가 탑재되어 있기는 하지만 온전하게 AI를 위한 기기가 아니었기에 사용성의 제한과 한계를 가지고 있습니다. AI 기술의 활용성을 높이기 위해서는 AI의 기술적 특성을 고려한 특화된 장치에 대한 개발이 필요한데, 올해 개최되었던 MWC(Mobile World Congress) 전시를 살펴보면 글로벌 기업들도 이를 인식하고 있는 것 같습니다. MWC와 관련된 자세한 내용은 에이뉴트의 테크블로그에 올라와 있어 살펴보시면 좋을 것 같습니다.
GPT로 큰 관심을 받았던 Open AI도 애플의 디자인을 주도했던 디자이너 조너선 아이브와 협력하여 AI를 활용할 수 있는 다음 세대의 스마트폰 개발에 착수한 상태이며, Meta도 AI 글라스를 중심으로 향상된 기능의 제품을 개발하기 위한 작업에 매진하고 있는 것으로 보여집니다. 첫 등장과 함께 많은 관심을 받았지만 시장에서는 크게 성공하지 못했던 Rabbit의 R1은 소형 AI 장치로 회전식 카메라를 기반으로 주변 환경과 객체 인식이 가능하고 사용자의 음성 인식을 통한 녹음과 내용 정리가 가능한 제품으로 스마트폰이 아닌 새로운 개념의 장치를 시도했다는 점에서 나쁘지 않은 반응을 얻었는데요. 최근에는 유명세를 타고 있는 OpenClaw를 탑재해서 기존의 제한적인 활용성을 높이기 위한 시도를 하고 있는 것으로 보여집니다. 2007년 애플이 아이폰을 공개하고 스마트폰 생태계와 시장을 주도했던 것처럼 아직 등장하지 않은 AI를 중심으로 만들어질 새로운 개념의 장치를 목표로 기업들의 경쟁이 치열해질 것으로 예상됩니다. 그와 함께 새로운 제품에서 작동할 AI 인터페이스에 대한 흥미로운 제안도 증가할 것 같습니다.
(Rabbit R1과 OpenClaw가 탑재된 R1의 모습)
5. 사용자와 AI의 소통을 위한 인터페이스
2020년 Google에서 공개한 People+AI Guidebook 16은 AI를 활용한 제품을 설계할 때 기술 중심이 아닌 인간을 중심(Human-Centered)으로 하는 접근 방식을 제안했습니다. AI 시스템에 대한 사용자의 신뢰를 구축하고 유용성을 높일 수 있는 기준을 정의해서 제시하였으나 당시 AI 기술이 지금처럼 보편화되지 않았고, 활발하게 사용되지 않던 시기에 정의된 내용이라 AI에 대한 접근이 제한적이었던 것으로 보여집니다.
AI가 기술 시장의 가장 큰 관심사가 된 지금, 언제나 요구사항의 중심에 자리하고 있던 사용자와 함께 AI를 또 다른 축으로 바라보는 시선을 고려해야할 때가 아닌가 싶습니다. 아직은 먼 미래지만 향후 사용자의 사고 수준과 유사할 정도로 성장할 것으로 예상되는 AI의 등장에 대비한 필요 있는 고민이지 않을까요? AI에게 우리의 요구를 더 정확하게 전달할 수 있는 인터페이스 그리고 새로운 장치를 통해 우리와 함께 이동하면서 필요한 일들을 해주는 ‘AI와 함께하는 삶’을 위한 사용성에 대한 고민이 필요한 때입니다. 에이뉴트에서 이야기하고 있는 n.Gen UX/UI는 그런 지향점과 목표를 가지고 지속적으로 공을 들이면서 고민을 하고 있는 주제이며, 앞으로도 이와 관련된 새로운 소식을 전달하도록 하겠습니다.
