(영상) 생각 없는 AI가 진짜 위험한 이유 - 오베타 샘슨. 서비스디자인쇼 259

오베타 샘슨은 AI의 진짜 위험이 자의식을 가진 초지능보다 인간의 본성·행동·맥락을 고려하지 않고 AI를 무분별하게 적용하는 데 있으며, AI는 진실을 이해하거나 정답을 추구하지 않고 보상을 얻도록 학습된 계산 시스템이라고 지적한다.
서비스디자이너는 완성된 AI의 화면만 다듬는 데 그치지 않고 맥락 창, 지식 기반, 의사결정 기준, 신뢰도 표시, 오류 대응과 피드백 경로를 디자인해 모델의 행동 자체를 형성해야 한다. AI가 적용된 서비스는 기술과 인간의 환경·관행이 결합된 사회기술적 시스템이므로, AI의 필요성과 적합성을 먼저 판단하고 모델이 반드시 틀릴 수 있다는 전제에서 인간이 통제하고 수정할 수 있는 구조를 마련해야 한다.

생각 없는 AI가 진짜 위험한 이유
Why Mindless AI Is the Real Danger

• 출연: 오베타 샘슨(Ovetta Sampson)
• 진행: 마르크 폰테인(Marc Fonteijn)
• 프로그램: Service Design Show, 제259회
• 공개일: 2026년 7월 30일
• 영상: https://www.youtube.com/watch?v=W1gX0-O9lco

 

영상 소개

쉴 새 없이 이어지는 AI 마케팅 과장에 지쳤지만 AI를 무시할 수도 없다고 느끼십니까?
AI를 모든 곳에 무턱대고 적용하는 일을 멈추고, 원하는 대로 빚을 수 있는 ‘디자인 재료’로 다루어 영향력 있고 사용자 중심적인 서비스를 만드는 방법을 알아봅니다.

이제는 거대 기술기업이 인공지능으로 무엇을 할 수 있고 무엇을 할 수 없는지에 관해 들려주는 이야기를 그대로 믿지 말아야 합니다.
모든 프로젝트에 아무 생각 없이 AI를 붙이면 나쁜 사용자경험을 만드는 데 그치지 않고 실제 피해까지 일으킬 수 있습니다.

서비스디자인 업계에 더 나은 본보기를 제시하기 위해 진행자 마르크가 오베타 샘슨과 이야기를 나눕니다.
오베타는 구글에서 머신러닝 UX 디렉터를 지냈고 마이크로소프트와 캐피털원에서 AI 디자인을 이끌었습니다.
그는 이론만 이야기하는 사람이 아닙니다.
현재 Right AI를 운영하며 조직이 AI를 안전하고 책임감 있으며 효과적으로 도입하도록 돕고 있습니다.
이번 대화에서는 AI가 지닌 고유한 속성을 이해하고, 한계를 다루며, 필요한 형태로 빚어내는 방법을 구체적으로 설명합니다.

이번 에피소드에서 다루는 내용은 다음과 같습니다.

• 디자인 재료의 관점: AI를 두려워하는 대신 점토처럼 빚어 원하는 결과를 얻는 방법
• 기계 조향하기: 범용 대규모 언어모델이 구체적이고 품질 높은 결과를 안정적으로 내도록 이끄는 실용적 기법
• 맥락의 위기: 사용자가 살아가는 현실의 맥락을 이해하는 일이 앞으로 더 중요해지는 이유
• ‘틀림’이 위험해지는 때: AI가 계속 실수할 수밖에 없는 이유와 그 오류가 피해로 바뀌는 정확한 지점을 찾는 방법
• 모델 깨뜨리기: AI 도구를 일부러 시험하고 망가뜨려 보면서 현실에 기반한 숙련도를 쌓아야 하는 이유

이 에피소드가 유익했다면 YouTube, Spotify 또는 Apple Podcasts에서 구독 버튼을 눌러 다음 대화를 놓치지 마세요.
이 내용을 들어야 할 동료 서비스디자이너와 공유해 주세요.

늘 그렇듯 즐겁게 들어주시고, 긍정적인 변화를 계속 만들어 주세요.

마르크

전체 내용 요약

오베타 샘슨은 AI의 진짜 위험이 자의식을 갖춘 초지능보다 인간의 본성·행동·열망을 고려하지 않고 적용되는 ‘생각 없는 AI’에 있다고 주장합니다.
AI는 진실을 이해하거나 정답을 추구하는 존재가 아니라 보상을 얻도록 학습된 계산 시스템이므로, 아첨과 환각, 자동화 편향 같은 한계를 전제로 디자인해야 합니다.
서비스디자이너는 완성된 AI의 화면만 다듬을 것이 아니라 맥락 창, 지식 기반, 신뢰도 단계, 의사결정 기준, 오류 대응과 피드백 경로를 디자인해 모델의 행동 자체를 형성해야 합니다.
AI가 들어간 서비스는 기술만의 문제가 아니라 사람이 살아가는 환경과 관행이 결합된 사회기술적 문제이므로, 엔지니어뿐 아니라 사용자의 현실적 맥락을 이해하는 연구자와 디자이너가 초기 단계부터 참여해야 합니다.
그는 AI를 사용할 필요성과 적합성을 먼저 판단하고, 틀릴 가능성을 인정하며, 인간이 모델을 통제하고 수리할 수 있는 구조를 만드는 것이 ‘마인드풀 AI’의 핵심이라고 설명합니다.

이 대화의 의미

이 대화는 서비스디자이너의 역할을 AI 결과물의 사용성을 개선하는 수준에서 모델의 행동과 의사결정 경로를 디자인하는 수준으로 확장합니다.
특히 AI가 틀리지 않게 만들 수 있다는 가정보다 ‘반드시 틀릴 수 있다’는 전제 아래 신뢰도 표시, 검증, 이의 제기, 수정, 책임 있는 에스컬레이션을 서비스 흐름에 포함해야 한다는 주장이 실무적으로 중요합니다.
공공서비스와 정책 영역에서는 편향된 행정·수사·복지 데이터를 AI가 확장 재생산할 수 있으므로, AI 적용 여부부터 판단하고 실제 제도·조직·사용환경의 맥락을 모델 행동에 반영해야 한다는 시사점을 줍니다.

참여자 소개

오베타 샘슨(Ovetta Sampson)은 AI·머신러닝 시스템의 사용자경험과 책임 있는 AI 디자인을 다루는 디자이너이자 교육자입니다.
구글에서 머신러닝 UX 디렉터를 지냈고 마이크로소프트와 캐피털원에서 AI 디자인 리더십 역할을 맡았습니다.
현재 Right AI를 통해 조직의 안전하고 책임감 있는 AI 도입과 모델 행동 디자인을 지원합니다.

마르크 폰테인(Marc Fonteijn)은 Service Design Show의 진행자입니다.
서비스디자인 실무자와 선구자들을 인터뷰하며 사람·비즈니스·지구에 실질적으로 작동하는 서비스를 만드는 방법을 다룹니다.

전문 번역

AI 환각

오베타 샘슨:
안녕하세요. 오베타 샘슨입니다. 여러분은 지금 Service Design Show를 듣고 있습니다.

마르크 폰테인:
제259회입니다.
최근 저는 우리가 앞다투어 사용하는 AI 모델이 대부분 우리를 만족시키려고 필사적으로 애쓰는 존재와 같다는 생각을 많이 했습니다.
AI 기업들이 믿게 만들고 싶어 하는 것처럼 우리는 이 시스템을 대단히 영리하거나 심지어 지능적인 존재로 취급합니다.
그러나 이 모델은 자신이 옳은지에 실제로 관심이 없습니다.
모델의 유일한 목표는 빈칸을 채워 수학적 보상을 얻는 것입니다.
그러기 위해 완전히 환각해야 하더라도 말입니다.

안녕하세요. 마르크 폰테인입니다.
여기는 Service Design Show입니다.
이 프로그램의 목표는 사람과 기업, 지구를 위해 실제로 작동하는 서비스를 디자인하려면 무엇이 필요한지 함께 알아보는 것입니다.

오늘의 손님은 오베타 샘슨입니다.
그는 아이언맨 철인 3종 경기와 바다 수영을 훈련하려고 새벽 4시 30분에 일어나던 사람입니다.
오베타가 엄청난 자기 규율을 지녔다는 사실은 놀랍지 않으며, 그는 그 에너지를 현재의 AI 과열 국면을 다루는 일에 쏟고 있습니다.
여러분이 곧 듣게 되겠지만 오베타는 인간이 계속 운전석에 있어야 한다는 생각에 온 힘을 기울입니다.

오늘 대화에서는 AI를 사람처럼 취급하는 것이 왜 거대한 함정인지, 엔지니어에게 AI 도입을 전적으로 맡길 때 인간이 실제로 행동하는 복잡한 현실의 맥락이 왜 흔히 무시되는지를 집중적으로 다룹니다.
제게 특히 강하게 남은 부분은 오베타가 ‘자동적 복종(automatic deference)’이라는 현상을 설명하기 위해 자율주행차 사망 사고를 언급한 대목입니다.
자동적 복종은 기계가 자율적이라고 듣는 순간 자신의 판단을 기계에 맹목적으로 넘겨버리는 무서운 인간의 반응입니다.
이 사례는 제 관점을 확실히 바꾸었습니다.

서비스디자인 전문가인 우리는 마찰을 없애는 데 많은 시간을 씁니다.
그러나 오베타는 지금은 사람이 운전석에서 잠들지 않도록 오히려 마찰을 다시 디자인해야 한다고 주장합니다.
이제 대화를 시작하겠습니다.
마지막에 몇 가지 생각을 더 전하겠습니다.

오베타, 방송에 오신 것을 환영합니다.

오베타 샘슨:
안녕하세요, 마르크. 잘 지내세요?

마르크 폰테인:
잘 지냅니다.
우리는 2025년 바르셀로나의 Beyond the Map 콘퍼런스에서 만났습니다.
그때 제가 책을 쓰라고 계속 졸랐던 사람이었지요.
아직 책은 쓰지 않았지만 마침내 Service Design Show 팟캐스트에 나오셨습니다.
중요한 주제들을 함께 살펴보게 되어 매우 기쁩니다.
바로 시작해 보겠습니다.

메모를 준비하면서 보니 제 일을 아주 쉽게 만들어 주셨더군요.
오늘 대화는 산책하듯 편하게 진행할 수 있을 것 같습니다.
오베타가 ‘마인드풀 AI(mindful AI)’를 지지한다고 말씀하신 데서 시작하고 싶습니다.

생각 없는 AI

그런데 먼저 ‘생각 없는 AI(mindless AI)’부터 시작해 보지요.
생각 없는 AI란 무엇입니까?

오베타 샘슨:
생각 없는 AI는 인간의 본성, 행동, 열망을 이해하지 않은 채 디자인된 AI라고 생각합니다.

마르크 폰테인:
예를 들어 주시겠습니까?

오베타 샘슨:
그렇습니다.
예를 들어 AI가 아첨하도록 디자인하는 경우입니다.
아첨은 의인화라는 우리의 인지 편향을 더 쉽게 파고듭니다.
그 결과 무생물에 애착을 느끼고 인간의 가치와 속성을 부여하기 쉬워집니다.
또한 우리가 몸으로 살아가는 현실 세계로부터 분리되기도 쉬워집니다.
그러면 현실에 근거해 상황을 분별하고 결정하기가 훨씬 어려워집니다.

마르크 폰테인:
그러면 우리가 챗봇 찰리와 대화할 때, 실제로는 그렇지 않은 존재를 무엇인가인 것처럼 가장한다고 생각하면서 속는다는 뜻입니까?

오베타 샘슨:
그렇다고 생각합니다.
제가 마인드풀 AI를 이야기할 때 말하는 바는 인간이 무생물을 의인화한다는 사실을 이해하는 것입니다.
이것은 인간이 진화 과정에서 갖게 된 특성입니다.

이런 인간 행동을 이해하면서 AI 투명성이라는 충분히 연구되고 널리 알려진 원칙을 지키려 한다면, 사람에게 자신이 실제로 기계와 상호작용하고 있음을 상기시키는 비인간적 마찰 지점을 디자인해야 합니다.
기계가 아첨이나 칭찬, 힙합식 표현 등 인간의 속성을 띠도록 디자인해서는 안 됩니다.
그런 표현 체계는 기계와 대화하는지 사람과 대화하는지 구별하기 위해 사람이 인지적 부담을 지게 만듭니다.
사람은 자신이 기계와 상호작용하고 있다는 사실을 쉽게 알 수 있어야 합니다.
시스템을 디자인하는 쪽이 그 둘을 구분하는 부담을 사람에게 넘겨서는 안 됩니다.

마르크 폰테인:
순진한 질문 하나를 하겠습니다.
왜 그것이 중요합니까?
무엇이 문제입니까?

오베타 샘슨:
지금도 중요한 문제입니다.
저는 매일 또는 매주 AI 사고 분야에서 이메일을 받습니다.
사람이 기계와 AI 시스템을 사용하다가 피해를 본 검증된 사건을 데이터베이스에 정리해 보내는 목록입니다.

인간이 기계를 의인화하는 인지 편향이 중요한 이유는 자신의 판단 대신 기계에 자동으로 복종하는 또 다른 편향이 함께 나타나는 경향이 있기 때문입니다.
이것은 상당한 피해를 일으킬 수 있습니다.

우버 자율주행차 사망 사고

자율주행차가 처음으로 사람을 숨지게 한 사고가 한 예입니다.
당시 저는 중국에서 자율주행차를 조사하고 있었기 때문에 이 사건을 생생하게 기억합니다.
우버가 운행하던 자율주행차가 애리조나에서 보행자를 들이받았다는 알림이 들어왔습니다.
한 여성이 4차선 도로를 가로질러 자전거를 끌고 가고 있었습니다.

차 안에는 차량의 행동을 감시하는 일을 맡은 사람이 타고 있었습니다.
그 여성은 오랫동안 그 차에 타고 있었고, 그동안 차량은 실수하지 않았습니다.
그래서 결국 감시를 중단하다시피 했습니다.
그가 휴대전화를 스크롤하는 장면 등이 영상에 남아 있습니다.

인간 감시자와 자율주행차의 상호작용 디자인에는 의인화와 자동화 편향으로 인한 인간의 사용 위험을 보여주는 몇 가지 요소가 있었습니다.
그중 하나는 차량에 ‘자율주행’이라는 이름을 붙인 것 자체입니다.
사실 그것은 자율주행차가 아닙니다.
사고를 피하려면 인간의 개입이 필요하기 때문입니다.

차량은 혼란에 빠졌습니다.
거리는 속도와 시간의 곱이라는 물리법칙을 알고 있었고, 사람이 걷는 속도와 자전거를 타는 사람의 속도도 알고 있었습니다.
하지만 자전거를 끌고 가는 사람의 속도를 이해하지 못했고 그런 데이터로 훈련된 적도 없었습니다.
그래서 그 순간 계속 주행하기로 결정했고 사람을 그대로 들이받았습니다.
그 여성은 결국 사망했습니다.

자동화를 다룰 때 우리의 인지 편향을 의식하지 못하고 이를 고려해 디자인하지 않는 위험은 말 그대로 죽음에 이를 수 있습니다.
또한 현실 세계와 맺는 우리의 관계를 방해하고 무너뜨립니다.

요즘 흔히 ‘AI 정신증(AI psychosis)’이라고 부르는 현상도 있습니다.
대중적으로 그렇게 부르지만, 실제로는 사람들이 기계와 함께 끝없는 토끼굴로 빠져들고 “당신은 세계 최고의 수학자”라는 식의 아첨에 굴복하는 현상을 말합니다.
수백 명이 모이는 평평한 지구 콘퍼런스 같은 것이 그렇게 생깁니다.
알고리즘이 지구가 평평하다고 보여주므로 사람들이 그것을 믿게 되는 것입니다.

이제 사람들은 서로 다른 서사를 접하는 정도를 넘어 왜곡된 현실을 갖게 됩니다.
기계를 사람처럼 대하기 때문에 세상을 매우 왜곡된 방식으로 바라보게 됩니다.

AI와 감정

마르크 폰테인:
우리는 기계를 사람처럼 대하고 있습니다.
또는 디자인 과정에서 마찰을 줄이고, 매끄럽고 즐거운 경험을 만들려는 디자인 원칙을 세웁니다.
그러다 보면 최종 사용자가 기계를 단순한 도구나 물체로 느끼기보다 기계와 상호작용하면서 무언가를 느끼게 하는 편이 낫다는 디자인 원칙과 선택을 할 수 있습니다.

오베타 샘슨:
사람이 기계를 사용할 때 왜 감정을 느껴야 하는지 묻고 싶습니다.

마르크 폰테인:
더 나은 경험으로 이어질 수 있기 때문일지도 모릅니다.
더 쾌적하고 즐거운 경험, 이해받는다는 느낌, 인간적인 느낌을 줄 수 있으니까요.

오베타 샘슨:
감정을 느낄 수 있는 경험을 원한다는 점은 이해합니다.
하지만 저는 기계와 그러한 감정을 갖는 것과 다른 경우를 구분하려는 것입니다.

우리는 노트북과 상호작용하면서도 같은 경험을 기대합니까?
노트북에 “안녕, 노트북. 우리 이런 경험을 해보자”라고 말합니까?
물론 어떤 사람은 그럴 수도 있겠지만 제 요점은 이것입니다.
우리가 사용하는 다른 기계에도 같은 기대를 합니까?

컴퓨터도 기계이고 자동문도 기계입니다.
우리는 인간의 경험과 느끼고 싶은 감정, 사물 사이에 경계선을 두고 있습니다.
AI 시스템은 말할 수 있기 때문에 그 경계가 흐려집니다.
정확히는 의사소통할 수 있기 때문입니다.

우리는 AI의 능력, 즉 보고 말하고 듣는 것처럼 보이는 능력을 인간의 능력과 연결합니다.
그것이 우리가 들어온 이야기이기 때문입니다.
그러나 실제로 AI 시스템은 보거나 생각하거나 듣거나 말하지 않습니다.
텍스트와 이미지, 언어를 이진 벡터와 수학적 모델로 처리할 뿐입니다.

이를 혼동하면 “이 시스템이 감정을 느끼게 해야 한다”는 식으로 말하게 됩니다.
제 일은 AI의 능력이 아니라 한계에 맞추어 시스템을 디자인하도록 매우 의식적이고 신중하게 접근하는 것입니다.
그 한계에서 인간에 대한 위험이 생기기 때문입니다.

마르크 폰테인:
‘그 시스템을 디자인한다’고 할 때 구체적으로 어떤 시스템을 말하며, 무엇을 디자인할 수 있습니까?

AI 시스템

오베타 샘슨:
우선 모든 모델과 모든 AI 시스템은 디자인된 것입니다.
우리가 얻는 결과를 만들기 위해 의도적인 선택이 이루어집니다.
AI 시스템은 그저 수학과 이진법, 0과 1의 문제일 뿐이라고 말하는 사람이 있다면 터무니없는 소리입니다.
사실이 아닙니다.

사람들은 어떤 모델을 시스템에 넣을지, 그 시스템들을 어떻게 연결할지, 어떤 아키텍처를 쓸지, 무엇으로 훈련할지를 결정합니다.
자동화된 기계가 어떤 일을 하기까지 일련의 인간적 결정이 개입합니다.

마르크 폰테인:
AI 시스템이라는 말을 다시 명확히 해보지요.
정확히 무엇을 뜻합니까?

오베타 샘슨:
데이터를 받아 의사결정을 하도록 수학적으로 프로그래밍된 모든 것을 의미합니다.
머신러닝 모델일 수도 있습니다.
저는 발표할 때마다 지겨울 만큼 반복해서 정의하지만, 머신러닝은 과거 데이터를 이용해 미래를 예측하는 것입니다.
그것이 전부입니다.

인공지능은 맥락 데이터를 사용해 의사결정을 하고 목표를 달성하는 것입니다.
에이전틱 시스템 또는 에이전트는 과업과 목표를 부여받고 인간의 개입 없이 반자율적으로 의사결정을 하는 AI 시스템입니다.
딥 네트워크에 관해서도 한참 설명할 수 있지만, 지금 이야기하는 내용을 비전문가도 이해할 수 있게 표현하면 이 정도입니다.

제가 AI 시스템이라고 할 때는 이런 것들이 여러 개 결합되어 다양한 디자인 결과물을 실행하는 체계를 뜻합니다.
오늘날 우리가 다루는 생성형 AI 등은 모델과 시스템, 에이전트의 조합이며, 저는 그 전체를 AI 시스템이라고 부릅니다.
여러 일을 하도록 디자인된 여러 에이전트가 결합되어 하나의 제품에서 실행될 수도 있고, 날씨나 수요를 예측하는 단일 머신러닝 모델일 수도 있습니다.
둘 다 AI 시스템입니다.

마르크 폰테인:
명확히 설명해 주셔서 감사합니다.
이제 디자인으로 돌아가 보겠습니다.
모델을 훈련하는 기초 단계에도 디자인 요소가 있습니다.
우리 대부분은 그 단계에 참여하지 않겠지만, 사실 참여해야 할지도 모릅니다.

또 많은 청취자가 서비스를 제공하는 조직에서 일하고 있을 것입니다.
그곳에서는 고위 경영진이 “우리 서비스에 AI를 어떻게 활용할 수 있는가”라고 묻습니다.
여기에도 디자인 요소와 디자인의 역할이 있습니다.

동사로서의 디자인

오베타 샘슨:
저는 디자인을 다르게 정의합니다.
많은 사람은 제가 소문자 d의 디자인이라고 부르는 것, 즉 명사로서의 디자인을 생각합니다.
많은 사람에게 디자인이라고 하면 외관과 느낌, 또는 경험의 최종 결과를 뜻합니다.
경험이 어떻게 느껴지고, 어떻게 보이며, 사람이 어떻게 그 안을 이동하는지를 생각합니다.

저는 경력 대부분을 인프라 디자인과 머신러닝 결과를 만드는 플랫폼 디자인에 썼습니다.
그래서 제가 디자인이라고 말할 때는 동사로서의 디자인을 뜻합니다.
결과에 영향을 주기 위해 의도적인 선택을 하는 디자인입니다.

이미 만들어진 모델을 받아 그 위에 경험을 꾸미는 것이 아닙니다.
필요한 경험을 얻도록 모델의 행동을 다시 빚는 것입니다.
제가 머신러닝 인프라 분야에서 일을 시작했을 때 그렇게 하려면 파이썬을 알아야 했습니다.
하지만 지금은 파이썬을 몰라도 됩니다.
맥락 창(context window)에서 모델의 행동을 형성할 수 있고, 많은 디자이너가 평가 작업에서 이미 그렇게 하고 있습니다.

마르크 폰테인:
잠깐만요.
동사로서의 디자인은 우리가 지난 10년 동안 이 프로그램에서 주장해 온 것이므로 제대로 된 청중을 만나셨습니다.
당신의 사람들이 여기 있습니다.

그리고 모델의 행동을 형성할 수 있다고 말씀하셨습니다.

오베타 샘슨:
그렇습니다. 할 수 있습니다.
2022년 가을에 뚜렷한 경계선이 생겼습니다.
그전에도 머신러닝과 심층신경망, AI가 있었고 사람들이 말하는 AI는 거의 그것뿐이었습니다.
이 모델들은 구글 검색엔진, 메타와 페이스북의 알고리즘, 광고 피드, 스포티파이와 넷플릭스의 추천 등을 구동했습니다.
그 모델을 만들고 실행할 줄 아는 사람은 극소수였습니다.

그러다 2022년 10월 ChatGPT가 나왔습니다.
모델을 훈련하고 평가하는 일은 수학과 통계 중심의 정량적 작업에서 정성적 작업으로 이동했습니다.

모델 행동

예전에는 유명한 드라마 「실리콘밸리」에 나온 표현처럼 ‘핫도그인가, 아닌가’를 판별했습니다.
이제는 “이 핫도그가 맛있어 보이는가”, “이 시가 좋은가”, “이 음악이 제대로 들리는가”처럼 모델의 품질을 매우 정성적으로 평가합니다.

생성형 AI와 대규모 언어모델 이전에는 모델의 행동이 좋은지 판단하는 것이 통계적 과업이었습니다.
그래서 많은 디자이너가 관여하지 않았습니다.
할 수 없었다는 뜻은 아니지만 데이터 과학자처럼 거짓양성 등을 수학과 통계로 판단하는 사람의 영역이었습니다.

생성형 AI가 나온 뒤 모델의 품질 평가는 훨씬 주관적으로 바뀌었습니다.
“이 출력물이 셰익스피어답습니까?”라고 판단해야 합니다.
그래서 페이스북은 2018년과 2019년 무렵 모델의 결과를 평가할 박사급 전문가를 대거 채용하기 시작했습니다.
무엇이 셰익스피어다운지 모델을 훈련하려면 인간 전문가가 “이것은 셰익스피어답다”고 말해주어야 했기 때문입니다.
다시 말하지만 AI 시스템은 말하거나 보거나 생각하지 않습니다.
결과를 평가할 인간이 필요합니다.
이를 인간 피드백을 통한 강화학습이라고 합니다.

이제 인간은 딥마인드, 오픈AI, 앤트로픽 등의 공장에서 만든 사전 훈련 모델을 가져옵니다.
GPT의 ‘P’가 사전 훈련(pre-trained)을 뜻합니다.
그런 뒤 무엇이 좋은 결과인지에 관한 인간의 이해에 따라 결과를 평가합니다.
이것이 모델의 행동을 형성하는 일입니다.

여러분도 할 수 있습니다.
박사일 필요가 없으며 앤트로픽이나 오픈AI일 필요도 없습니다.

마르크 폰테인:
그러면 우리는 어떻게 모델을 형성합니까?

오베타 샘슨:
디자이너가 Claude나 ChatGPT를 사용하는 기업에서 일한다면 그 모델의 행동을 형성해야 합니다.
ChatGPT와 앤트로픽은 여러분의 비즈니스를 전혀 모르기 때문입니다.
따라서 무엇이 중요하고 무엇이 좋은 결과인지 이 사전 훈련된 공장 출고형 모델에 가르쳐야 합니다.
그 일은 맥락 창에서 이루어집니다.
사람들이 토큰과 프롬프팅을 이야기하는 이유가 여기에 있습니다.

프롬프트를 입력하는 것은 모델의 행동과 결과를 형성하는 일입니다.
AI 시대에 동사로서 디자인하려면 디자이너는 ‘왼쪽으로 이동(shift left)’해야 합니다.
엔지니어가 모델을 모두 다듬을 때까지 기다릴 수 없습니다.
맥락 창으로 들어가 모델의 행동을 형성해야 합니다.
디자이너는 누구보다 인간을 잘 이해하므로, 사람이 이 모델과 만날 때 무엇을 경험할지 반영해야 합니다.

AI의 아첨

대표적인 예가 아첨(sycophancy)입니다.

마르크 폰테인:
그 단어는 제가 평소에 쓰는 말이 아닙니다.
뜻을 풀어주시겠습니까?

오베타 샘슨:
아첨꾼(sycophant)을 생각해 보세요.
HBO의 정치 코미디 「부통령이 필요해(Veep)」를 본 적이 있다면 이해하기 쉽습니다.
줄리아 루이드라이퍼스가 부통령으로 나오는데, 그의 오른팔인 비서실장은 아첨꾼입니다.
부통령이 하는 일에서 잘못을 전혀 보지 못합니다.
그가 끔찍한 일을 해도 언제나 동의하고 맞장구칩니다.

무슨 말을 해도 “당신은 훌륭합니다”라고 하는 것이 아첨입니다.
이런 모델을 써봤다면 아실 것입니다.
“정말 뛰어난 생각이에요, 마르크. 정말 똑똑하시네요. 제가 왜 그 생각을 못 했을까요?” 같은 말을 계속합니다.
그것이 아첨입니다.

아첨은 창발적 행동입니다.
앤트로픽, 오픈AI, Gemini 등 어떤 사전 훈련 모델이든 처음부터 아첨하도록 훈련한 것은 아닙니다.
이 모델들은 긍정적인 결과를 반환할 때 보상받도록 만들어졌습니다.
그런데 생성형 AI는 사람이 모델을 평가해야 하므로, 패턴을 잘 찾는 시스템은 인간에게 동의할 때 평가가 더 높다는 사실을 알아냈습니다.
사전 훈련 모델은 인간에게 동의하면 보상을 받는다는 것을 파악했습니다.
아첨은 여기에서 생겼습니다.
프로그래밍된 행동이 아니라 창발한 행동입니다.

환각도 마찬가지입니다.
모델이 정확하지 않으면서도 빈칸을 채우는 이유가 있습니다.
첫째, 모델은 사람이 무엇을 묻는지 이해하지 못하며 그것을 계산해야 합니다.
둘째, 강화학습을 통해 빈칸을 채우도록 훈련되었지 옳은 답을 내도록 훈련된 것이 아닙니다.

여기에 차이가 있습니다.
정확하거나 옳은 것과 빈칸을 채우는 것의 미묘한 차이를 사용자가 감당하게 만드는 것은 제가 말하는 ‘생각 없는’ 접근입니다.

마르크 폰테인:
이 부분은 반복해서 강조할 필요가 있습니다.
모델은 옳은 답을 내려고 하지 않습니다.

오베타 샘슨:
그렇습니다.
설령 그러려고 해도 무엇이 옳은지 모르기 때문에 방법을 알 수 없습니다.
모델은 무엇이 옳고 무엇이 참인지 알지 못합니다.

바르셀로나에서도 말씀드렸듯 정확성은 모델이 잘하는 영역이 아닙니다.
모델이 잘하는 것은 보상을 받는 일입니다.
과업을 완수해 보상을 얻는 것이 훈련의 목적입니다.
반면 정확성은 상대적이며, 결과가 옳은지 판단하려면 인간과의 상호작용이 필요합니다.
모델 자체는 그 일에 관심이 없습니다.

이는 제가 디자이너들에게 말하는 가장 큰 관점 전환 가운데 하나입니다.
우리는 정확성과 신뢰 같은 것을 중요하게 생각합니다.
이 새로운 디자인 파트너와 함께 일하려면 파트너가 어떻게 결정하는지 이해해야 합니다.
모델이 환각을 선택하는 이유 가운데 하나는 정확해지려는 것이 아니라 빈칸을 채워 보상을 받고 싶기 때문입니다.

이를 다시 디자인할 수 있습니다.
환각하지 않도록 시스템을 디자인하는 한 가지 방법이 세 단계 신뢰도입니다.

신뢰도 단계

시스템에 세 단계의 신뢰도를 부여합니다.
첫 단계는 “정답이라는 것을 안다”입니다.
모델이라서 아는 것이 아니라 특정 문서로 가서 답을 검색할 수 있기 때문에 압니다.

마르크 폰테인:
여기에 하나 덧붙여도 될까요?
요즘 모델은 코드를 작성할 수도 있습니다.
파이썬으로 곱셈 등을 수행하면, 그 코드가 낸 결과가 정확하다고 이른바 보장할 수 있습니다.

오베타 샘슨:
요점은 모델이 답이 옳다는 것을 아는 것이 아니라 옳은 답을 검색해 올 수 있다는 것을 안다는 점입니다.
차이가 보이시지요?
“이 경로를 통해 답을 검색할 수 있으므로 신뢰도는 100%이다”라고 하는 것입니다.

두 번째 단계는 “나는 이것으로 훈련되지 않았지만, 답을 얻을 경로가 주어졌다”입니다.
위키백과나 파일 등으로 가서 답을 가져올 수 있다는 뜻입니다.

세 번째 단계는 “이것을 본 적이 없다”입니다.
이런 입력을 처음 보았고 정보를 가져올 경로도 없으므로 좋은 답을 반환할 자신이 없다고 판단합니다.

그러면 그 상황을 처리할 상호작용과 경로를 디자인합니다.
기계가 할 말을 정해주는 것이 아닙니다.
기계가 결정할 수 있는 토대를 제공하는 것입니다.
이것이 제가 말하는 동사로서의 디자인입니다.
결과만 디자인하는 대신 결과가 만들어지는 방식을 형성합니다.
자동화 시대에는 이렇게 전환해야 합니다.

마르크 폰테인:
무엇에서 무엇으로 전환하는 것입니까?

오베타 샘슨:
사용자와 장치 사이에서 결정론적인 결과를 디자인하던 방식에서 전환하는 것입니다.
웹사이트에서 HTML로 #000000을 지정하면 색상은 검정이 됩니다.
오늘도 검정이고 일요일에도 두 번 검정입니다.
하지만 머신러닝은 그렇다고 확신할 수 없습니다.
맥락 창에 같은 입력을 넣어도 다른 결과가 나올 수 있습니다.

그 비결정적인 결과를 형성하려면 모델이 결정할 수 있는 명확하고 구체적인 기본 경로를 주어야 합니다.
이를 위해서는 엔지니어와 더불어 인간의 인지와 능력을 이해하는 연구자와 디자이너가 필요합니다.

마르크 폰테인:
이것이 우리가 모델을 의인화하는 이유를 어느 정도 설명하지 않습니까?
범용 트랜스포머 모델이 행동하는 방식이 인간과 매우 비슷하게 보이고 느껴집니다.
아무것도 모르는 인턴을 채용해 같은 지시와 비슷한 기대를 부여하는 것과 대규모 언어모델을 사용하는 것 사이에 많은 유사점이 보입니다.

오베타 샘슨:
물론입니다.
그렇게 디자인되었기 때문입니다.
사람이 쉽게 사용할 수 있게 하기 위한 것입니다.
대규모 언어모델이 상호작용하기 쉬운 화면 대신 팔이 달린 문어의 모습으로 나타났다면 사람들이 받아들이기 매우 어려웠을 것입니다.

소통하기 쉽게 디자인했다는 사실 자체는 문제가 아닙니다.
제가 문제 삼는 것은 모델의 한계를 알면서도 접근 편의성에 지나치게 치중하는 것입니다.
정확성은 모델이 잘하는 영역이 아닙니다.

바르셀로나에서 “우리는 왜 ChatGPT가 옳기를 기대하는가”라고 물었습니다.
그것은 흔한 기대였습니다.
그렇다면 디자이너로서 무엇을 넣어 디자인해야 합니까?
Copilot을 포함한 여러 서비스가 면책 문구를 넣고 서비스 약관을 바꾸는 모습도 보았습니다.
“업무 흐름에 반드시 필요하다”고 하다가 “오락 목적으로만 사용하라”고 바뀌었습니다.
큰 변화입니다.

그 중간 지점을 찾아야 합니다.
시스템의 능력을 은밀하게 감추거나 기만하면서 사람이 시스템을 신뢰하기를 기대할 수는 없습니다.
사람을 속일 필요가 없습니다.
있는 그대로 솔직히 말한 뒤 어떻게 다룰지 사용자가 결정하게 하면 됩니다.
인간이 아니라는 것을 알면서 인간인 것처럼 시스템을 디자인하는 것은 정직하지 않습니다.

마르크 폰테인:
시스템도 자기 한계를 모르므로 투명하게 밝힐 수 없는 것입니까?

오베타 샘슨:
그 질문 자체가 의인화된 질문이라고 생각합니다.
기계는 아무것도 알지 못합니다.
시스템은 모든 것을 검색해 가져옵니다.
차이가 보이십니까?

AI의 기억

청소년을 대상으로 AI 입문 수업을 하다가 기억에 관해 철학적 토론을 한 적이 있습니다.
제가 대규모 언어모델에는 기억이 없다고 말했기 때문입니다.
많은 사람은 기억이 있다고 생각하며 관련 논문도 읽었다고 합니다.
하지만 기억이라고 부를 뿐 실제로는 검색입니다.

검색증강생성(RAG)과 에이전틱 아키텍처는 모두 검색을 위한 구조입니다.
토큰의 경제성 때문에 대규모 언어모델이 맥락 창에 담아 인간과 주고받을 수 있는 글자의 양에는 한계가 있습니다.
그 한계에 도달하면 더는 정보를 가져올 수 없으며 다른 방식으로 디자인해야 합니다.

대규모 언어모델이 어제 나눈 대화를 가져올 수 없다는 뜻은 아닙니다.
처음 나왔을 때는 하지 못했지만 이제는 가능합니다.
그것을 가능하게 하는 아키텍처를 만들었기 때문입니다.
시스템 자체에 기억이 있는 것이 아니라 과거 정보를 검색해 올 경로를 우리가 만든 것입니다.

제가 이를 매우 단정적으로 구분하는 이유가 있습니다.
기계가 생각하고 기억한다고 말하기 시작하면 인간과 같은 결과를 기대하게 되기 때문입니다.

마르크 폰테인:
그렇다면 기대를 다시 조정할 때 시스템에 무엇을 기대해야 합니까?
마인드풀 AI의 마케팅 부서라면 어떤 기대를 제시하겠습니까?

오베타 샘슨:
이 시스템은 계산과 패턴 인식을 매우 잘합니다.
많은 데이터에서 대규모로 패턴을 인식하는 일은 인간보다 낫습니다.
많은 것을 처리할 수 있는 처리 시스템이므로 코드도 잘 다룹니다.
코드는 판단보다 이진적인 성격이 강하기 때문입니다.

규칙이 언제나 규칙으로 작동하고 예외가 규칙이 되지 않는 분야에서는 기계가 더 잘합니다.
여러 규칙을 대규모로 따를 수 있고 피로하지 않으며 계속 작업할 수 있기 때문입니다.

마인드풀 AI

마인드풀 AI는 AI를 사용하지 말자는 뜻이 아닙니다.
첫 번째 원칙은 AI 사용의 필요성(desirability)과 적용 적합성(applicability)을 먼저 판단하는 것입니다.

어떤 문제를 해결할 때 AI가 그 문제를 해결해야 하는지 의식적으로 생각해야 합니다.
그 문제를 해결하는 시스템과 그 시스템을 사용할 사람에게 AI가 필요한지 살펴야 합니다.
또 AI의 역량이 그 문제에 적합한지, 한계를 최소화할 수 있는지도 판단해야 합니다.

예를 들어 AI는 이상 징후를 예측하거나 기계가 고장 날 시점을 훨씬 전에 예측하는 일을 매우 잘합니다.
반면 어떤 아이가 감옥에 가게 될지는 잘 예측하지 못합니다.
수감된 모든 아이의 데이터를 가져와도 같은 환경과 소득 등에서 자랐지만 감옥에 가지 않는 예외적인 사람이 있기 때문입니다.
그것은 통계로 예측할 수 없는 여러 요소와 관련되며, 저는 이를 인간의 X요인이라고 부릅니다.

그런데도 체포 기록 통계를 이용해 범죄가 일어날 장소를 예측하는 예측 치안 시스템이 있습니다.
체포 기록을 사용하면 체포된 사람이 모두 정당하게 체포되었다고 가정하게 됩니다.
여기에도 판단이 개입합니다.

기계 시스템의 품질은 입력 데이터의 품질을 넘을 수 없습니다.
인종 프로파일링 데이터로 치안 예측 시스템을 만들면 나쁜 결과와 오판이 나옵니다.
그런 곳에는 AI를 쓰지 말아야 할 수도 있습니다.
경찰이 AI를 전혀 사용해서는 안 된다는 뜻은 아니지만 누가 감옥에 가야 하는지를 AI로 결정하지는 말아야 할 수 있습니다.

마르크 폰테인:
어떤 데이터가 시스템에 들어가 결과를 만들었는지 알아야 한다고 말씀하셨습니다.
하지만 대부분의 최종 사용자는 시스템에 무엇이 들어갔는지 전혀 알지 못합니다.

오베타 샘슨:
그래서 제가 모델 행동을 형성해야 한다고 말하는 것입니다.
팀이 범용 사전 훈련 생성모델을 가져와 결과를 다시 형성할 때, 모델이 의사결정에 사용할 데이터의 출처도 바꿀 수 있습니다.

사전 훈련 모델이 Reddit으로 훈련됐는지 인터넷에서 긁어온 자료로 훈련됐는지 알 수 없습니다.
온갖 것이 들어갔을 수 있습니다.
따라서 “이 사안에 관해 결정할 때는 이 지식 기반에서 시작하라”고 정할 수 있습니다.
기존에 사전 훈련된 내용은 제쳐두고 무엇이 좋은 것인지 다시 가르치는 것입니다.

마르크 폰테인:
대규모 언어모델은 앞으로 그런 방향으로 갈 것 같습니다.
추론이라는 말이 적절한지는 모르겠지만, 답을 기대하는 대신 추론할 자료에 무엇이 들어갈지를 사용자가 책임지는 것입니다.

오베타 샘슨:
구글이 Gemini를 서둘러 내놓으려 모두 정신없이 움직일 때 연구자 한 명에게 “대규모 언어모델은 쓸모없다”고 말했던 기억이 선명합니다.
대규모 언어모델은 미국 의회도서관과 같습니다.
하지만 사람들은 의회도서관의 모든 책을 검색하고 싶어 하지 않습니다.
넷플릭스를 원합니다.
자신이 좋아하는 「스타게이트」와 비슷한 추천 시리즈를 원하는 것입니다.

대규모 언어모델은 메스가 필요한 곳에 핵무기를 가져다 놓은 것과 같습니다.
현재 기업에서는 이 모델을 가져와 더 구체적인 용도에 맞게 다시 빚고 있습니다.
저는 소규모 언어모델도 지지합니다.
대규모 언어모델의 모든 기능이 필요하지 않을 수 있으며, 장치 안에서 작동하게 하면 개인정보를 보호하고 폐쇄형 구조를 만들 수 있습니다.
클라우드로 보낼 필요도 없습니다.
온프레미스 방식은 반가운 일입니다.

저도 그런 제품을 만들었습니다.
앤트로픽이나 Claude의 모든 것이 필요하지 않으므로 자체적으로 통제되는 시스템을 만들자는 것입니다.
저는 그것을 ‘분류실(triage room)’이라고 부릅니다.
에이전트가 결정에 실제로 필요한 데이터로 곧바로 접근할 경로를 제공하고, 목표와 과업을 정하고, 원하는 방식으로 결정하도록 결과와 행동을 형성합니다.
그러면 지식재산을 보호하고 사전 훈련 모델의 나쁜 행동을 모두 끌어들이지 않으면서 원하는 결과를 만들 수 있습니다.

동사로서의 디자인, 서비스디자인, 그리고 경험이 만들어지는 방식을 중시하는 사람들이 앞으로 일하게 될 영역이 바로 여기라고 생각합니다.

서비스디자인과 AI

마르크 폰테인:
통화 전에 이 사례를 말씀드렸는데, 디자인이 AI와 함께 작동하는 방식을 보여주는 사례가 될 수 있어 대화에서도 소개하고 싶습니다.

이 팟캐스트에서 여러 차례 말했듯 우리는 매년 서비스디자인 공동체를 조사합니다.
급여뿐 아니라 50~60개 항목을 살피고 매년 보고서를 공개합니다.
누구나 검색할 수 있지만, 말씀하셨듯 사람들은 넷플릭스처럼 자신에게 맞는 구체적인 결과를 원합니다.

그래서 저는 AI 에이전트로 구성된 ‘뉴스룸’을 만들었습니다.
편집장, 데이터 과학자, 그래픽 디자이너, 검토자처럼 각 역할을 정의했습니다.
또 “지난 5년간 네덜란드의 급여 변화를 다룬 기사를 작성한다. 데이터셋은 이것이다. 먼저 기자를 사용하고, 비평가와 데이터 분석가를 차례로 거쳐라”와 같은 작업 흐름도 정의했습니다.

마지막에는 데이터에 근거한 기사가 나옵니다.
작업 흐름과 역할을 디자인한 것입니다.
제 AI 모델 자체가 많은 일을 하는 것은 아닙니다.
제가 지시한 절차를 따를 뿐입니다.
그 절차는 모델과 함께 만들었지만 이제 모델은 제가 정한 단계를 수행합니다.
이것이 말씀하신 방식과 맞습니까?

오베타 샘슨:
저는 사람에게 모델 행동을 통제할 주도권을 주고 싶어서 지난 1년 동안 마인드풀 AI를 개발했습니다.
그것이 전부입니다.

우리는 계속 모델이 할 수 있는 나쁜 일을 이야기했고, 사람들은 권력을 가진 거대 기업이 들려주는 이야기를 그대로 받아들여야 한다고 느끼며 무력해졌습니다.
하지만 그럴 필요가 없습니다.
마르크가 모델의 과업과 목표, 보상을 정할 뿐 아니라 시스템의 한계가 드러날 때 행동까지 형성하게 하려면 어떻게 해야 하는지를 생각했습니다.

이 과정을 디자인할 때 “무엇이 잘못될 수 있는가”라고 물었는지 궁금합니다.
부정확한 정보가 든 기사를 만들 수도 있습니다.
실제로 일어날 수 있는 일입니다.

인터넷에서 진실이 계속 훼손되는 상황을 그대로 받아들이는 대신, 독자가 오류를 지적할 수 있도록 에이전트의 시스템 명령에 넣을 수 있습니다.
독자가 지적하면 데이터를 자동으로 고치고 게시하는 방식은 아닙니다.
여러분에게 에스컬레이션하는 것입니다.
“마르크, 제가 자동으로 만든 기사에 사실이 아니라는 댓글이 달렸습니다. 확인해야 할 것 같습니다”라고 알립니다.

사람이 운영하는 신문에서도 그렇게 할 것입니다.
독자의 이의 제기를 받는 옴부즈맨이나 담당자가 있습니다.
“신문의 이 기사는 사실과 다르다”고 연락할 수 있습니다.
그런 역할을 하는 에이전트를 만들지 못할 이유가 없습니다.
콘텐츠 생성 에이전트와 별개로 두고 정확성만 평가하게 하면 됩니다.
왜 그렇게 디자인하지 않습니까?

마르크 폰테인:
여기를 확대해 자세히 살펴보면 이것이 바로 디자인 과정입니다.
흐름과 단계, 예외를 생각하는 일입니다.

오베타 샘슨:
그리고 한계를 생각하는 일입니다.
모델에는 진실을 다루는 한계가 있습니다.
그렇다면 디자인에는 어떤 의미가 있습니까?
모든 모델은 진실을 다루는 데 한계가 있습니다.
무엇이 잘못될 수 있는지 물어야 합니다.

에이전트를 만들기 전에 이런 질문을 의식적으로 한다고 해서 의도하지 않은 결과를 모두 없앨 수 있는 것은 아닙니다.
제가 말한 디자인도 부정확성을 제거하지는 않습니다.
다만 부정확할 가능성을 시스템에 반영합니다.

마르크 폰테인:
그러면 잘못되었을 때 작동할 작업 흐름을 갖게 됩니다.
그리고 모델은 틀릴 것입니다.

부정확성을 전제로 한 디자인

오베타 샘슨:
모델이 틀릴 것이라고 가정해야 합니다.
문제는 사람들이 그 가정 없이 에이전트를 디자인한다는 점입니다.
그래서 사용자에게 “이것은 틀렸다”고 말할 피드백 장치가 없습니다.

Gemini와 오픈AI, 앤트로픽 등이 우리에게 팔아온 마케팅 서사가 바로 그런 것입니다.
제가 의인화라고 말하는 것도 이 때문입니다.
무오류성이나 범용인공지능에 관한 생각은 모두 이야기일 뿐 진실이 아닙니다.
그들이 우리에게 판매하는 서사입니다.

마르크 폰테인:
그렇습니다.
그들이 파는 이야기라면 우리는 다른 이야기를 쓸 수 있습니다.
새로운 이야기의 일부는 모델이 진실하지 않으며 실수할 것이라고 가정하는 것입니다.

사람과 협력해 기사를 쓸 때도 사람은 실수하므로 같은 말을 할 수 있습니다.
하지만 기술을 도입하면 훨씬 빠른 속도와 큰 규모로 실수하게 된다는 점이 문제입니다.

오베타 샘슨:
저는 머신러닝과 모델 플랫폼을 대규모로 실행하는 인프라를 구축해 본 사람으로서 100% 확신을 갖고 말할 수 있습니다.
한번 작동한 모델을 되돌리는 것은 매우 어렵습니다.

마르크 폰테인:
무슨 뜻입니까?

오베타 샘슨:
모델이 일단 훈련되고 실행된 뒤 잘못되기 시작한 지점을 추적할 데이터와 모델의 계보를 마련하지 않았다면 어디서 문제가 생겼는지 되짚기가 매우 어렵다는 뜻입니다.

모델은 일련의 결정을 내립니다.
규칙을 따르지만 결정도 합니다.
그것이 우리가 맡긴 일이기 때문입니다.
모델은 데이터를 사용해 결정합니다.
그 결정이 만들어진 과정을 명확히 정리해 놓지 않았다면 추적하기 매우 어렵습니다.

자율 시스템을 만들 때는 모델이 결정을 내리는 방식과 의사결정 경로를 디자인해야 합니다.

마르크 폰테인:
좋은 것, 참인 것, 중요한 것, 가치 있는 것을 선택할 때 따라야 할 기준을 가능한 한 구체적으로 지정하고 그 기준을 디자인한다는 뜻이군요.

오베타 샘슨:
하지만 모든 상황을 디자인할 수는 없습니다.
비결정적 시스템이기 때문입니다.
사람이 어떤 입력을 줄지 전부 알 수 없습니다.

저는 청소년에게 Google만 이 모델을 훈련하는 것이 아니라고 설명합니다.
그들에게 자기 이름을 Google에서 검색하게 한 뒤 옆 친구의 휴대전화로 다시 검색하게 합니다.
검색 결과가 달라지는 것을 보고 “입력이 다르므로 결과도 다르다”고 설명합니다.
청소년에게는 이것이 뜻밖의 발견입니다.
그들은 “입력을 통제하면 Google의 출력을 바꿀 수 있으므로 내가 Google을 통제할 수 있다”고 받아들입니다.
반면 어른들은 “무섭다. 전혀 몰랐다”고 반응합니다.
매우 다른 반응입니다.

요점은 사전 훈련 모델이 생산라인을 떠난 뒤 무슨 일을 할지 아무도 모른다는 것입니다.
이것이 업계가 드러내고 싶어 하지 않는 비밀입니다.
페이스북과 오픈AI 등이 모델을 실제 서비스에 투입하기 전에 결과를 평가하려고 박사급 전문가와 여러 사람에게 큰돈을 주는 이유입니다.
하지만 그것도 성공 여부를 장담할 수 없는 일입니다.

모델이 의도한 대로 코드를 내놓으리라 생각하지만 실제 환경에 투입하기 전에는 알 수 없습니다.
머신러닝이 비결정적이어서 같은 입력에도 다른 결과가 나올 수 있기 때문입니다.

사회기술적 과제

마르크 폰테인:
누군가는 이를 엔지니어링 과제라고 말할 수 있습니다.
하지만 오베타는 디자인 과제라고 말하는 것이지요.

오베타 샘슨:
엔지니어에게만 맡기는 것은 몇 가지 이유에서 부당합니다.
이것은 기술적 문제가 아니라 사회기술적 문제입니다.
인간의 환경에 기술을 더하는 순간 기술적 문제는 사회기술적 문제가 됩니다.

인간은 사회와 공동체를 만들며 기술로 환원되지 않는 의례, 불문율, 관행을 갖고 있습니다.
그것들은 우리가 결정하고 서로 관계 맺는 방식과 관련됩니다.
엔지니어는 기술적 부분을 만들지만 경험은 시스템이 환경에 들어가 그 환경의 입력을 받기 시작해야 완성됩니다.

그래서 디자인이 필요합니다.
우리가 환경을 더 잘 이해하기 때문입니다.
연구와 사용자 피드백 등을 통해 시스템이 들어갈 생태계가 어떤 곳인지 파악하며, 그 내용은 모델 행동의 디자인에도 반영되어야 합니다.

제가 수업에서 말하는 디자이너의 일은 몸을 가진 인간의 경험을 몸이 없는 시스템에 번역하는 것입니다.
여기에 디자인이 들어갑니다.
엔지니어가 파이썬과 규칙, 모델, 알고리즘을 다룬다면 디자이너는 “이 시스템은 병원에서 작동한다. 병원에서 벌어지는 이런 사회기술적 상황을 시스템이 이해해야 한다”고 말해야 합니다.

디자이너의 역할

마르크 폰테인:
이 전환이 많은 사람에게 크게 느껴지는 이유는 우리가 기술을 정적인 것으로 보아왔기 때문인 것 같습니다.
작업장에 망치를 가져오면 망치가 변하지 않고 늘 하던 일을 한다는 것을 압니다.
하지만 이 기술은 예측할 수 없고, 형태가 바뀌며, 계속 움직입니다.
그런 방식으로 기술을 생각하는 것은 새롭고 다릅니다.

오베타 샘슨:
그렇습니다.
상호작용 시대의 디자인과 자동화 시대의 디자인 사이에는 분명한 차이가 있습니다.
가장 큰 관점 전환 가운데 하나는 확률적이고 비결정적인 결과, 다시 말해 예측할 수 없는 결과를 디자인한다는 점입니다.

상호작용 시대에는 아이폰의 버튼을 누르거나 마이크에 말할 때 경험이 같다는 것을 알았습니다.
어포던스라는 말도 있었습니다.
소프트웨어가 결정론적으로 작동하기 때문입니다.

모델은 그렇게 작동하지 않습니다.
입력 변수에 따라 출력이 달라지며, 실제 운영환경에서 나올 모든 입력 변수를 누구도 미리 제시할 수 없습니다.

마르크 폰테인:
이 비유가 곧 한계에 부딪힐 수 있지만, 모델이 범용 운영체제라면 우리가 원하는 결과를 내도록 적절한 소프트웨어와 지시, 도구를 제공해야 한다고 볼 수 있겠습니다.

오베타 샘슨:
사람들이 듣기 싫어할 사실이 하나 있습니다.
우리도 언제나 옳지는 않을 것입니다.
그러므로 견고한 피드백 순환이 필요합니다.
사용자는 이 경험을 우리와 공동디자인합니다.
그들의 도움을 구하지 않으면 자주 빗나가게 됩니다.

예전에는 조사를 통해 사람이 무엇을 원하고 싫어하는지 파악한 뒤 그에 맞는 기능을 만들 수 있었습니다.
하지만 모델 결과가 비결정적이므로 제품의 경험도 고정되기 어렵습니다.
시간과 상황에 따라 달라지고 모든 것이 맥락적입니다.

에이전트는 환경이 제공하는 맥락에 따라 경험을 어떻게 진행할지 결정할 수 있습니다.
따라서 에이전트가 올바른 결정을 내렸는지 평가하려면 견고한 실시간 피드백과 맥락에 대한 이해가 필요합니다.

저는 오래전에 한 팀에 AI 시대의 디자인은 완전히 달라질 것이며 그 차이가 너무 커서 받아들이기 어려울 것이라고 말했습니다.
지금 여러 팀과 기업의 AI 도입을 돕고 AI 시스템과 도구라는 새로운 디자인 파트너를 도입하면서 그 상황이 실제로 벌어지는 것을 보고 있습니다.

더블 다이아몬드와 디자인씽킹 같은 선형적 작업 흐름은 제대로 작동하지 않습니다.
직함과 역할도 흔들립니다.
디자이너가 코드베이스에 직접 반영하고 엔지니어가 Claude로 사용자 인터페이스를 만드는 시대에 디자이너와 엔지니어라는 말은 무엇을 뜻합니까?
우리 모두 학문과 직무가 변형되는 상황을 겪고 있습니다.

직무의 혼란

마르크 폰테인:
엉망입니다, 오베타.
혼돈입니다.

오베타 샘슨:
그렇지요.
지금은 아무도 자기 일이 정확히 무엇인지 모른다는 데서 위안을 얻어도 됩니다.

마르크 폰테인:
그렇다면 지금까지 대화를 들은 사람들에게 무엇을 권하겠습니까?
오늘이나 내일 당장 해볼 수 있는 일, 자신감을 키우고 마인드풀 AI를 더 잘 실천할 수 있는 방법은 무엇입니까?

오베타 샘슨:
모델의 행동을 형성할 수 있다는 사실을 알아야 합니다.
맥락 창이 실제로 무엇을 뜻하는지 이해해야 합니다.
모델은 공장 출고 자동차처럼 기본 설정을 달고 나옵니다.
그 설정은 다시 빚을 수 있습니다.
그리고 다시 빚어야 합니다.

모델에는 환각과 아첨을 비롯한 여러 한계가 기본적으로 들어 있기 때문입니다.
자신을 인간 중심 디자이너라고 생각한다면 AI 시대의 디자이너 역할을 다시 생각해야 합니다.

미국에서 인간 중심 디자인의 정의는 두 부분으로 나뉩니다.
첫째는 사용자에게서 원하는 것과 필요한 것에 관한 요구사항을 얻는 것입니다.
둘째는 사람에게 심리적·신체적·사회적 피해를 주지 않는 제품을 만드는 것입니다.

두 번째 부분은 모델의 행동과 결과, 그리고 모델의 의사결정 방식을 형성하는 일과 밀접합니다.
AI 시대에 그 일을 하지 않으면서 자신을 인간 중심 디자이너라고 부르기는 어렵습니다.
그 지점이 바로 이런 상호작용의 위험을 낮추는 핵심이기 때문입니다.

마르크 폰테인:
AI라는 디자인 재료와 우리가 영향을 줄 수 있는 재료의 속성을 이해하려면 아직 탐색하고 배워야 할 것이 많습니다.
우리는 나무와 플라스틱, 금속의 물성을 알고 그것을 다룰 도구도 압니다.

오베타 샘슨:
좋은 소식은 중력과 물리학 같은 것이 여전히 존재한다는 것입니다.
수학도 변하지 않았습니다.
중력은 잠시 제쳐두더라도 물리학과 수학은 모델이 행동하는 방식에 분명히 작용합니다.

발밑의 땅이 움직이는 것처럼 보여도 우리가 의지할 수 있는 불변의 사실이 있습니다.
그중 하나는 모델이 결정을 내리기 위해 계산해야 한다는 사실입니다.
따라서 우리는 모델이 무엇을 계산하는지, 어떻게 결정하는지에 영향을 줄 수 있습니다.

계산 없이 스스로 결정하기 시작한다면 전혀 다른 이야기가 됩니다.
그때는 인간이 되는 셈이지요.
하지만 현재는 우리가 통제할 수 있습니다.
무엇을 계산할지, 어떤 입력 변수를 사용할지, 어떻게 처리할지를 통제할 수 있습니다.
작업 흐름과 과업, 규칙을 주고 모델 행동을 형성하고 규정할 수 있습니다.

부모가 어린아이에게 무엇이 좋은 것인지 가르치는 것과 같습니다.
아이는 일종의 기본 청사진을 갖고 태어나지만 뜨거운 난로에 손을 대려 할 때 부모가 해줄 일이 있습니다.
모델에도 그렇게 할 수 있습니다.

사람들이 가져갔으면 하는 메시지는 상황이 절망적이지 않으며 우리에게 주도권이 있다는 것입니다.
다만 그 주도권이 어디에 있고 어떻게 행사하는지에 관한 관점을 조금 바꿔야 합니다.

AI 마스터클래스

마르크 폰테인:
모델 행동을 형성하고 이 디자인 재료를 이해하는 방법을 더 배우고 싶은 사람에게 어디를 권하시겠습니까?

오베타 샘슨:
물론 제 웹사이트를 소개하겠습니다.
ovetta-sampson.com을 방문하거나 제 이름을 검색하면 됩니다.

‘마인드풀 AI’ 마스터클래스 교육 시리즈의 대기 및 등록 명단을 열고 있습니다.
오늘 이야기한 내용을 모두 다룹니다.
모델 행동을 형성하는 방법, 이를 GitHub 등에 올리고 실행하는 방법, 팀의 일부로 수행하는 방법을 설명합니다.
AI와 함께 디자인하고 AI를 위해 디자인한다는 것이 무엇인지, 어떤 내용을 배워야 하고 어떤 관점을 전환해야 하는지, 실무에 적용할 수 있는 프레임워크는 무엇인지 다룹니다.
제 웹사이트에서 마스터클래스를 신청할 수 있으며 이번 여름에 공개할 예정입니다.

그 밖에도 모델 맥락 디자인이나 모델 평가 디자인을 다루는 자료가 도움이 됩니다.
앤트로픽은 최근 ‘모델 행동 전문가(model behaviorist)’라는 새로운 직무를 내놓았습니다.
이런 직무는 예전에는 없었지만 이제 존재하며 디자이너에게 적합합니다.
사람이 세계 속 구체적 상황에서 어떻게 인지하는지를 깊이 이해하고 그것을 모델에 번역해야 하기 때문입니다.

도서와 다른 자료, 제가 영감을 얻은 사람, 논문 등의 목록을 보내드리겠습니다.

마르크 폰테인:
쇼 노트에 추가하겠습니다.

오베타 샘슨:
저는 AI를 둘러싼 파국과 비관의 시대를 끝내고 싶습니다.
인간의 가치와 열망, 목표를 보호하려는 사람에게 시스템을 그렇게 형성할 능력을 주고 싶습니다.

최근 뉴스레터에서 제가 존경하는 책임 있는 AI 전문가 루마 셸드리 박사의 TED 강연을 소개했습니다.
그는 AI 시스템을 수리하는 방법에 관해 강연했습니다.
인간이 이 시스템에서 나온 잘못을 고칠 수 있다는 내용을 다루므로 적극 추천합니다.

마르크 폰테인:
탐색할 것이 많으며 혼돈은 많은 기회를 낳기도 합니다.
마지막 질문을 드리겠습니다.
우리는 답보다 생각할 질문으로 방송을 마무리하기를 좋아합니다.
이번 에피소드가 끝난 뒤 우리가 무엇을 생각해 보면 좋겠습니까?

업계를 다시 살펴보기

오베타 샘슨:
처음으로 돌아가 디자이너가 된다는 것이 무엇인지 생각해 보면 좋겠습니다.
AI 시대에만 한정하지 않고 전반적으로 다시 살펴볼 필요가 있습니다.
우리 팀과 기업에서 그것은 무엇을 뜻합니까?
AI 시대에는 무엇을 뜻합니까?

디자인과 UX에 관해 우리가 생각해 온 것, 그 한계와 불만 등을 되짚으며 업계를 새롭게 만들 기회로 삼을 수 있습니다.
그리고 자신의 가치를 입증해야 한다는, 거의 마비를 일으킬 정도의 강박 없이 업계를 다시 만들었으면 합니다.

자동화 시대에 우리는 가치를 따질 수 없을 만큼 필요한 존재라고 생각합니다.
몸을 가진 현실 세계에서 여전히 살아가는 사람들이기 때문입니다.
사람이 있는 곳도 바로 그 세계입니다.

우리의 가치는 매일 드러납니다.
어떤 기업이 “AI를 도입했더니 통제 불능이 됐다”, “에이전트가 제멋대로 행동했다”고 말할 때마다 그것이 바로 우리의 가치가 필요한 지점입니다.
그래서 디자이너가 된다는 것이 무엇인지 다시 살펴보고, 자신을 입증해야 한다는 마비시키는 욕구에서는 벗어났으면 합니다.

마르크 폰테인:
마무리하기에 좋은 질문입니다.
오베타, 이야기해 주셔서 감사합니다.
생각을 자극하고 영감을 주며 여러 면에서 낙관적이고 희망적인 대화였습니다.
하고 계신 일에도 감사드립니다.
어쩌면 이 대화가 계속될지도 모릅니다.
이것은 끝이 아니라 여정의 일부이니까요.

오베타 샘슨:
책이 나오면 꼭 다시 불러주세요.

마르크 폰테인:
물론입니다.
다시 한번 출연해 주셔서 감사합니다.
다음 대화를 기약하겠습니다.

오베타 샘슨:
감사합니다, 마르크.
정말 고맙습니다.

마무리 생각

마르크 폰테인:
다시 한번 출연해 준 오베타에게 깊이 감사드립니다.

대화에서 저는 우리가 기술을 망치와 같은 것으로 여기는 데 익숙하다고 말했습니다.
망치는 휘두를 때마다 정확히 같은 일을 하는 정적인 도구입니다.
하지만 대규모 언어모델은 그렇게 작동하지 않습니다.
달라지고 환각합니다.

따라서 모델을 엔지니어링팀에 넘긴 뒤 잘되기를 바랄 수만은 없습니다.
디자인 전문가인 우리도 맥락 창에 직접 들어가 규칙을 형성해야 합니다.

오베타가 한 말 가운데 저는 다음 문장을 곧바로 적었습니다.
“모델에는 지식이 있지만 지혜를 가져오는 것은 사람입니다.”

공장 기본 설정을 맹목적으로 따르지 않는 서비스를 만들려면 그 지혜에 의지해야 합니다.

오늘 대화를 즐기셨다면 부탁 하나를 드립니다.
이 영상의 좋아요 버튼을 누르고 아직 하지 않으셨다면 짧은 댓글을 남겨주세요.
알고리즘을 먹여 살리기 위해서가 아니라 이런 주제를 다루는 방향이 맞는지 알려주시기 바랍니다.

마지막으로 헤어지기 전에 오늘 함께함으로써 전문가로서 배우고 성장하는 데 자신의 주의를 기울였다는 사실을 잠시 돌아보고 축하해 주세요.
여러분의 일을 통해 영향을 받게 될 모든 사람을 대신해 시간을 내고 실천해 주신 데 감사드립니다.

저는 마르크 폰테인입니다.
Service Design Show의 새로운 대화에서 다시 뵙기를 바랍니다.
건강히 지내시고 다음에 뵙겠습니다.