(영상) 생각할 틈도 없이 빨라지는가? | SDGC26 스페셜 제008회 발표자 라운드테이블. 서비스디자인네트워크

AI가 디자인의 어려운 과정을 대신할 때, 결과물 생산은 빨라져도 공동의 이해·판단력·암묵지가 형성되는 기회는 줄어들 수 있습니다.
다섯 명의 발표자는 불필요한 마찰과 판단을 돕는 생산적인 마찰을 구분하며, 인간과 AI·로봇이 함께하는 서비스에서 신뢰·책임·윤리적 경계를 어떻게 디자인할지 논의합니다.
서비스디자이너의 과제는 자신의 작업 속도를 높이는 데 머물지 않고, 시민과 고객에게 의미 있는 AI 경험을 만들며 그 과정에서 인간의 역량과 선택권을 지키는 것입니다.

제목
생각할 틈도 없이 빨라지는가? | SDGC26 스페셜 제008회 발표자 라운드테이블
Too Fast to Think? | SDGC26 Special nº008 Speaker Roundtable

출처
서비스디자인네트워크(Service Design Network, SDN)
SDN Community Voices
공개일 : 2026년 9월 17일
영상 : https://www.youtube.com/live/rxMVIdI8xVc    
시리즈 : https://www.youtube.com/playlist?list=PLe-6OG8CRPNNUf6IcPXLGjRhYgwp2r5eF    
전체 번역 : 챗GPT로 번역했습니다. 생략, 오역이 있을 수 있으니 원본 영상을 봐주세요.

프로그램 소개
SDN Community Voices는 세계 서비스디자인 커뮤니티의 실무자와 연구자가 경험과 관점을 나누는 주간 온라인 대담 프로그램입니다.
이번 회차는 서비스디자인 글로벌 콘퍼런스 2026(SDGC26)의 발표자 다섯 명이 참여한 사전 라운드테이블입니다.
AI가 디자인 과정의 마찰을 없애는 동안 무엇을 얻고 무엇을 잃는지, 그리고 서비스디자인이 인간과 기계의 관계에 어떻게 개입해야 하는지 논의합니다.

주요 발언자 소개

수데슈나 마하타(Sudeshna Mahata) : 진행자입니다. 전략적 미래예측과 혁신 생태계 구축 분야에서 활동하며, SDN Community Voices의 주요 진행자이자 SDGC26 커뮤니케이션 핵심팀 구성원입니다.

알레산드로 메디치(Alessandro Medici) : 풀프루프(Foolproof)의 수석 서비스디자이너(Principal Service Designer)입니다. 이 대담에서는 AI가 결과물을 만드는 속도보다 공동의 이해 형성, 정성적 분석, 판단 근거의 추적 가능성에 주목합니다.

예룬 덴 아윌(Jeroen den Uijl) : 네덜란드 소프라 스테리아 넥스트(Sopra Steria Next)의 혁신·디자인 부문 책임자입니다. 디지털 혁신과 인간중심디자인 분야에서 25년 이상 활동했으며, 서비스디자인과 AI를 결합해 복잡하고 위험도가 높은 조직의 문제를 다룹니다.

폰투스 베른스톨(Pontus Wärnestål) : 앰비션(Ambition)의 디자인 책임자이자 스웨덴 할름스타드대학교의 교수진입니다. 대담에서 2007년 상호작용형 AI 분야 박사학위를 취득했으며, 2001년부터 AI가 포함된 70건 이상의 프로젝트에 참여했다고 소개합니다.
이안 겔하르 프라트(Ian Gehlhaar Prat) : 페일 패스트 스튜디오(Fail Fast Studio)의 창립자이자 경험디자인 디렉터입니다. AI 시대의 디자이너 역량, 판단력과 감각의 형성, 인간적인 경험의 가치에 관심을 두고 있습니다.

조이 소(Zoe So) : 미국 피츠버그의 자율 수중로봇 기업 아쿠아토노미(Aquatonomy)의 제품관리자이자 서비스디자이너입니다. 위험한 환경에서 인간과 로봇이 협력하는 서비스의 전 과정을 다루며, 카네기멜런대학교에서 디자인과 인간·컴퓨터 상호작용 분야의 석사학위를, UC 버클리에서 공중보건 학사학위를 받았습니다.

소개 근거 : https://www.servicedesignglobalconference.com/stage-speakers/jeroen-den-uijl
https://www.servicedesignglobalconference.com/stage-speakers/zoe-so
https://www.servicedesignglobalconference.com/workshops-2026/stay-human%3A-training-the-skills-ai-can%27t-replace
https://ga.linkedin.com/company/service-design-network

유튜브 영상 소개글 번역

💭 AI를 이용해 디자인의 마찰을 없애면 어떤 대가를 치르게 될까요?
🌟 SDGC 스페셜 Community Voices 제008회, 발표자 라운드테이블 「생각할 틈도 없이 빨라지는가?」의 생방송에 함께해 주세요! 🌟
이번 SDGC26 라운드테이블에서는 AI가 디자인의 어려운 부분을 빠르게 통과해 버릴 때 우리가 무엇을 얻고 무엇을 잃는지 살펴봅니다.
AI가 없애는 마찰이 오히려 가장 좋은 인간 경험의 가치를 만들어내는 원천일 수도 있을까요?
이안 겔하르, 예룬 덴 아윌, 폰투스 베른스톨, 알레산드로 메디치, 조이 소와 함께 인간중심디자인에서 마찰과 AI의 속도 사이에 놓인 대가를 논의합니다.
이번 라운드테이블에서는 다음 질문을 다룹니다.
🧠 쓸모없는 마찰과 생산적인 마찰을 어떻게 구분할 수 있을까요?
👤 우리는 인간을 위해 디자인하고 있을까요, 인간의 AI 에이전트를 위해 디자인하고 있을까요, 아니면 둘 사이의 관계를 위해 디자인하고 있을까요?
☎️ AI가 만들어낸 결과가 잘못되었을 때 누가 책임을 져야 할까요?
📺 SDN의 링크드인과 유튜브에서 생방송으로 진행합니다.
📅 2026년 9월 17일 목요일
⏰ 중부유럽 서머타임 16:00 | 미국 동부 서머타임 10:00 | 호주 서부 표준시 22:00
🎙️ 진행 : 수데슈나 마하타, SDN Community Voices 주요 진행자 및 SDGC26 커뮤니케이션 핵심팀 구성원
🎟 생방송에 참여해 대화에 함께해 주세요.
💬 댓글에 질문을 남겨 주세요. 생방송 대화에서 여러분의 질문을 다룹니다.
🎟 지금 SDGC26 입장권과 회원권을 신청하세요.
https://www.servicedesignglobalconference.com/
SDGC26 관련 기관 : 서비스디자인 글로벌 콘퍼런스 · 세계디자인기구(World Design Organization) · 세계디자인수도 프랑크푸르트 라인마인 2026
#서비스디자인 #SDN #CommunityVoices #SDGC26 #발표자 #디자인커뮤니티 #스토리텔링 #AI #기술
매주 진행하는 이 시리즈를 통해 서비스디자인네트워크 커뮤니티가 세계의 실천을 만들어가는 사람들의 목소리에서 배우고, 경험을 나누고, 영감을 얻도록 초대합니다.
링크드인, 인스타그램, 유튜브에서 좋아요와 공유, 팔로우를 부탁드립니다.

---

전문 번역

수데슈나 마하타
오랫동안 기술이 약속해 온 것은 꽤 간단했습니다.
일을 더 쉽게 만들고, 더 빠르게 만들고, 마찰을 없애는 것이었습니다.
그런데 AI 시대에는 AI가 이 모든 일을 할 수 있는 것 같습니다.
그것도 우리가 이전에 경험하지 못했던 규모로 말입니다.
이제 AI는 조사를 하고, 정보를 종합하고, 아이디어까지 만들어내며, 추천도 합니다.
또 하나 본격적으로 들어오기 시작한 영역은 의사결정 과정 자체입니다.
그래서 지금 AI 산업 전반에서 벌어지는 큰 논의, 매우 중요한 논의는 속도와 안전, 책임에 관한 것입니다.
오픈AI에서 앤트로픽, 메타, 구글 딥마인드 등에 이르기까지, 마침내 우리는 함께 매우 중요한 질문을 던지기 시작했습니다.
얼마나 빠르게 나아가야 할까요?
어디에서 속도를 늦춰야 할까요?
그리고 책임 있는 진전은 도대체 어떤 모습이어야 할까요?
국제적으로, 그리고 더 넓은 대중 사이에서 이루어지는 이 흥미로운 논쟁을 지켜보고 계셨다면, 이런 환경에서 서비스를 디자인한다는 것이 여러분에게 어떤 의미인지 궁금하실 것입니다.
오늘 대화는 바로 여러분을 위한 자리입니다.
좋은 아침입니다. 좋은 오후입니다. 좋은 저녁입니다.
세계 서비스디자인 커뮤니티와 매주 생방송으로 만나는 SDN Community Voices의 또 다른 회차에 오신 것을 환영합니다.
저는 수데슈나입니다.
미래예측 전략가이자 생태계 구축자로 활동하고 있으며, SDGC 커뮤니케이션팀의 일원이자 여러분이 좋아하시는 진행자이기도 합니다.
대화를 시작하기 전에 매주 함께해 주시며 이 프로그램을 멋지고 성공적인 자리로 만들어주시는 모든 분께 감사드립니다.
어디에서 접속하고 계신지, 그리고 디자인 과정에서 AI가 아무런 수고도 들지 않게 만들어주지 않았으면 하는 부분이 하나 있다면 무엇인지 채팅으로 알려주세요.
늘 그렇듯 질문도 채팅에 남겨주세요.
질의응답 시간에 생방송으로 다루겠습니다.
다시 디자이너의 입장으로 돌아와 보면, 지금 일어나는 변화는 여러분에게 어떤 의미일까요?
질문은 AI가 더 빨라져야 하느냐, 더 느려져야 하느냐에만 있지 않습니다.
어려운 일들이 점점 더 AI 덕분에 수고 없이 이루어질 때, 판단과 이해, 책임에는 어떤 일이 일어나는지를 묻는 것입니다.
오늘 SDGC 스페셜 「생각할 틈도 없이 빨라지는가?」에서는 이 질문을 깊이 탐구해 온 SDGC26 발표자 다섯 분을 모셨습니다.
각자의 작업과 고유한 관점을 통해 프랑크푸르트에서 제기할 도발적인 질문과 아이디어를 미리 보여주실 것입니다.
그러면 무대로 모시겠습니다.
여러분, 환영합니다.
오늘 함께해 주셔서 정말 감사합니다.
패널이 꽉 찼네요. [웃음]

참석자들
안녕하세요.
여러분, 안녕하세요.

수데슈나 마하타
오늘 여러분을 모시게 되어 정말 기쁩니다.
시간 내기가 무척 어려우셨을 텐데, 이렇게 함께 모여주셔서 감사합니다.
그러면 바로 시작하겠습니다.
일반적인 소개 대신 다른 질문을 드리겠습니다.
여러분의 전체 이력은 SDGC 웹페이지에 나와 있으니, 시청자분들은 거기에서 확인하실 수 있습니다.
AI는 여러분이 어떤 디자이너 또는 전문가로 성장해 가는지를 어떻게 바꾸었나요?
그 관점에서 자신을 소개해 주시면 좋겠습니다.
누구부터 시작할까요?
먼저 말씀하실 분 계신가요?
마이크를 켜신 분, 말씀해 주세요. [웃음]

알레산드로 메디치 [발언자 추정]
제가 시작하겠습니다.
조금, 아니 꽤 많이 달라졌습니다.
다른 분들과 마찬가지로 저도 다소 예상치 못한 변화였다고 생각합니다.
AI는 제 일하는 방식을 많이 바꾸고 있습니다.
우리가 하는 일, 제가 하는 여러 작업을 간소화하는 데 도움을 줍니다.
많은 작업을 아주 빠르게 처리하고, 수많은 회의록 등의 자료에 흩어져 있는 지식을 모으는 데도 도움을 줍니다.
서비스 블루프린트와 여정지도, 조사 요약의 초안을 빠르게 만드는 데도 도움을 줍니다.
그래서 일하는 방식은 꽤 많이 달라졌습니다.
이 대화에서 계속 다루게 될 이야기겠지만, 제가 하는 일, 그리고 우리가 하는 일의 대부분에서 실제 결과물을 만드는 것이 핵심은 아니었다고 생각합니다.
그런 점에서는 크게 달라지지 않았습니다.

수데슈나 마하타
감사합니다.
다른 분들도 말씀해 주세요.
제가 이름을 부를 때까지 기다리실 필요는 없습니다.
편하게 이어가 주세요. [웃음]

예룬 덴 아윌 [발언자 추정]
제가 여기에 덧붙이겠습니다.
우리는 모두 AI를 사용하고 있고, 더 효율적으로 일하기 위해 사용합니다.
우리가 활용하는 방식, 또는 제가 보는 관점에서 AI는 역량을 증폭하는 도구입니다.
하지만 AI에 익숙해지고 더 많이 사용할수록, 우리는 전문가로서 더 적극적으로 역할을 해야 합니다.
AI가 수집할 수 있는 모든 정보와 만들어내는 모든 자료가 있더라도, 여전히 운전석에 앉아 있는 것은 우리입니다.
그러므로 그 자리를 지켜야 합니다.
AI가 내놓은 것을 검증하고, 고객에게 전달하기 전에 걸러내는 전문가가 되어야 합니다.

폰투스 베른스톨
저는 조금 다른 배경에서 출발한 것 같습니다.
2007년에 상호작용형 AI 분야에서 박사학위를 받았고, 2001년부터 AI가 포함된 70건 이상의 프로젝트에 참여했습니다.
그래서 제게 실질적인 변화는 2023년 무렵부터 고객을 위해 하는 일의 종류가 달라졌다는 것입니다.
하지만 AI 자체와 저의 관계는 더 점진적으로 형성되었습니다.
2023년에 거대한 파도가 갑자기 저를 덮친 것과 같지는 않았습니다.
물론 생성형 AI와 대규모언어모델은 고객이 AI를 바라보는 방식을 바꾸었습니다.
하지만 예를 들어 제가 디자인을 바라보는 관점을 극적으로 바꾸지는 않았고, 업무 흐름도 제가 예상했을 법한 만큼 바꾸지는 않았습니다.

이안 겔하르 프라트
제 관점에서는 작은 변화가 있지만, 그 변화는 정말 의미가 있습니다.
디자이너는 늘 인간이 기술을 이해하도록 도왔습니다.
이제 디자인의 역할은 그 반대가 될 것 같습니다.
기술이 인간을 이해하도록 돕게 되는 것입니다.
이전에는 산출물을 디자인했다면, 이제는 이 기술과 에이전트, AI에 좋은 입력을 제공하는 데 더 집중하게 될 것 같습니다.
작은 변화이지만, 우리가 다루는 주체가 바뀌는 것입니다.
그렇다고 방법론이나 역할까지 크게 달라지지는 않을 것 같습니다.
다만 더 빨라지는 것은 사실입니다.
기계적인 일이나 우리가 별로 좋아하지 않았던 일을 AI로 자동화할 수 있으니까요.
저는 기술이 인간을 이해하도록 돕게 된다는 점이 가장 의미 있는 변화라고 생각합니다.
그 모든 과정에서 우리에게 큰 역할이 있다고 생각합니다.
미래를 두고 많은 이야기가 오가고 있고, 기업들이 팀의 구성을 바꾸는 모습도 보고 있습니다.
하지만 저는 지금 겪고 있는 이 모든 변화에 여전히 낙관적입니다.

조이 소
앞서 말씀하신 모든 분의 의견에 동의합니다.
디자이너로서 우리의 근본적인 역할은 크게 달라지지 않았다고 생각합니다.
저는 비교적 최근에 디자인 분야에 들어왔습니다.
약 3년 전에 이 진로로 옮겼으니, 디자인에서는 AI 시대에 성장해 왔다고 할 수 있겠습니다.
아주 작은 스타트업의 리드 디자이너로서 직접 경험해 보면, AI는 작은 팀을 위해 제가 할 수 있는 일을 정말 넓혀주었습니다.
도구를 더 빨리 배우고, 더 현실적인 프로토타입을 만들고, 사용자 앞에 조금 더 빠르게 무언가를 제시할 수 있게 해주었습니다.
다른 분들이 말씀하셨듯이, 의사결정이나 판단, 분별력처럼 디자인의 전문성이 필요한 일은 AI에 넘기지 않도록 조심합니다.
하지만 기계적인 부분을 AI에 맡길 수 있으면, 우리가 왜 이 일을 하는지, 우리가 디자인하는 서비스의 어디에 AI가 실제로 들어갈 수 있는지를 탐구하는 데 더 많은 시간을 쓸 수 있다고 생각합니다.
정리하면 AI가 나무를 다루도록 도와주니, 저는 숲에 더 집중할 수 있는 셈입니다.

수데슈나 마하타
나무와 숲이라는 표현이 좋네요.
그 질문을 조금 더 깊이 파고들고 싶습니다.
AI를 사용하면서 실제로 가치를 만들어내는 것은 무엇이고, 어떤 지점에서 그것이 의존으로 바뀌기 시작할까요?
여러분은 경력의 서로 다른 시점에서 서로 다른 관점으로 AI를 경험했습니다.
각자 지나온 과정이 다릅니다.
언제 실제 가치를 만들고, 언제 의존과의 경계가 흐려지기 시작하는지 궁금합니다.
알레산드로, 먼저 말씀해 주시겠어요?

알레산드로 메디치
좋습니다.
시작부터 의견이 갈리도록 해보죠. [웃음]
제 생각을 설명하기 위해 상황을 하나 떠올려 보겠습니다.
반복해서 나타나는 상황이고, 이 논의에도 잘 맞는 사례라고 생각합니다.
상황 A는 우리가 익숙하게 일해 온 방식입니다.
여섯 명이 한 방에 모여 어떤 프로세스의 특정 부분을 논의합니다.
디자이너인 여러분은 그 대화에 의미 있게 기여합니다.
우리가 알다시피 포스트잇을 적는 것만을 뜻하지 않습니다.
우리의 지식을 가져오고, 적절한 질문을 던지는 것입니다.
어쩌면 사람들이 방에 들어올 때 생각했던 곳과는 다른 곳에 실제 문제가 있다는 사실을 깨닫도록 돕기도 합니다.
여러 대화와 의견, 관점이 한꺼번에 쏟아지고, 여러분은 조금씩 블루프린트를 만들어갑니다.
운영 담당자는 일이 어떻게 돌아가는지에 대해 특정한 관점을 가지고 있습니다.
기술 담당자도 함께 있는데, 이렇게 말할 수 있습니다.
“사실 이 문제에는 우회해서 해결하는 방법이 있습니다. 아직 공유하지 않았고, 아무도 모르고 있었지만요.”
여러분은 그 모든 것을 모으면서 흐름과 프로세스가 어떻게 작동하는지에 대한 공통의 이해를 만드는 데 도움을 줍니다.
물론 시간이 많이 듭니다.
그 점에는 모두 동의할 것입니다.
이것이 상황 A입니다.
상황 B에서는 AI와 대화를 하거나, 회의록을 AI가 읽게 합니다.
그다음 요구사항 명세든 블루프린트든 여정지도든, 최종 결과물을 만들어냅니다.
끝에는 비슷한 결과물, 비슷한 산출물을 얻게 됩니다.
하지만 상황 A에서는 디자이너가 대화를 촉진하고, 보이지 않는 것을 드러내며, 모든 것을 시각화하는 데 도움을 줍니다.
그 과정에서 마찰과 대화의 순간들이 생깁니다.
회의 중에 생긴 그 마찰에는 의미가 있었습니다.
이해가 생겼고, 문제의 초점이 다시 잡혔으며, 사람들이 같은 방향을 바라보게 되었습니다.
반면 요즘 생산성을 높이기 위해 서둘러 AI를 도입하면서, 이런 집단적인 교류의 순간을 많이 줄이는 모습을 봅니다.
“회의에서 빨리 이야기하고, 회의록을 AI가 읽어서 요약하게 한 다음 최종 결과물을 만들어달라고 하자”는 식입니다.
두 번째 상황의 문제는 그 모든 깨달음의 순간을 놓친다는 것입니다.
유용한 마찰의 순간, 앞서 말씀드린 문제의 재구성, 방향을 새롭게 잡거나 바꾸는 과정이 빠집니다.
저는 이것이 우리 업무에서 자동화와 AI를 지나치게 사용할 때 생기는 위험이라고 생각합니다.
유의해야 할 부분입니다.

수데슈나 마하타
맞습니다.
바로 지금 온라인에서 벌어지는 논의라고 생각합니다.
산업 전체가 지난 2년간 혁신을 해본 뒤에야, 이제 드디어 중요한 질문을 던져보자고 하는 셈입니다. [웃음]
AI를 활용할 때 어떤 부분을 남겨두어야 할까요?
어떤 마찰을 과정 안에 그대로 두고 싶을까요?
때로는 그 마찰 자체가 일이고, 판단력과 경험을 실제로 만들어내는 것이기 때문입니다.
여러분의 경험을 바탕으로 말씀해 주세요.
AI가 디자인의 어려운 부분을 없애고 우리가 더 생각하고 더 많은 일을 할 여유를 만들어줄 때, 그 경험과 함께 무엇까지 없애는 것일까요?
그 마찰을 잃는다는 것은 어떤 의미일까요?

폰투스 베른스톨
제가 말씀드려도 될까요?

수데슈나 마하타
물론입니다.

폰투스 베른스톨
그런 말에는 데이터가 실제로 뒷받침하지 않는 가정과 전제가 많다고 생각합니다.
일상적이고 단조로운 일을 없애면 정말 도전적이고 의미 있는 일에 집중할 수 있다는 말을 계속 듣습니다.
하지만 우선 우리는 하루 8시간 내내 어려운 일에만 집중할 수 없습니다.
인간의 뇌에는 때로는 조금 단조로운 일을 하고, 때로는 번뜩이는 생각을 하는 그런 리듬이 필요합니다.
그래서 그 발상은 처음부터 약간의 결함을 가지고 있습니다.
또 연구의 데이터를 보면, 여기 계신 분들이나 청취자분들 가운데 그렇게 해서 이점을 얻었다는 개인적인 경험은 분명 있을 것입니다.
하지만 연구의 데이터는 그런 이야기를 하지 않습니다.
실제로는 다른 이야기를 합니다.
최근 한 연구에서는 깊이 몰입하는 작업이 9% 줄어든 반면, 챗봇과 문서 사이에서 복사하고 붙여 넣는 것 같은 일상적 작업은 늘었습니다.
업무에 대한 비몰입도 23% 증가했습니다.
사람들이 여러 면에서 만성적으로 충분한 도전을 받지 못한다고 느끼는 것입니다.
때로는 신화처럼 반복되는 수사와 실제로 일어나는 일을 구분해서 주의 깊게 보아야 합니다.
제가 걱정하는 부분입니다.
한 가지 더 덧붙이면, 우리는 무엇을 뜻하는지 한정하지 않고 계속 AI라고 말합니다.
그중 99%는 앤트로픽과 오픈AI, 어쩌면 구글이 제공하는 상용 LLM 서비스를 뜻한다고 생각합니다.
하지만 제게 AI는 당연히 그보다 훨씬 넓습니다.
누군가 “AI가 이렇다”고 말할 때마다 저는 “그런데 실제로 어떤 종류의 AI를 말하는 건가요?”라고 생각합니다.
이 점도 유의해야 할 것 같습니다.

알레산드로 메디치
그 말씀에 이어서 이야기해도 될까요?
도움이 될 만한 다른 연구가 떠올랐습니다.
먼저 전제를 하나 말씀드리면, 누구도 러다이트가 되어 기술에 반대하고 싶어 하는 것은 아닐 것입니다.
기술이 우리의 일하는 방식에 어떻게 영향을 주는지를 돌아보자는 것이죠.
흥미로운 연구가 하나 더 생각났습니다.
고등학생들의 수학 학습을 대상으로 대조 연구를 했는데, 한 집단에는 챗GPT를 사용하게 하고 다른 집단에는 사용하지 못하게 했습니다.
챗GPT를 사용한 집단은 시험에서 40몇 퍼센트라는 큰 차이로 더 좋은 성적을 거두었습니다.
하지만 그 집단에서 챗GPT를 사용하지 못하게 하자 오히려 성적이 떨어졌습니다.
실제로 이해를 쌓은 것이 아니라, 이해와 역량, 지식을 갖추었다는 착각이 생겼다는 뜻입니다.
솔직히 우리 자신에게서도 이런 모습을 볼 수 있습니다.
저도 일상에서 책을 읽거나 유튜브 영상을 보면 무언가 배웠다는 느낌을 받습니다.
하지만 실제로 창의적인 과정에 적극적으로 참여하고, 내용을 만들어내며, 제 뇌를 사용해야 지식이 제대로 자리 잡습니다.
LLM이나 GPT, 앤트로픽 같은 것들이 생각과 업무의 대부분을 대신하도록 지나치게 의존하면 여러 위험이 있습니다.
이 연구에서 보여준 위험 중 하나가 바로 실제 이해를 쌓지 못한다는 것입니다.

수데슈나 마하타
맞습니다.
감사합니다, 알렉스.
이안과 예룬의 생각도 듣고 싶습니다.
지금 어떤 생각을 하고 계신가요?

이안 겔하르 프라트
폰투스가 말한 복사와 붙여 넣기에 관한 연구가 좋았습니다.
정말 그렇죠.
그 모습을 보면 재미있기도 합니다.
우리는 여러 에이전트를 오케스트라처럼 지휘하는 사람을 상상합니다.
그런데 실제 AI 사용은 한 창에서 다른 창으로 복사하고 붙여 넣는 것에 그치기도 합니다.
인간은 이 새로운 일하는 방식에서 살아남고 적응하려고 합니다.
그렇게 노력하는 동안 이런 이상한 상황들이 나타날 것입니다.
AI는 아주 큰 변화를 가져올 것이라고 생각합니다.
하지만 우리는 그 변화를 충분히 이해하지 못하고 있습니다.
해야 할 일과 납품해야 할 결과물이 있고, 기존 업무의 관성 속에서 일하면서 AI와 새로운 에이전트를 도입해야 하기 때문입니다.
예를 들어 저희는 기업의 AI 도입을 돕고 있는데, 처음 나타나는 실수 중 하나는 예전의 사고방식으로 AI를 사용하는 것입니다.
그것이 이런 상황을 만들어냅니다.
우리가 상상한 방식으로 일하고 있지 않은 것이죠.
AI가 기계적인 일이나 지루한 일을 대신하는 것은 사실입니다.
하지만 저는 두 가지가 걱정됩니다.
첫 번째는 아무것도 읽지 않게 되는 것입니다.
이제 AI 때문에 이전만큼 많이 읽지 않습니다.
문서나 연구보고서를 직접 읽는 대신 AI의 요약을 읽습니다.
저는 이것이 큰 실수라고 생각합니다.
우리 과정의 중요한 부분을 넘겨주고 있는 것입니다.
직접 읽지 않고, 읽으면서 지루해지는 경험도 하지 않는다면 문제가 됩니다.
우리의 뇌에는 지루함을 느낄 필요가 있습니다.
작업을 바꾸어 다른 보고서를 읽는 동안 이전 주제에 대한 아이디어가 떠오르기도 합니다.
이런 AI 자동화 기능을 사용하면, 그 과정 전체를 거쳐 생각할 수 없게 되기 때문에 문제가 생길 수 있다고 생각합니다.
두 번째는 기업들이 이제 주니어가 더는 필요하지 않다고 생각한다는 점입니다.
주니어에게 상대적으로 덜 중요하거나 기계적인 작업을 할 기회를 주지 않으면, 기준과 판단력, 감각을 갖춘 시니어를 어떻게 만들 수 있을까요?
이런 역량을 모두 키우려면 오랜 시간이 필요합니다.
이 두 가지가 제가 걱정하는 점입니다.

수데슈나 마하타
그렇습니다.
인간의 뇌가 어떻게 학습하는지, 그리고 다양한 영역에서 AI를 도입한 결과를 조직이 어떻게 보기 시작했는지까지 말씀해 주셨습니다.
예룬, 말씀해 주시고, 그다음에는 로봇 분야의 관점도 조금 듣고 싶습니다.

예룬 덴 아윌
앞서 이야기한 두 가지 상황을 저는 두 가지 관점에서 봅니다.
하나는 디자인팀으로서 우리가 하는 일입니다.
일상적으로 수행하는 작업과 그 작업에 사용하는 AI를 말합니다.
다른 하나는 고객을 위해 하는 일입니다.
고객을 위한 AI 솔루션을 디자인한다면 서비스디자인의 역할은 무엇일까요?
첫 번째 관점에서 보면 우리는 의사결정과 판단, 이해를 이야기하고 있습니다.
상황 A에서는 팀 전체와 고객이 한자리에 앉아 함께 만들어갑니다.
상황 B에서는 여러분과 AI가 있고, 최종 결과물이 나옵니다.
제게 핵심은 생각과 방향을 맞추는 것입니다.
그것은 두 상황 모두에서 중요합니다.
첫 번째 상황에는 그 과정이 이미 포함되어 있습니다.
고객과 함께 있기 때문입니다.
두 번째 상황에서 시작하면 아마 더 빠를 것입니다.
일종의 결과물을 얻게 되겠죠.
하지만 그것은 다시 고객의 손에 들어가야 합니다.
그다음 고객과 함께 진행하는 세션이 아주 중요해집니다.
AI가 내놓은 것에 대해 실제로 생각과 방향을 맞추기 시작하는 자리이기 때문입니다.
그래서 A에서 시작하든 B에서 시작하든, 제게는 생각과 방향을 맞추는 것이 매우 중요합니다.
고객의 관점에서는 무엇이 자신에게 가장 가치 있는지 알아가는 것입니다.
상황 A일까요?
시간이 더 많이 들까요?
상황 B에서는 시간이 덜 들 수도 있습니다.
하지만 AI에만 의존할 수는 없습니다.
함께 일하는 팀과 생각을 맞추어야 합니다.
다른 관점, 즉 고객을 위한 AI 솔루션을 디자인하는 일에서는 고객의 일상적인 작업들을 보게 됩니다.
“이것을 복사해서 붙여 넣어야 합니다.”
“이것저것을 요약해야 합니다.”
하지만 AI의 가장 큰 가치가 있는 곳은 아마 거기가 아닐 것입니다.
실제로는 고객이 수행하는 어려운 인지적 작업에 있습니다.
고객에게서 발견하는 활용 사례는 여러 가지인데, AI는 반드시 해야 하는 일상적 작업을 대신하는 것보다 훨씬 큰 가치를 제공할 수 있습니다.
우리는 고객과 바로 그런 대화를 합니다.

수데슈나 마하타
생각과 방향을 맞추는 이야기가 나왔는데, 시청자 한 분이 이렇게 말씀하셨습니다.
“단순한 일상 업무는 아니지만, 많은 사람이 군집화와 주제 도출에 AI를 사용하는 것을 봤습니다.”
그것은 생각을 맞추고, 문제를 이해하는 힘을 기르는 데도 매우 중요한 작업입니다.
주제를 찾고 군집화하며 여러 문제 사이의 관계를 발견하는 일이죠.
핵심 문제가 무엇인지 파고드는 것입니다.
흔히 말하는 근본 원인을 찾는 것이죠.
좋은 말씀입니다.

예룬 덴 아윌
하지만 다시 말씀드리면, 예를 들어 실제 워크숍에서 AI를 활용할 때 우리 모두 그렇게 하고 있을 것입니다.
AI는 주제를 찾고 군집화하는 데 아주 뛰어납니다.
그렇더라도 다시 고객에게 보여주어야 합니다.
고객이 공감하는지, AI가 놓친 다른 것이 보이는지 확인해야 합니다.
그래야 고객이 이것이 자신의 것이라고 느낄 수 있습니다.
자신도 함께 작업했고, 우리가 만든 결과에 동의할 수 있다고 느끼게 됩니다.

수데슈나 마하타
정말 좋습니다.
시청자분의 이 문장도 나중에 빌려 쓰겠습니다.
“느린 부분이 중요한 부분입니다.”
좋습니다.
조이, 관점을 나눠주세요.

조이 소
인간·로봇 상호작용 디자인 분야에서 일하며 접하는 주제를 몇 가지 말씀드릴 수 있습니다.
지금까지 이야기한 LLM 기반 AI와는 조금 다릅니다.
물리적 AI와 머신러닝에 더 가까운 관점입니다.
배경을 말씀드리면, 저는 자율 수중로봇이 수색·구조 잠수 작업을 어떻게 지원할 수 있는지 알아가는 일을 하고 있습니다.
피츠버그의 응급구조 잠수요원들은 사람들이 도시의 강에 떨어지거나 빠지거나 뛰어드는 사건에 대응합니다.
이런 상황에서는 구조가 시신 수습으로 바뀌기 전에 대응할 수 있는 시간이 몇 분밖에 없습니다.
어떤 뜻인지 아시겠죠?
제 역할은 AI나 자율 로봇 보조 장치가 기존 잠수요원의 작업 흐름 안에서 어디에, 어떻게 들어갈 수 있는지를 살펴보는 것입니다.
그래야 더 안전하고 효과적으로 수색하고, 더 빨리 피해자를 찾을 수 있습니다.
그 과정에서 저는 여러 종류의 마찰, 느린 작업과 빠른 작업을 구분하려고 합니다.
로봇이 분명히 더 잘하는 일이 있습니다.
오랫동안 물속에 머무는 일이나 소나를 이용한 지도 작성, 위치 파악 같은 것입니다.
이런 일에서는 로봇이 확실히 우세합니다.
제 생각에는 상대적으로 쓸모없는 마찰을 해결하는 일이라고 볼 수 있습니다.
반면 인간이 더 잘하는 일도 있습니다.
알레산드로가 이야기한 깨달음의 순간이나 여러 요소를 종합해 맞추는 일입니다.
AI는 그런 것을 뽑아내는 척할 수 있지만, 실제로는 거기에서 진정한 의미를 얻지는 못합니다.
구조 상황을 예로 들면, 목격자가 증언한 마지막 목격 지점 같은 요소가 있습니다.
“저 사람이 저쪽에 떨어진 것 같아요”라고 누군가 말하는 것이죠.
강의 흐름과 수온도 있습니다.
이 모든 요소가 수색 방식에 영향을 줍니다.
제 생각에는 지금 로봇이 그것을 알아내기는 어렵습니다.
그래서 이런 마찰은 우리가 지키고 싶은 종류의 마찰이라고 생각합니다.
사용자의 속도를 필요한 만큼만 늦추고, 판단하는 데 필요한 적절한 마찰과 정보를 제공하는 것입니다.
사용자가 판단하고 평가한 다음, 그 지점에 도달하면 나머지는 매끄럽게 만들 수 있습니다.
로봇의 수중 이동 같은 것들 말입니다.
질문에 답이 되었는지 모르겠습니다만, 생산적인 마찰은 판단이 필요한 부분이라고 생각합니다.

수데슈나 마하타
분명 새로운 관점을 가져다주셨습니다.
폰투스가 말씀하셨던 것처럼, AI의 더 넓은 범위를 이야기하면서 우리가 LLM만 말하고 있는 것은 아닌가요?
AI에는 훨씬 더 많은 것이 있습니다.
로봇과 머신러닝, 그 밖에도 많습니다.
촉각 기술도 있고, 세포 관련 기술도 있고, 촉각 기술 분야에서도 여러 일이 진행되고 있는 것으로 압니다.
이 점에 대해 더 이야기해 주실 수 있을 것 같습니다.
말씀해 주세요.

폰투스 베른스톨
조이에게 감사하다는 말씀을 드리려던 참이었습니다.
그 관점이 정말 좋습니다.
존 매카시가 이미 1956년쯤 이렇게 말했다는 점이 의미심장하다고 생각합니다.
“일단 제대로 작동하기 시작하면 아무도 더는 그것을 AI라고 부르지 않습니다.”
기술이 깊이 자리 잡고, 일상에 스며들고, 표준화되면 우리는 더는 그것을 AI라고 생각하지 않는 경향이 있습니다.
이메일의 스팸 필터가 그렇습니다.
관계형 데이터베이스도 1970년대에는 AI 연구의 일부였습니다.
하지만 이제는 누구도 데이터베이스를 AI라고 생각하지 않죠.
LLM도 같은 운명을 맞을 것이라고 생각합니다.
몇 년 뒤에는 또 다른 반짝이는 새 기술을 AI라고 부를 것입니다.
이런 맥락을 분명히 하는 것도 과장된 열풍에 휩쓸리지 않도록 하는 일종의 백신이라고 생각합니다.

수데슈나 마하타
알레산드로, 방금 말씀하신 점을 더 설명해 주시겠어요?

알레산드로 메디치
그저 재미있는 인용문 하나가 떠올랐습니다.
영국 작가 더글러스 애덤스가 생각났습니다.
『은하수를 여행하는 히치하이커를 위한 안내서』의 저자입니다.
정말 뛰어난 사람이죠.
다들 아실 것입니다.
그는 이런 농담을 하곤 했습니다.
“기술이란 아직 제대로 작동하지 않는 것을 가리킬 때 쓰는 말이다.”
복잡하고도 거대하며 흥미로운 주제입니다.
계속 진화하고 있다는 점도 염두에 두어야 합니다.
사람들이 양극단으로 갈라지는 것도 매우 인간적인 성향이라고 생각합니다.
한쪽에는 지나치게 흥분하는 사람들이 있고, 다른 쪽에는 반대하는 사람들이 있습니다.
우리는 그 사이 어딘가에 자리 잡고 의식적으로 사용해야 한다고 생각합니다.
주의를 기울이고, 기술이 계속 발전하는 모습을 따라가야 합니다.
지금 창의성이나 주니어가 사라지는 문제, 정성적 분석 같은 이야기를 했습니다.
2년 전이었다면 이런 대화는 완전히 상상하기 어려웠을 것입니다.
예를 들어 창의성에 관한 현재 연구도 계속 바뀝니다.
이 모델들이 발전하는 속도가 놀랍기 때문입니다.
어떤 사람은 이미 정체기에 접어들었다고 말하고, 어떤 사람은 계속 성장할 것이라고 말합니다.
어떤 사람은 연산 능력을 더 늘리면 된다고 하고, 다른 사람은 데이터의 한계라고 말합니다.
어떻게 될지는 지켜봐야 합니다.
하지만 지금 창의성에 대해 알고 있는 것을 보면, 한 연구에서는 AI가 평균적으로 일반 인구의 평균보다 더 창의적이라고 합니다.
반면 창의성이 높은 소수의 사람들과 비교하면 AI의 창의성은 그들보다 낮습니다.
이런 비교에는 인간과 AI에 모두 적용할 수 있는 표준화된 창의성 평가가 사용됩니다.
아주 유명한 평가가 있는데 지금 이름은 기억나지 않습니다.
30초 정도 안에 서로 관련 없는 개념을 생각해 내게 하는 것입니다.
정성적 분석도 이야기했습니다.
합성 페르소나나 자동화된 정성적 인터뷰 진행자를 만들려는 시도도 보고 있습니다.
여기에서도 널리 쓰이는 평가가 있습니다.
사람이 주제분석을 위해 데이터를 코딩하는 것과 LLM 기반 코딩을 비교하면, 일치와 불일치의 정도에 큰 차이가 나타납니다.
코드 유형의 다양성 같은 면에서도 큰 차이가 있습니다.
이런 점에서 AI는 인간보다 상당히 협소한 것 같습니다.

수데슈나 마하타
좋습니다.
인간에 비해 AI가 협소하다는 말씀으로 마무리해 주셨네요.
폰투스, 이안의 말씀을 듣고 떠오른 생각을 조금 나누고 싶다고 하셨죠?
거기에 덧붙여 주시겠어요?

폰투스 베른스톨
네.
이안은 이런 환경에서 주니어가 어떻게 성장할 수 있는지 이야기했습니다.
그 점에서는 도널드 쇤이 약 40년 전에 이야기한 ‘행위 중 성찰’과 ‘행위에 대한 성찰’을 살펴볼 수 있습니다.
추론 과정을 따라가고, 의사결정이 어디에서 이루어졌는지 찾아내며, 어떤 상황이 자신에게 무엇을 말하고 있었는지 이해하는 것입니다.
이렇게 암묵지가 쌓입니다.
보통 우리가 시니어나 경험 많은 사람이라고 부르는 것은 이런 지식이 쌓인 사람입니다.
예를 들어 정성적 인터뷰를 상세하게 분석하는 일을 없애고 LLM 서비스에 맡기면, 그 실천과 행위에 대한 성찰, 행위 중 성찰을 놓치게 됩니다.
그래서 디자인 이론에는 이미 어디에 위험이 있고 어디에는 없는지 알려주는 단서가 있다고 생각합니다.
이반 일리치의 급진적 독점도 마찬가지이고, 사용하는 도구의 논리가 여러분 정신의 논리가 된다는 매클루언의 이야기 등도 그렇습니다.
우리는 이미 상당 부분 답을 가지고 있습니다.
다만 예전 사상가들이 쓴 것을 잊어버리는 경향이 있을 뿐입니다.

수데슈나 마하타
정말 그렇습니다.
의사결정이라는 말씀을 듣고 저도 질문이 아주 많이 떠오르기 시작했습니다.
의사결정에는 누군가의 판단을 신뢰하는 일과 책무성, 책임이 함께 따라옵니다.
모든 의사결정에는 원래 이 세 가지가 함께 있었죠.
그렇다면 우리가 아무런 통제권도 갖지 못하는 여러 모델을 실제로 배포하는 시스템 쪽으로, 사용자 개인의 책임이 옮겨가는 지점은 어디일까요?

폰투스 베른스톨
잠깐 말씀드려도 될까요?
제가 발언 시간을 다 차지하려는 것은 아닙니다만. [웃음]
제3의 행위자가 있다는 점을 짚고 싶습니다.
LLM 서비스를 제공하는 기업입니다.
그러므로 이것을 디자이너 아니면 AI의 문제라고 말하는 것은 잘못된 표현입니다.
이 AI에는 행위 주체성이 없습니다.
AI의 출력에 책임을 지는 것은 기업입니다.
그 점을 말씀드리고 싶었습니다.

수데슈나 마하타
예룬, 웃으시는 것을 들었습니다.
이 점에 의견이 있으신 것 같네요.

예룬 덴 아윌
네, LLM을 내놓는 기업도 포함됩니다.
저희는 더 중대한 시스템이 있는 환경에서 일합니다.
AI에 얼마나 자율성을 줄 것인지, 인간을 의사결정 과정에 참여시키는 ‘휴먼 인 더 루프’를 어떻게 할 것인지, 위험과 규정 준수를 어떻게 다룰 것인지에 많은 주의를 기울여야 합니다.
AI나 기술 쪽의 책임과 관련해서는, 함께 디자인하는 기업 안에서 의사결정 과정에 참여해야 하는 인간과의 관계 속에 AI를 어떤 역할로 둘지 정해야 합니다.
그곳에 책임이 있어야 합니다.

수데슈나 마하타
그렇습니다.
휴먼 인 더 루프라는 개념은 지금 널리 논의되고 있습니다.
조이, 잠수요원들과 구조 작업을 다루고 계시니 매우 물리적인 관점에서 이야기해 주세요. [웃음]

조이 소
우선 미국에서는 최근 메타 플랫폼이 어린이에게 중독을 유발하도록 디자인되었다는 법원 사건에서 좋은 신호들이 나타났습니다.
기업이 알고리즘의 행동에 책임을 지도록 할 수 있다는 선례가 마침내 만들어지고 있습니다.
“알고리즘이 그랬습니다”, “AI는 블랙박스입니다”라는 말이 더는 피해를 주는 행위의 변명으로 통하지 않는다는 것이죠.
저는 제가 하는 일의 맥락에서 이런 문제를 생각합니다.
AI가 생사를 가르는 판단을 하도록 신뢰한다는 이야기를 할 때는 더는 모델을 맹목적으로 믿을 수 없습니다.
사용자의 신뢰를 얻는 것은 모델이 어떻게 디자인되었는가에 달려 있다고 생각합니다.
이미 조금 이야기했지만, 모델을 둘러싼 가드레일이 중요합니다.
언제 행동할 수 있는지, 어떤 범위 안에서 행동할 수 있는지, 언제 인간의 참여와 개입이 필요한지를 정확히 정하는 것입니다.
이 모든 것은 엄격한 시험과 평가를 통해 인간이 디자인해야 합니다.

수데슈나 마하타
그렇습니다.
시험을 말씀하셨으니 조금 더 질문하고 싶습니다.
실제로 무언가 잘못되는 상황을 가정하면, 지금 책임을 나누는 과정은 어떻게 되어 있나요?

조이 소
솔직히 말씀드리면, 저희 기업은 생사를 가르는 상황에 AI를 사용하는 단계에 아직 도달하지 못했습니다.
지금은 시범적으로 시험하고 있고, 물론 앞으로 어떻게 생명을 구할 수 있을지 바라보고 있습니다.
하지만 로봇을 먼저 물속에 넣는 데에는 정책적·윤리적·사회적 함의가 아주 많습니다.
이 점은 콘퍼런스 발표에서 이야기합니다.
현재로서는 근거를 확인하고 마네킹을 활용하는 등 훨씬 더 많은 시험이 필요합니다.
누군가의 생명을 위험에 노출하기 전에, 잘못될 수 있는 모든 가능성을 철저히 다듬어야 합니다.

수데슈나 마하타
감사합니다, 조이.
그 이야기를 나눠주셔서 감사합니다.
이안의 의견도 듣고 싶습니다.
좋은 디자이너는 신뢰와 책임에 관한 이런 자질을 갖추어야 한다고 말씀하셨죠.
발표 주제로 조금 돌아가서, 이런 맥락에서는 그것이 어떤 의미인지 여쭙고 싶습니다.

이안 겔하르 프라트
신뢰와 이런 책임에 관해 말씀하시는 건가요?

수데슈나 마하타
네.
AI와 함께 일하고 AI를 서비스디자인 과정에 넣을 때의 신뢰, 책임, 책무성을 말합니다.

이안 겔하르 프라트
많은 사람이 디자이너의 역할이 윤리적·도덕적 관점에서 가드레일과 한계, 넘지 말아야 할 선을 디자인하는 일이 될 것이라고 이야기합니다.
하지만 현실은 우리가 자본주의 세계에 살고 있다는 것입니다.
기업이 이것을 받아들일지는 모르겠습니다.
목표나 사업 목표를 달성하기 위해 가능한 모든 일을 무조건 하지는 않도록, 우리가 최전선에서 막으려 할 것 같습니다.
하지만 기업 안에서 우리만 홀로 그렇게 하고 있을지도 모르겠습니다.
세계적인 자본주의와 규칙의 부재가 이 상황을 지배하기 때문입니다.
어렵겠지만, 저는 그것이 우리의 역할이라고 확신합니다.
우리는 모든 것이 가능해지는 시점에 있습니다.
이것은 논의해야 할 중요한 문제입니다.
이전에는 복잡한 시스템이나 서비스, 제품을 만드는 일이 비쌌습니다.
하지만 AI와 함께하는 지금, 또는 앞으로는 아주 저렴해질 것입니다.
무엇이든 만들 수 있게 됩니다.
무엇이든 만들 수 있을 때 어떻게 한계를 정할 수 있을까요?
조사와 검증을 기업 내부에서 수행하는 것보다, 먼저 출시하고 시험하며 어떻게 되는지 지켜보는 편이 더 저렴해질 것입니다.
그래서 기술적으로 무언가를 할 수 있는 상황을 많이 마주하게 될 것 같습니다.
그때 디자이너인 우리는 윤리적 원칙과 우리가 정하고 싶은 한계에 따라 이렇게 말해야 합니다.
“이것은 가능합니다. 하지만 우리는 이것을 하고 싶지 않습니다.”
그러므로 AI에 ‘아니요’라고 말할 수 있는 디자이너가 필요합니다.
이것은 우리에게 정말 큰 도전이 될 것입니다.
사업의 핵심성과지표와 “경쟁사도 똑같이 하고 있다”는 압박을 많이 받게 될 테니까요.
또 다른 문제는 주권입니다.
영어가 매끄럽지 않아 죄송합니다만, 주권이라는 문제입니다.
지난주 앤트로픽에서도 이런 모습을 보았습니다.
새로운 모델을 만드는 사람들이 “이것은 정말 위험하다”고 말하며 회사를 떠납니다.
하지만 기업은 그대로 남아 있습니다.
최고의 LLM 모델을 둘러싼 세계적인 경쟁은 기업이 더 빨리 움직이도록 강제합니다.
윤리적 한계에는 속도를 늦추는 데 필요한 만큼의 힘이 없는 것 같습니다.
그래서 우리는 이 상황에서 외로울 수 있다고 생각합니다.
여러 방향에서 많은 압박을 받게 될 것입니다.
기업과 이사회를 설득하기 위해 상당한 설득 역량이 필요할 것입니다.
“이것은 가능하지만 도덕적이지도, 윤리적이지도 않습니다”라고 말할 수 있어야 합니다.
어떻게 될지는 지켜봐야겠죠.

수데슈나 마하타
감사합니다, 이안.
지금 45분이 지났습니다.
질의응답을 시작하게 되어 기대됩니다.
시청자 여러분, 채팅에 질문을 적어주세요.
약간의 지연이 있으니 서두르지 않으셔도 됩니다.
지금 대화가 아주 좋은 지점에 와 있으니 조금 더 이어가겠습니다.
알레산드로, 깊이 생각하고 계신 것 같은데 의견을 듣고 싶습니다.

알레산드로 메디치
어떤 말씀을 하시는 건가요?

수데슈나 마하타
앞서 추적 가능성과 의사결정에 관한 말씀을 하셨습니다.
그 점을 더 설명해 주실 수 있을까요?

알레산드로 메디치
블랙박스를 말씀하셨기 때문에 떠올랐습니다.
지금도 블랙박스인 것은 사실입니다.
이 기업들이 그 문제를 연구하고 있습니다.
우리는 구조와 기술의 관점에서 LLM이 어떻게 만들어지는지 알고 있습니다.
학습과 재학습, 사후학습 등에는 거대한 파이프라인과 정교한 과정이 들어갑니다.
하지만 제가 이해한 바로는, 실제로 지금 작동하는 방식은 학습 과정에서 조정되는 여러 매개변수에 기반합니다.
그것이 어떤 의미에서는 개념에 대한 인간과 비슷한 이해를 표본화하듯 만들어줍니다.
예를 들어 다음 단어를 선택하거나 이미지를 만들 때 다음 픽셀을 선택하는 방식에는, 이 LLM이 학습 과정에서 만들어낸 의미들이 담겨 있습니다.
문제는 그 부분을 해독하는 데 우리가 어려움을 겪는다는 것입니다.
그래서 블랙박스라고 부릅니다.
LLM이 왜 다른 단어 대신 이 단어를, 다른 픽셀 대신 이 픽셀을 선택했는지 실제로 알지 못합니다.
이것은 앞서 말씀드린 추적 가능성의 문제를 만듭니다.
LLM은 내용을 생성하도록 만들어졌습니다.
그래서 언제나 내용을 만들어냅니다.
회의록을 분석해 달라고 하면 요약과 코드를 만들고, 일종의 아이디어를 만들어낼 것입니다.
앞으로 이런 문제는 개선될 것입니다.
그 점에는 의심이 없습니다.
하지만 지금은 예를 들어 환각을 일으킵니다.
또 “왜 이런 결과를 내놓았나요? 인용문을 알려줄 수 있나요? 왜 이 지점을 골랐나요? 왜 다른 것 대신 이것을 선택했나요?”라고 물어도 답하지 못할 수 있습니다.
우리는 실제로 알지 못합니다.
반면 우리가 이 과정을 수행할 때는 언제든 근거를 짚어줄 수 있습니다.
“저는 이 과정을 거쳤습니다. 그 과정을 성찰했기 때문입니다.”
“이것이 근거이고, 데이터이고, 출처입니다.”
“제가 따라간 경로는 이렇습니다.”
앞서 말씀드렸듯 LLM에서는 이런 부분을 놓치게 됩니다.

수데슈나 마하타
감사합니다, 알레산드로.
아주 잘 정리해 주셨습니다.
그런데 인간의 마음도 블랙박스가 아닐까요?
설명을 요청하기 전까지는 다른 사람의 머릿속에서 무엇이 작동하는지 알 수 없잖아요. [웃음]
그 점도 궁금합니다.
하지만 그 이야기는 다음 기회에, 콘퍼런스에서 나눌 대화의 예고로 남겨두겠습니다.
제가 찾아가서 이 질문을 드리겠습니다.
그러면 올라온 질문 하나를 보겠습니다.
린든의 질문입니다.
“AI 개발의 속도를 반드시 늦추지 않으면서도, AI가 발전하는 과정에 더 강한 윤리적 관점을 더하려면 무엇이 필요할까요?”

폰투스 베른스톨
괜찮다면 먼저 떠오른 생각을 말씀드리겠습니다.

수데슈나 마하타
네.
그다음 예룬이 말씀해 주세요.

폰투스 베른스톨
이 질문의 구성이나 표현 방식은 요즘 흔히 보이는 것과 같습니다.
어떤 식으로든 AI 자체를 의인화하고 있습니다.
AI가 스스로 발전하는 것은 아닙니다.
그렇게 할 수 있는 능력을 일부 가지고는 있지만, 윤리적 가치사슬은 모델을 출시하는 기업이 넣는다는 점을 기억해야 합니다.
먼저 학습을 하고, 그다음 인간에 의한 강화학습을 합니다.
그 과정에서 예를 들어 앤트로픽이나 오픈AI의 가치를 서비스에 명시적으로 새겨 넣습니다.
그러므로 윤리적 측면도 다시 기업에 있습니다.
현재 사회 전체가 여기에 발언권을 가지고 있는 것은 아닙니다.
AI라는 것이 어떻게 발전할지에 우리가 발언권을 가지려면 규제가 필요합니다.
지금은 영리기업이 자신의 모델을 발전시키고, 우리는 그것을 기꺼이 사용하지만, 발언권은 없습니다.
그것이 상업적 현실입니다.
그 사실을 외면해서는 안 됩니다.

수데슈나 마하타
EU가 AI 정책을 내놓는 것을 생각해 보면 관련 논의가 있습니다.
이미 한동안 이어져 왔고, 노력하고 있습니다.
하지만 지침을 따르지 않으면 어떤 결과가 있는지, 어떤 제재가 있는지는 의문입니다.
시장에 접근하지 못하게 되는 걸까요, 아니면 어떻게 될까요?
어떤 불이익이 있을지 궁금합니다. [웃음]

예룬 덴 아윌
이 논의에서 또 하나 중요한 윤리적 부분은 LLM을 사용하는 기업이 어디에서, 어떻게 사용하느냐에 있다고 생각합니다.
저희가 고객과 하는 대화를 보면, 복잡한 프로세스 하나를 놓고 AI가 어디에서 가장 큰 가치를 가질 수 있는지 살펴봅니다.
AI가 실제로 무엇을 할 것인지, 사용자의 관점에서 경험에 어떤 영향을 줄 것인지 논의합니다.
기업의 비전에서 시작하는 것도, 만들어가는 AI 솔루션의 도덕적 나침반이자 일종의 윤리 점검이 됩니다.
AI 솔루션의 틀을 잡고 구축할 때 그 기업의 비전과 윤리적 지침 안에서, 해당 기업에 부합하도록 만드는 것입니다.
이 점도 중요하다고 생각합니다.
그래서 저는 이 질문을 누구에게 던지는지도 묻고 싶습니다.
LLM 모델을 만드는 기업만을 대상으로 하는 질문인가요?
그렇다면 폰투스의 말씀에 전적으로 동의합니다.

수데슈나 마하타
그 관점이 좋습니다.
우리는 누구에게 묻고 있나요?
정부인가요?
사용하는 사람들인가요?
이것을 원하는 고객인가요?
아니면 만드는 기업인가요?
서로 다른 이해관계자가 아주 많습니다.
그 모든 영역에서 윤리적이어야 합니다.
그렇게 되도록 우리는 무엇을 할 수 있을까요?
좋습니다.
마리아나의 질문이 하나 더 있습니다.
“디지털 디자인을 공부하는 학생으로서 AI와 어떤 관계를 맺어야 할까요? 무엇을 피해야 하며, 학업 중이나 앞으로 무엇을 얻을 수 있을까요?” [질문 끝부분의 자막 불명확]
폰투스, 먼저 말씀해 주시겠어요?

폰투스 베른스톨
물론입니다.
학계에도 조금 몸담고 있는 입장에서, 저는 과학철학으로 돌아가 보는 편입니다.
신실증주의가 있습니다.
LLM이 정말 잘하는 영역입니다.
그것이 디자이너가 하는 일의 전부라면 답은 이미 정해져 있다고 생각합니다.
그냥 LLM에 일을 넘기면 됩니다.
하지만 우리에게는 실용주의도 있습니다.
직접 만들고, 실제 세계에서 무엇이 작동하는지 살펴보는 실천입니다.
LLM이 할 수 없는 일이죠.
프로토타이핑이나 초안과 선택지를 만들어내는 실용주의적 접근입니다.
또 현상학이 있습니다.
인터뷰 응답자가 말하는 것을 이해하려면 살아낸 경험이 필요합니다.
회의록에 대한 실증주의적 분석을 넘어, 실제 세계에 발을 딛고 있는 인간에게 이것이 어떤 의미인지 살펴봐야 합니다.
이런 점을 생각해야 합니다.
산출물을 역량이나 이해와 혼동하지 마세요.
예를 들어 러버블(Lovable)이나 피그마 메이크(Figma Make)에서 잘 다듬어진 결과물을 만들었다고 해서, 여러분이 다룬 디자인 문제를 이해했다는 증거가 되지는 않습니다.
우리는 디자인의 전문적인 실천이 실제로 무엇인지에 비해 생산 속도를 과대평가하고 있다고 생각합니다.
이것이 제 기본적인 관점입니다.

수데슈나 마하타
감사합니다.
조이, 이 문제에 대한 관점을 듣고 싶습니다.

조이 소
앞서 이야기했던 것으로 돌아가 보면, 무언가를 모른다는 불편함을 편안하게 받아들이는 것이 한 가지라고 생각합니다.
챗GPT에 답을 묻거나 무언가를 어떻게 시작하면 되는지 물어서 도파민이 주는 만족을 얻는 것은 아주 쉽습니다.
하지만 모르는 상태에서 무언가를 시작하고, 방향을 잡아 나가야 하는 경험은 암묵지를 쌓는 데 도움이 됩니다.
혼자 무언가를 알아내는 과정을 실제로 겪고 몸으로 익히는 경험입니다.

폰투스 베른스톨
여기에 꼭 덧붙이고 싶습니다.
‘불편함을 견디며 머무른다’는 표현이 정말 좋습니다.
또 모호함을 견디는 것도 중요합니다.
“이것일 수도 있고, 저것일 수도 있고, 또 다른 것일 수도 있다”는 상태에 오랫동안 머물 수 있어야 합니다.
곧바로 완성되고 잘 다듬어진 답으로 뛰어드는 대신 말입니다.
감사합니다, 조이.
좋은 표현이었습니다.

수데슈나 마하타
좋습니다.
이제 대화가 끝나가고 있습니다.
5분 정도 남았으니 SDGC 이야기로 조금 옮겨가겠습니다.
기계와 AI, 사람 사이의 관계, 서비스디자인에 대해 SDGC26이 도전해 주었으면 하는 가정이 하나 있다면 무엇일까요?

알레산드로 메디치 [발언자 추정]
제가 먼저 말하게 되는 것 같으니, 이번에는 다른 분께 양보하겠습니다.

수데슈나 마하타
예룬을 지목하겠습니다.

예룬 덴 아윌
죄송하지만 질문을 다시 말씀해 주시겠어요?

수데슈나 마하타
사람과 기계의 관계, 서비스디자인에 관해 SDGC26이 도전해 주었으면 하는 가정이 하나 있다면 무엇인가요?

예룬 덴 아윌
도전적인 질문이네요. [웃음]
저희가 할 발표에도 그 내용이 조금 들어 있습니다.
저희 발표는 AI를 활용해 디자인하는 이야기가 아닙니다.
AI를 위한 디자인에 관한 이야기입니다.
AI 솔루션을 디자인할 때 서비스디자이너의 역할은 무엇일까요?
저희 발표의 일부는 최근 네덜란드 국가경찰과 진행한 프로젝트에 기반합니다.
장기 미제사건과 관련된 프로세스를 다룬 프로젝트입니다.
AI가 어디에서 가장 큰 가치를 줄 수 있을지 알아본 결과는, 저희가 예상했던 것과 완전히 달랐습니다.
오늘 이야기한 여러 일상적이고 반복적인 작업에서, AI가 미제사건을 다루는 수사관에게 정말 도움이 될 것이라고 생각했습니다.
하지만 실제로는 완전히 다른 것으로 드러났습니다.
이것이 저희 발표에 대한 궁금증을 남기는 예고입니다.

수데슈나 마하타
좋습니다.
미리 보여주시면서 궁금증도 남겨주셨네요.
알레산드로, 말씀하시겠어요?

알레산드로 메디치
우리 모두 이 점을 다루게 되겠지만, 다른 사람들이 현장에서 무엇을 하고 있는지 보는 것도 좋을 것 같습니다.
AI를 어떻게 쓰는지, 실천과 일하는 방식이 어떻게 바뀌었는지, 어떤 새로운 사고와 가정에 도전하게 되는지 말입니다.
예를 들어 윤리와 위험, 장벽에 대한 여러분의 성찰도 더 듣고 싶습니다.
앞서 말씀드렸듯 AI가 어떻게 우리를 더 빨리 일하게 할 수 있을지뿐 아니라, 어떻게 더 잘 일하게 할 수 있을지에 관한 성찰도 필요합니다.
AI는 어쨌든 계속 존재할 것입니다.
그러므로 고객을 만족시키면서도 의미 있게 기여하는 방식으로 AI를 효율적으로 사용하려면, 무엇을 유의해야 하는지 생각해야 합니다.

수데슈나 마하타
감사합니다.
이안, 말씀해 주시겠어요?

이안 겔하르 프라트
서로 다른 관점과 의견을 보고 싶습니다.
하지만 디자이너로서 우리는 모든 것을 자동화해 더 빠르고 저렴하게 만들려는 기업들의 흐름에 맞서거나 도전해야 한다고 생각합니다.
일시적인 것들의 가치를 드러내야 합니다.
잠시 존재했다 사라지는 경험들 말입니다.
지금은 아무도 이야기하지 않을지도 모르는 것들입니다.
AI가 모든 것에 들어가고, 모든 것이 멋져 보이며, AI가 무엇이든 아주 잘할 수 있는 세계에서는 불완전함과 오류, 인간의 실수가 디자인 경험에서 다음의 금과 같은 가치를 갖게 될 수도 있다고 생각합니다.
에이전트로 무엇이든 살 수 있고 아무 노력도 들이지 않아도 되는 세계라면, 디자이너는 더 많은 노력과 마찰이 필요한 경험을 만들기 시작할지도 모릅니다.
전자상거래에도 마찰을 넣어서, 내 에이전트와 함께 나 스스로 무언가를 하고 있다는 느낌을 주는 것입니다.
이런 파격적인 아이디어를 발견하고, 반대 방향으로 가보는 시도를 기대합니다.
모든 것이 규모 확장이나 자동화일 필요는 없습니다.
서비스디자이너의 관점에서 다음 가치는 무엇일지 알아가기 시작해야 한다고 생각합니다.
그 가치는 우리가 늘 감추려 했던 인간적인 측면과 관련될 것입니다.
진정성 있고, 고유하고, 개인적이며, 잠시 존재했다 사라지는 것들입니다.
모든 것이 기록되고 추적되는 세계에서는 그런 일시적인 경험도 아주 중요해질 것이라고 생각합니다.
이런 문제와 주제에 도전해 보기를 기대합니다.

수데슈나 마하타
그렇습니다.
발표에서 이런 경험에 대해 더 듣게 되겠네요.
기대하겠습니다.
조이와 폰투스에게는 질문을 조금 바꾸겠습니다.
AI와 관련해서 서비스디자인이 넘어섰으면 하는 경계는 무엇이고, 넘지 않도록 조심해야 할 경계는 무엇일까요?
이미 많은 이야기를 해주셨지만, 조금 정리해서 말씀해 주시면 좋겠습니다.

폰투스 베른스톨
죄송하지만 저와 조이 중 누구에게 먼저 질문하신 건가요?

수데슈나 마하타
조이가 먼저, 그다음 폰투스입니다.

조이 소
좋습니다.
당연한 이야기이지만, AI가 우리의 일과 삶을 영원히 바꾸리라는 것을 기꺼이 받아들여야 한다고 생각합니다.
하지만 질문은 우리가 어떻게 대응하느냐입니다.
앞선 질문에서 말하려던 내용도 있습니다.
우리가 전제하는 그 방향으로 실제로 가지 않을 수도 있습니다.
더 큰 모델을 만들고, 에이전트끼리 대화하며, AI 군비경쟁을 계속하는 것이 반드시 우리가 향하는 최종 목적지일 필요는 없습니다.
보통 기술에 더 낙관적인 젊은 세대에서 오히려 AI에 등을 돌리는 모습을 많이 봅니다.
그래서 그것만이 우리가 디자인해야 할 유일한 미래라고 생각하지 않습니다.
우리가 기꺼이 넘을 경계에 관해서는, AI가 어디에나 있는 새로운 세계와 삶에서 디자이너가 더 적극적인 역할을 해야 한다고 생각합니다.
우리 모두 자본주의의 제약 아래 있고, 기업이 거의 모든 권력을 가지고 있다는 것은 압니다.
하지만 디자이너들에게서 일자리 상실에 대한 걱정을 많이 듣는 동시에, 다른 모든 사람에게서도 같은 걱정을 듣습니다.
잠수사나 상업 잠수사들도 그렇습니다.
아주 물리적이고 현실 세계의 일을 하는 사람들입니다.
AI에 대체될 위험으로부터 가장 안전할 것 같지만, 그들도 두려워합니다.
그래서 디자이너와 서비스디자이너인 우리는 어떤 산업에서 일하느냐에 따라 이런 문제까지 고려해야 합니다.
사용자와 잠수사 등 관련된 사람들을 어떻게 대화에 초대할 수 있을까요?
어떻게 그들을 한자리에 모아 우리 모두 함께 이 미래를 상상할 수 있을까요?

수데슈나 마하타
맞습니다.
참여하는 방식으로 풀어주신 점이 좋습니다.
미래를 함께 상상하는 것은 매우 중요합니다.
늘 디스토피아적인 관점으로만 볼 필요는 없습니다.
우리가 함께 상상할 수 있는 미래는 여러 가지입니다.
폰투스, 말씀해 주세요.

폰투스 베른스톨
정확히 어떤 경계인지는 잘 모르겠습니다.
더 큰 관점에서 보면 서비스디자이너는 언제나 경계를 넘을 준비가 되어 있어야 할 것 같습니다.
그곳에 혁신이 있으니까요.
그래서 경계를 찾아내고 넘는 능력을 갖추어야 합니다.
하지만 예룬이 앞서 말한 것처럼, 더 큰 기회는 아마 서로 다른 종류의 AI를 디자인 재료로 보는 데 있을 것입니다.
이것은 제가 2021년에 낸 책에서도 이야기한 관점입니다.
다른 사람들을 위한 AI 기반 경험을 어떻게 디자인할 것인가 하는 것입니다.
지난 몇 년 동안에는 디자인 과정에서 디자이너를 더 효율적으로 만드는 이야기를 많이 했습니다.
하지만 제가 처음부터 생각했던 것은 고객과 의뢰인, 시민을 위한 AI 기반 경험을 디자인해야 한다는 것이었습니다.
우리 자신의 프로세스에서 속도를 몇 퍼센트 높이는 일을 좇기보다, 그곳에 진정한 힘이 있습니다.
AI 기반 경험을 디자인하는 지침에 대해 더 이야기하는 것이 우리가 논의할 수 있는 하나의 경계일지도 모르겠습니다.

수데슈나 마하타
좋습니다.
폰투스, 시청자분들이 나중에 확인할 수 있도록 댓글에 책을 소개해 주세요.
이제 한 시간이 끝났습니다.
함께해 주신 시청자 여러분께 정말 감사드립니다.
이 자리에 오셔서 SDGC에서 나눌 논의의 일부를 미리 공유해 주신 발표자 여러분께도 감사드립니다.
발표자에 대해 더 알고 싶으시면 QR코드를 스캔하고 웹사이트에 접속해 주세요.
발표 내용과 발표자에 관한 정보가 많이 있습니다.
모두 살펴보셔도 좋습니다.
시청자분들께 마지막으로 한 말씀 하실까요?

참석자 [발언자 미확인]
그곳에서 모두 만나 뵙기를 바랍니다.

수데슈나 마하타 [발언자 추정]
좋습니다. [웃음]
10월 마지막 주, SDGC26에서 모두 뵙겠습니다.
감사합니다, 여러분.
안녕히 계세요.

참석자들
감사합니다.
안녕히 계세요.
안녕히 계세요.
안녕히 계세요.
안녕히 계세요.
[음악]

번역 주석
이 번역은 사용자가 제공한 전체 자막을 기준으로 작성했습니다. 내용과 논리 흐름을 유지하되, 반복되는 말더듬과 무의미한 추임새는 한국어 문장으로 자연스럽게 정리했습니다.
자막에 발언자 구분이 없어, 진행자의 호명·답변 내용·공식 소개를 바탕으로 발언자를 구분했습니다. 이름이 직접 호명되지 않는 첫 두 답변 등은 ‘발언자 추정’, 짧은 합동 인사 등은 ‘발언자 미확인’으로 표시했습니다. 영상과 음성을 통한 발언자별 대조는 하지 못했습니다.
자동자막의 ‘Sishna’, ‘Alexandra’, ‘Pontis’ 등은 공식 이름을 바탕으로 정리했습니다. ‘Adam Douglas’와 ‘Chuck’s Guide to the Galaxy’는 문맥상 더글러스 애덤스와 『은하수를 여행하는 히치하이커를 위한 안내서』로, ‘Donald Sherman’은 ‘행위 중 성찰·행위에 대한 성찰’이라는 용어를 근거로 도널드 쇤으로, ‘Ian Ilich’는 이반 일리치로 판독했습니다.
‘cell technologies’는 자막대로 ‘세포 관련 기술’로 옮겼으나 실제 음성에서 무엇을 뜻하는지는 확인되지 않았습니다. ‘testing on evidence’는 ‘근거를 확인하는 시험’으로 해석했습니다. 질의응답의 ‘in the future in web crisis’는 판독이 어려워 질문 끝부분에 불명확 표시를 남겼습니다. 질의응답 전환부의 ‘Well, you’re fine, Joe’도 의미가 불명확하여 확정 번역하지 않았습니다.
본문의 연구 수치, 기업 퇴사 사례, 법원 사건, 역사적 인용에 관한 설명은 발언자의 주장을 그대로 옮긴 것이며 별도의 사실검증 결과를 뜻하지 않습니다. 제공 자막에는 관련 연구명이나 사건명이 명시되어 있지 않습니다.
사용자가 제공한 영상 소개글의 콘퍼런스 주소는 중간에 잘려 있어, 공식 콘퍼런스 홈페이지 주소로 정리했습니다. 시각 표시는 중부유럽·미국 동부·호주 서부 현지 시간이며 영상의 재생 시점이 아닙니다.