사람을 섬뜩하게 하지 않는 AI 개인화

개인화는 한때 거칠었습니다. 이메일 제목 줄에 들어간 이름, 몇 개의 넓은 고객 세그먼트 정도였죠. AI는 그 경제학을 바꿨습니다. 이제 모델은 선호를 추론하고, 의도를 예측하며, 한 사람을 위한 경험을 이전에는 불가능했던 규모로 맞출 수 있습니다. 잘하면 나를 이해하는 제품처럼 느껴집니다. 잘못하면 감시당하는 느낌이 듭니다. 둘 사이의 경계는 좁고, 그것을 넘으면 신뢰에 오래가는 손상을 입힙니다. 이 글은 그 경계의 올바른 쪽에 머무르는 법에 관한 것입니다.

왜 개인화가 섬뜩함으로 기우는가

그 불편함은 거의 개인화 자체에서 오지 않습니다. 그것은 깨달음에서 옵니다. 적절한 추천은 도움이 되는 듯하다가, 사용자가 "잠깐, 이걸 어떻게 알았지?"라고 생각하는 그 순간 달라집니다. 무언가가 관찰되고, 추론되고, 연결되었다는 — 본인이 알고서 공유하지 않은 것이 — 그 깨달음의 섬광이 바로 섬뜩한 느낌입니다. 데이터가 틀렸다는 것이 아닙니다. 데이터가 한 번도 설명되지 않은 방식으로 맞았다는 것입니다.

이는 목표가 더 적은 개인화가 아니라는 뜻입니다. 그 섬광을 결코 촉발하지 않는 개인화가 목표입니다. 똑같은 추천이라도 사용자가 그것이 어떻게 일어났는지 이해할 수 있느냐에 따라 사려 깊게도, 침습적으로도 느껴질 수 있습니다. 적절함에 투명함을 더하면 서비스처럼 느껴집니다. 적절함에서 투명함을 빼면 감시처럼 느껴집니다.

추론된 데이터는 신중하게, 보이는 데이터는 자유롭게

사람이 알고서 준 데이터와 당신이 그 사람에 대해 추론한 데이터 사이에는 유용한 구분이 있습니다. 누군가 등산 장비를 원한다고 말하면, 등산화를 추천하는 것은 당연히 괜찮습니다. 그들이 기대하니까요. 하지만 당신의 모델이 무관한 행동에서 그 사람이 아마 여행을 계획 중이라고 추론하고, 그 추론을 드러내 놓고 활용하면, 추측이 맞았더라도 섬뜩한 섬광의 위험을 무릅쓰게 됩니다.

실용적인 규칙은 이렇습니다. 어떤 행동이 추론되거나 민감한 데이터에 더 많이 의존할수록, 그것은 작동 방식이 보이지 않거나 명시적으로 설명되어야 합니다. 누군가 명시적으로 말해 준 것을 바탕으로 개인화하는 것은 안전합니다. 그 사람에 대해 추론해 낸 것 — 특히 건강, 재정, 관계, 정체성에 닿는 것 — 을 바탕으로 개인화하는 것은 진짜 주의를 요구합니다. AI는 추론을 값싸게 만들고, 바로 그래서 그것을 둘러싼 절제는 의도적이어야 합니다.

"왜"를 설명하라 — 모든 것이 달라진다

섬뜩함에 맞서는 가장 효과적인 단 하나의 방어는 보이는 이유입니다. "당신이 X를 보았기 때문에" 또는 "이것을 산 사람들이 함께 산 상품"은 추천을 으스스한 것에서 이해할 수 있는 것으로 바꿉니다. 사용자는 논리의 연결고리를 보고, 그것을 공정하다고 인정하며, 불안은 증발합니다. 개인화를 덜 한 게 아닙니다. 개인화를 읽을 수 있게 만든 것입니다.

이것은 거의 비용이 들지 않으면서 엄청난 신뢰를 사들입니다. 사람이 무언가를 보는 이유를 이해하면, 그것을 평가하고, 바로잡고, 그것을 통제하고 있다고 느낄 수 있습니다. 이유가 숨겨져 있으면, 정확한 추천조차 제품이 알아서는 안 될 것을 안다고 느껴집니다. 추론 과정을 보여 주십시오. 그러면 섬뜩함 문제의 대부분이 저절로 사라집니다.

사람들에게 통제권을 주라 — 그리고 존중하라

통제권 없는 개인화는 사람에게 행해지는 무언가입니다. 통제권 있는 개인화는 사람을 위해 행해지는 무언가입니다. 차이는 그들이 시스템이 안다고 여기는 것을 보고, 틀렸을 때 바로잡고, 원할 때 끌 수 있느냐에 있습니다. 누군가를 명백히 잘못 판단한 모델을, 고칠 방법도 없이 두는 것은 개인화가 아예 없는 것보다 나쁩니다. 틀렸으면서 동시에 벗어날 수 없으니까요.

통제권은 보여 주기식이 아니라 진짜여야 합니다. 실제로 경험을 바꾸지 않는 옵트아웃이나, 시스템이 조용히 무시하는 선호 설정은 없느니만 못합니다. 사용자에게 자신이 밝힌 바람이 중요하지 않다고 가르치기 때문입니다. 사용자 통제권을 제안이 아니라 구속력 있는 제약으로 다루는 것은, 위험 정도에 통제 수단을 맞추는 일의 일부입니다. 이것이 NIST AI Risk Management Framework 같은 프레임워크가 옹호하는 핵심 자세입니다.

AI가 들여오는 실패 양상을 주시하라

AI 개인화에는 거친 개인화에는 없던 실패 양상이 있습니다. 단 한 순간에 과적합할 수 있습니다. 다른 사람을 위해 선물 하나를 샀을 뿐인데, 이제 당신의 경험 전체가 당신의 것이 아닌 선호를 중심으로 재편됩니다. 사람들을 고리에 가둘 수 있습니다. 이미 관여한 것을 더 많이 보여 주다가 경험이 막다른 골목으로 좁아집니다. 그리고 사람이 결코 드러내지 않았고 시스템이 그것을 바탕으로 행동하기를 원치 않을 민감한 속성을, 조용히라도 추론할 수 있습니다.

이것들은 예외적 경우가 아닙니다. 절제 없이 참여를 최적화하는 시스템의 정상적인 행동입니다. 방어는 사용자의 다음 클릭이 아니라 실제 이익을 위해 설계하는 것입니다. 사람들이 시스템이 안다고 여기는 것을 초기화하게 하십시오. 개인화가 좁아지는 나선으로 무너지지 않도록 다양성을 설계에 넣으십시오. 그리고 민감한 추론에는 단단한 한계를 두어, 그 사람이 분명히 청하지 않는 한 금지 구역으로 다루십시오.

사람이 아니라 경험을 개인화하라

유용한 사고의 틀이 있습니다. 당신이 누구라고 생각하는지가 아니라, 사람이 무엇을 하고 있는지를 개인화하십시오. 명시적이고 현재 진행 중인 과업 — "당신은 지금 텐트를 사고 있습니다" — 에 맞추는 것은 도움이 되고 좀처럼 섬뜩하지 않습니다. 그 사람이 드러내 놓고 하는 것을 따라가기 때문입니다. 그 사람이 누구인지에 대한 프로필 — 추론된 특성, 예측된 미래, 사적인 사정 — 에 맞추는 것이 불안과 위험이 집중되는 곳입니다.

첫 번째 종류의 개인화는 반응적이고 좋은 서비스처럼 느껴집니다. 두 번째 종류는 주제넘으며 프로파일링당하는 느낌입니다. AI는 두 번째 종류를 기술적으로 쉽게 만들고, 바로 그래서 첫 번째 종류를 선호하는 절제가 이제 차별화 요소입니다. 신뢰를 얻는 회사는 깊이 프로파일링할 수 있으면서도 가볍게 개인화하기를 선택하는 회사입니다.

정리

AI는 개인화를 침습적으로 느껴질 만큼 정밀하게 만들었고, 그래서 새로운 기술은 더 멀리 도달하는 것이 아니라 절제입니다. 섬뜩한 느낌은 도움을 받아서가 아니라 관찰당했음을 깨달아서 옵니다. 따라서 처방은 투명함입니다. 왜인지 설명하고, 사람들이 알고서 준 데이터에 기대고, 추론은 신중하게 다루고, 통제권을 진짜로 만드십시오. 당신이 누구라고 생각하는 프로필이 아니라, 눈앞의 과업을 개인화하십시오. 이것을 제대로 하면 개인화는 존중처럼 느껴집니다. 잘못하면 세상에서 가장 정확한 추천조차 침해처럼 느껴집니다.