AI가 잘못했을 때의 책임

AI 시스템이 해를 끼칠 때, 즉 돈을 잃게 만든 잘못된 추천, 누군가를 다치게 한 결함 있는 출력, 한 사람의 삶을 망가뜨린 차별적 결정이 일어날 때, 어려운 질문이 따라옵니다. 누가 책임을 지는가? 직관적인 답인 "AI가"는 막다른 길입니다. 모델은 사람이 아닙니다. 책임을 질 수도, 의도를 가질 수도, 배상할 수도 없습니다. 그래서 책임은 어떤 사람이나 조직에 떨어져야 하며, 그 대상이 누구인지 알아내는 것이 AI 책임의 핵심입니다. 이 글은 그 추론이 어떻게 작동하는지 쉬운 말로 그려봅니다. 본 글은 일반 정보이며 법률 자문이 아니고, 구체적인 내용은 장소와 상황에 따라 달라집니다.

"AI가 한 일이다"가 아무것도 해결하지 못하는 이유

시스템 자체를 탓하려는 본능은 이해할 만하지만 쓸모가 없습니다. 책임은 실용적인 일을 하기 위해 존재합니다. 피해를 입은 이들을 배상하고, 부주의한 행위를 억제하며, 실수의 비용을 그것을 막을 가장 좋은 위치에 있는 이들에게 지우는 것입니다. 모델은 이 가운데 어느 것도 할 수 없습니다. 자산도, 의무도, 억제될 능력도 없습니다.

그래서 해가 발생하면, 진짜 질문은 그 사슬 속 어떤 인간 행위자나 조직이 책임을 지느냐입니다. AI 시스템의 존재가 책임을 녹여 없애지는 않습니다. 단지 책임의 소재를 찾기 어렵게 만들 뿐입니다. 과정에 손이 더 많이 끼어 있고, 저마다 다른 쪽을 가리킬 수 있기 때문입니다. AI 책임이 하는 일은 그 분산을 뚫고 책임 있는 당사자를 찾아내는 것입니다.

책임이 있을 수 있는 사슬

AI 시스템의 탄생과 그것이 끼치는 해 사이에는 여러 당사자가 손을 보태며, 무엇이 잘못됐느냐에 따라 그중 누구라도 책임을 질 수 있습니다.

• 모델을 만들고 학습시킨 개발자.
• 그것을 제품이나 서비스에 통합해 사람들 앞에 내놓은 배포자(deployer), 즉 회사.
• 그것을 특정 작업에, 어쩌면 의도된 범위 밖에서 쓰기로 선택한 운영자 또는 사용자.
• 시스템의 행동을 빚은 데이터를 제공한 데이터 제공자.

해는 단일한 고리로 거슬러 올라가는 일이 드뭅니다. 개발 단계에서 결함이 있고, 충분한 시험 없이 배포되고, 결코 의도되지 않은 용도에 쓰인 모델은 그 사슬 전반에 책임을 분산시킵니다. 어려움의 상당 부분은, 그리고 계약과 분쟁에서의 협상 상당 부분은, 이 당사자들 사이에 책임을 배분하는 일에 관한 것입니다.

대개 기존 법 개념이 먼저 적용된다

흔한 오해는 AI로 인한 해에 완전히 새로운 법이 필요하다는 것입니다. 그렇지 않은 경우가 많습니다. 오래된 법 개념들이 이미 상당량의 AI 행위에 닿으며, 그것들이 먼저 적용되는 도구가 되곤 합니다.

과실(합리적 주의를 기울이지 못한 것) 같은 개념은 시스템을 부주의하게 배포한 회사에 적용될 수 있습니다. 제조물 관련 책임은 제품으로 판매된 것이 결함 있는 것으로 드러났을 때 적용될 수 있습니다. 차별 금지 의무는 사람이 만들었든 모델이 만들었든 상관없이 편향된 결과에 적용됩니다. 계약 조항은 기업 간에 약속된 바를 규율합니다. 일관된 줄기는, 해는 흔히 기존 법 아래에서도 해이며, AI가 관여했다고 면책이 주어지지는 않는다는 것입니다. 법이 AI를 위해 특별히 진화하는 곳에서도, 그것은 대개 맨바닥에서 시작하기보다 이 익숙한 개념들을 변용합니다.

AI 책임이 진정으로 어려운 이유

기존 개념이 적용된다면, 왜 이것이 살아 있는 문제일까요? AI가 그 개념들이 딛고 선 몇 가지 전제를 압박하기 때문입니다.

• 불투명성. 책임은 흔히 무엇이 왜 잘못됐는지 보이는 데 달려 있습니다. 시스템의 추론을 들여다보기 어려우면, 해의 원인을 입증하는 일이 관련된 모두에게 어려워집니다.
• 자율성. 시스템이 더 독립적으로 행동할수록, 결과를 특정한 인간의 선택과 연결 짓기가 어려워집니다. 결정과 결과 사이의 고리가 늘어납니다.
• 분산. 많은 당사자가 기여하면, 저마다 그럴듯하게 남을 탓할 수 있고, 비율을 배정하는 일이 지저분해집니다.
• 예견 가능성. 책임은 해가 예견 가능했느냐에 자주 달려 있습니다. 예상 밖으로 행동하는 시스템은 누가 무엇을 예상했어야 하는가라는 질문을 복잡하게 만듭니다.

이것들은 책임이 사라지는 이유가 아닙니다. 책임이 다투어지는 이유이며, 세심한 문서화와 시험이 그토록 중요한 이유입니다. 그것들이 흔히 책임을 이쪽이든 저쪽이든 입증 가능하게 만드는 것이기 때문입니다.

책임은 어떻게 미리 배분되는가

현실의 AI 책임 상당 부분은 어떤 해가 발생하기 전에 의도적인 배분을 통해 정해집니다. 기업은 계약을 써서 누가 어떤 위험을 지는지 결정합니다. 개발자, 배포자, 사용자 사이에 책임을 옮기는 보증, 면책 조항, 배상 약정이 그것입니다. 보험은 실제로 일어나는 해의 비용을 분산시킵니다. 이용약관은 최종 사용자에 대한 제공자의 노출을 정의하고 제한하려 합니다.

그래서 "누가 책임이 있는가"라는 질문은 흔히 법적인 답 위에 계약적인 답이 한 겹 얹힌 형태를 띱니다. 두 회사는, 한계 안에서, 시스템이 실패할 경우 누가 비용을 떠안을지 합의할 수 있습니다. 그 한계, 즉 어떤 면책 조항이 실제로 유효한지, 무엇을 계약으로 떠넘길 수 없는지가 바로 자격을 갖춘 법률 자문이 제값을 하는 지점이며, 가벼이 세운 가정이 비싸지는 지점입니다.

AI를 배포하는 누구에게나 적용되는 실용적 교훈

방어 가능하게 행동하기 위해 모든 법적 결과를 예측할 필요는 없습니다. 몇 가지 원칙이 실제 해와 노출을 모두 줄여줍니다.

• 용도를 시스템의 의도된 범위에 맞추라. 결코 그렇게 설계되지 않은 일에 도구를 쓰는 것은 책임 있는 당사자가 되는 지름길입니다.
• 중대한 결정에 사람을 남겨두라. 위험이 큰 결과에 대한 의미 있는 인간 감독은 해를 막는 동시에 책임을 명확히 합니다.
• 시험과 결정을 문서화하라. 성실함의 기록은 무언가 잘못됐을 때 책임을 가르는 것이 되곤 합니다.
• 계약과 약관을 읽으라. 시스템에 의존하기 전에, 나중이 아니라, 당신이 무엇을 수용했고 무엇을 약속했는지 알아두세요.
• 위험이 큰 용도에는 진짜 자문을 구하라. 심각한 해가 가능한 곳에서는, 자격을 갖춘 법률 자문이 책임 있게 일하는 일의 일부입니다.

정리

AI가 해를 끼칠 때, "AI가 한 일이다"는 결코 답이 아닙니다. 모델은 책임을 질 수 없으니, 어떤 사람이나 조직이 져야 하기 때문입니다. 그 당사자를 찾는 것은 개발자에서 배포자, 사용자로 이어지는 사슬을 따라가고, 대개 이미 존재하는 법 개념을 적용하며, AI를 진정으로 어렵게 만드는 것들, 즉 불투명성·자율성·책임의 분산·불확실한 예견 가능성을 헤쳐 나가는 일입니다. 실무에서 많은 책임은 계약, 보험, 약관을 통해 미리 배분됩니다. 오래가는 교훈은 시스템을 의도된 범위 안에서 쓰고, 위험이 큰 결정에 사람을 남겨두며, 성실함을 문서화하고, 해가 심각할 수 있는 곳에서는 자격을 갖춘 자문을 구하는 것입니다. 기계가 관여했다고 책임이 사라지지는 않습니다. 단지 그것을 찾는 데 더 많은 주의가 필요할 뿐입니다. 본 글은 일반 정보이며 법률 자문이 아닙니다. 구체적인 상황에 대해서는 자격을 갖춘 변호사와 상담하세요.