인공지능은 이제 사람의 질문에 답하고 필요한 정보를 찾아주는 도구를 넘어 스스로 판단하고 행동하는 단계로 발전하고 있다. 기업에서는 AI가 데이터를 분석하고 문서를 작성하며 의사결정을 지원한다. 일정한 목표를 주면 필요한 업무를 스스로 찾아 여러 단계의 작업을 수행하는 AI 에이전트도 등장하고 있다.
AI가 더 많은 일을 할 수 있게 된다는 것은 분명 새로운 가능성이다. 그러나 AI가 사람의 지시를 하나씩 받아 움직이는 도구에서 벗어나 스스로 판단하고 행동하기 시작하면 이전과 다른 문제가 생긴다.
AI가 예상과 다르게 행동하면 어떻게 할 것인가. 잘못된 판단으로 피해가 발생하면 누가 책임져야 하는가. 사람이 AI의 판단 과정을 충분히 이해하지 못하면서도 중요한 결정을 맡겨도 되는가.
반도헌 저자의 책 [AI를 어떻게 통제할 것인가]는 이러한 문제에서 출발한다. 이 책의 관심은 AI의 능력을 활용하면서도 인간과 조직이 어떻게 통제권을 유지할 것인가에 있다.
AI가 더 많은 일을 할수록 통제는 어려워진다
기존의 컴퓨터 시스템은 사람이 미리 정한 규칙에 따라 움직이는 경우가 많았다. 입력된 정보를 정해진 방식으로 처리하고 그에 따른 결과를 내놓았다. 문제가 생기면 프로그램의 어느 부분에서 오류가 발생했는지 찾아 수정하는 것도 비교적 가능했다.
AI는 이보다 복잡하다. 방대한 데이터를 학습한 AI는 확률에 따라 결과를 만들어낸다. 같은 상황에서도 예상하지 못한 결과가 나올 수 있고, 왜 그런 결과가 나왔는지 사람이 정확하게 설명하기 어려울 때도 있다.
AI 에이전트처럼 일정한 목표를 부여받고 여러 단계의 업무를 스스로 수행하는 시스템에서는 문제가 더 복잡해진다. 사람이 AI의 모든 행동을 미리 정하기 어려워지기 때문이다. 책은 이러한 문제를 AI의 ‘통제 가능성’이라는 관점에서 바라본다.
AI의 능력이 커지는 것과 인간이 AI를 통제할 수 있는 것은 같은 문제가 아니다. AI를 통제하는 문제는 AI의 성능을 높이는 것만큼 중요한 일이다. AI가 무엇을 할 수 있는지만 살펴볼 것이 아니라 어디까지 행동하도록 허용하고, 어느 순간 사람이 개입할 것인지도 함께 정해야 한다.
AI가 결정해도 책임은 사라지지 않는다
AI의 자율성이 높아지면 또 하나의 문제가 생긴다. 책임이다. 사람이 직접 판단하고 행동했다면 그 결과에 대한 책임을 누구에게 물어야 하는지 비교적 분명하다. 그러나 AI가 데이터를 분석하고 판단한 뒤 그 결과가 실제 행동으로 이어진다면 책임의 관계가 복잡해진다.
AI를 만든 개발자가 책임져야 할까. AI를 도입한 기업이 책임져야 할까. 실제 업무에서 AI를 사용한 사람이 책임져야 할까.
책은 이러한 문제를 AI의 법적 지위와 책임귀속의 관점에서 자세히 살펴본다. AI에게 사람이나 기업처럼 독립적인 법적 지위를 부여하는 방안도 검토한다. 기존의 민사·형사 책임 원칙을 AI에 어떻게 적용할 것인지도 다룬다. 그러나 책이 궁극적으로 주목하는 것은 AI 자체에 책임을 떠넘기는 방식보다 AI를 설계하고 도입하고 운영하는 인간과 조직의 책임이다. AI가 자율적으로 행동한다는 이유로 인간의 책임까지 사라질 수는 없기 때문이다.
AI 시대에는 책임을 바라보는 방식도 달라져야 한다. 사고가 발생한 뒤 누가 잘못했는지만 따지는 데 그치지 않고, 조직이 위험을 미리 파악했는지, 필요한 통제를 마련했는지, AI가 운영되는 동안 제대로 감독했는지도 함께 살펴봐야 한다. AI 시대의 책임은 사고가 발생한 뒤에만 등장하는 문제가 아니다. AI를 어떻게 설계하고 사용하고 감독했는가의 문제이기도 하다.
좋은 원칙을 선언하는 것만으로는 부족하다
AI를 둘러싼 논의에서는 공정성, 투명성, 안전성, 책임성과 같은 원칙이 자주 등장한다. 이러한 원칙은 AI가 어떤 방향으로 발전하고 사용되어야 하는지 판단하는 중요한 기준이다. 그러나 기업이 “AI를 공정하고 책임 있게 사용하겠다”고 선언한다고 해서 AI가 실제로 통제되는 것은 아니다.
원칙이 실제 업무에서 작동하려면 구체적인 절차와 장치가 필요하다. 어떤 데이터를 사용할 것인지 정하고, AI를 중요한 업무에 도입하기 전에 위험을 살펴봐야 한다. 운영을 시작한 뒤에는 예상하지 못한 행동이 나타나지 않는지 확인하고, 모델이나 데이터가 변경될 때 새로운 위험이 생기지 않는지도 점검해야 한다. 누가 AI 사용을 승인하고 누가 감독하며, 문제가 발생하면 누가 대응할 것인지도 정해야 한다.
책이 AI 거버넌스를 내부통제와 연결하는 이유가 여기에 있다. 거버넌스라는 말이 어렵게 들릴 수 있지만 핵심은 AI를 누가 어떤 원칙과 절차에 따라 사용하고, 감독하고, 책임질 것인지를 정하는 것이다.
통제하려면 AI가 무엇을 했는지 확인할 수 있어야 한다
AI를 제대로 관리하려면 문제가 생겼을 때 무엇이 일어났는지를 확인할 수 있어야 한다. 어떤 데이터가 사용되었는지, 어떤 결과가 나왔는지, 누가 시스템을 변경했는지 기록되어 있지 않다면 사고가 발생해도 원인을 찾기 어렵다. 그래서 책은 설명 가능성과 감사 가능성, 기록과 추적, 지속적인 모니터링을 중요한 통제 수단으로 다룬다.
AI의 모든 판단 과정을 완벽하게 설명하기 어렵더라도 조직은 적어도 AI가 어떤 환경에서 어떻게 사용되고 있는지 확인할 수 있어야 한다. AI는 한 번 검증하고 끝낼 수 있는 시스템도 아니다. 운영되는 동안 새로운 데이터가 들어오고 사용 환경이 달라질 수 있다. 모델의 성능이나 판단 특성이 변하는 ‘모델 드리프트’도 발생할 수 있다. 처음에는 문제가 없었던 시스템이 시간이 지나면서 예상과 다른 결과를 만들어낼 가능성이 있다는 뜻이다.
따라서 AI를 통제하려면 도입할 때 한 번 검사하는 것으로는 부족하다. 운영하는 동안 계속 살펴보고, 이상이 발견되면 원인을 확인하고 개입할 수 있어야 한다.
AI 감사는 통제가 제대로 작동하는지 확인한다
기업이 여러 통제장치를 마련했다고 해서 문제가 끝나는 것은 아니다. 그 장치가 실제로 작동하는지도 확인해야 한다. 여기에서 AI 감사의 역할이 등장한다. 책에서 말하는 AI 감사는 알고리즘의 기술적 오류만을 찾아내는 작업이 아니다.
어떤 위험이 있는지 파악하는 단계에서 시작해 데이터와 모델의 구조, 학습 과정, 테스트와 영향평가, 내부통제와 관리체계까지 살펴본다. 문제가 발생했을 때 대응할 체계가 있는지, 외부에서 공급받은 AI나 데이터에는 새로운 위험이 없는지도 감사의 대상이 된다.
하지만 AI 감사에도 한계가 있다. 알고리즘의 내부 작동 과정을 충분히 설명하기 어려울 수 있고, 학습 데이터 자체에 편향이 포함될 수도 있다. AI를 감사하는 사람에게 필요한 전문성과 독립성을 어떻게 확보할 것인지도 중요한 문제다. AI 감사 역시 한 번의 검사로 모든 위험을 찾아내는 방식으로 이해하기 어렵다. AI가 계속 변화한다면 감사와 감독도 그 변화에 맞춰 계속 이루어져야 한다.
마지막에는 사람이 개입할 수 있어야 한다
아무리 정교한 통제체계를 마련해도 모든 상황을 미리 예상할 수는 없다. AI가 예상하지 못한 행동을 하거나 사람과 조직에 심각한 피해를 줄 가능성이 나타날 수도 있다. 그 순간 중요한 것은 사람이 실제로 개입할 수 있는가이다.
책은 인간의 감독과 최종 개입권을 AI 통제의 중요한 요소로 다룬다. 필요한 경우 AI의 작동을 제한하거나 중단할 수 있는 긴급 통제도 검토한다. 이른바 ‘킬 스위치’도 이러한 맥락에서 등장한다. 물론 중단 버튼 하나를 만들어두는 것만으로 충분하지 않다. 누가 AI를 중단할 권한을 가질 것인지, 어떤 상황에서 개입할 것인지, 중단 여부를 어떻게 판단할 것인지가 미리 정해져 있어야 한다. 사고가 발생했을 때 대응하고 복구하는 절차도 필요하다.
AI가 자율적으로 움직인다 사람이 매 순간 개입해야 한다는 뜻은 아니다. 오히려 평상시에는 AI가 일정한 범위 안에서 스스로 움직이도록 하되, 위험이 커졌을 때 사람이 통제권을 다시 가져올 수 있도록 만드는 것이 중요하다. AI의 자율성과 인간의 통제는 둘 중 하나를 선택하는 문제가 아니라 적절한 경계를 설계하는 문제다.
AI를 통제한다는 것은 인간의 책임을 설계하는 일이다
[AI를 어떻게 통제할 것인가]는 AI가 사람과 조직의 판단에 더 깊이 들어오는 상황에서 인간이 어떻게 통제권과 책임을 유지할 것인가를 다룬다. AI 기술의 특성에서 출발해 법과 책임의 문제를 살펴보고, 이를 다시 거버넌스와 내부통제, AI 감사와 인간의 감독으로 연결한다. 이러한 논의를 관통하는 관점은 AI의 능력이 커지고 자율성이 높아져도 조직의 책임까지 AI에게 넘길 수는 없다는 것이다.
AI를 사용하는 조직은 어떤 일을 AI에게 맡길 것인지 정해야 한다. 그 과정에서 발생할 수 있는 위험을 살펴보고 필요한 통제를 마련해야 한다. 운영을 시작한 뒤에도 AI가 어떻게 작동하는지 계속 확인해야 하며, 문제가 생기면 원인을 추적할 수 있어야 한다. 필요한 순간에는 사람이 개입해 시스템을 제한하거나 중단할 수도 있어야 한다.
결국 AI를 통제한다는 것은 AI의 모든 행동을 완벽하게 예측한다는 뜻이 아니다. 예측하기 어려운 AI를 사용하면서도 인간과 조직이 책임을 잃지 않도록 관리하고 감독할 수 있는 구조를 만드는 것이다.
AI가 더 많은 일을 할 수 있게 될수록 무엇을 AI에게 맡길 것인지 결정하는 일은 더욱 중요해진다. 동시에 어디까지 맡길 것인지, 무엇은 사람이 직접 판단할 것인지, 문제가 생겼을 때 누가 개입할 것인지도 정해야 한다.
AI의 능력이 커질수록 인간의 책임이 줄어드는 것은 아니다. 오히려 AI를 어디까지 믿고 어떤 조건에서 사용할 것인지를 판단해야 하는 새로운 책임이 생긴다. [AI를 어떻게 통제할 것인가]는 이 문제를 법과 거버넌스, 내부통제와 감사라는 구체적인 구조를 통해 살펴보는 책이다. © 연암사
댓글
댓글 쓰기