지난 2022년 11월, 한 고객이 캐나다 토론토에 거주하던 할머니의 별세 소식을 접했다. 그는 에어캐나다 웹사이트에 탑재된 인공지능(AI) 챗봇을 통해 직계 가족의 장례식에 참석하는 경우 항공권 할인을 받을 수 있다는 안내를 받고 항공권을 구매했다. 안내에 따르면 우선 정가로 항공권을 구매한 뒤, 사후에 할인을 요청할 수 있었다.
그러나 실제로 할인을 요청하자 항공사의 답변은 달랐다. “AI 챗봇이 전달한 정보는 에어캐나다의 관리 대상이 아니며, 부정확할 수 있다”는 이유에서였다. 고객은 에어캐나다 웹사이트 내 챗봇이 안내한 내용을 캡처해 브리티시컬럼비아(BC)주 소액 민사 분쟁 중재 기구인 민사중재원에 제출했다. 2024년 2월, 캐나다 민사결정재판소는 “AI 챗봇은 에어캐나다 웹사이트의 일부이며, 챗봇을 통해 제공된 정보에 대해서도 기업은 책임을 져야 한다”고 판단했다.
AI는 실수할 수 있다. 그러나 ‘AI의 실수’에 대한 기업의 책임은 더 이상 회피할 수 있는 영역이 아니다. 오늘날 AI는 고객 응대와 정보 제공을 넘어, 업무 자동화, 인사·금융·리스크 분석 등 기업 운영의 핵심 영역 전반에 활용되고 있다. 이 과정에서 AI의 판단 오류는 곧바로 법적 책임, 평판 훼손, 내부 의사결정 리스크로 이어질 수 있다.
AI가 기업의 판단 구조 안으로 깊이 들어온 지금, ‘AI의 판단을 어떻게 관리하고 통제할 것인가’는 미룰 수 없는 과제가 됐다. 이는 기업이 AI를 개발·도입·운영하는 전 과정에서 발생할 수 있는 위험을 관리하고, 책임 있는 활용을 보장하기 위한 조직·정책·절차 전반의 관리 체계를 뜻한다. 다시 말해 AI 거버넌스는 선택의 문제가 아니라, 준비하지 않으면 위험해지는 영역으로 빠르게 전환되고 있다.
◇ AI 거버넌스 구축, 어디서부터 시작할까…WEF가 제시한 세 가지 핵심요소
AI의 판단이 기업의 책임 문제로 직결되면서 기업들은 새로운 질문 앞에 서 있다. AI를 책임 있게 관리한다는 것은 무엇을 의미하며, 이를 위해 어떤 요소부터 정비해야 하는가 하는 문제다. AI 거버넌스는 기술 관리에 그치지 않고, 해당 AI가 기업 활동과 이해관계자에게 미칠 영향을 사전에 점검하고 통제하는 구조를 갖추는 데 핵심이 있다.
실제로 AI 판단 오류와 책임 분쟁이 현실화되면서, 이를 관리하기 위한 공통 기준도 국제사회 차원에서 빠르게 정리되고 있다. OECD AI 원칙(2019)과 유네스코 AI 윤리 권고(2021)는 인간 중심성·공정성·투명성·안전성·책임성을 공통 기준으로 제시해 왔다. 최근에는 이 기준이 2024년 EU 인공지능법(EU AI Act)을 통해 제도화되면서, 기업은 고위험 AI를 중심으로 사전 영향 점검, 운영 기록 유지, 이용자 고지, 인적 감독 체계 등 법이 요구하는 관리 요건을 갖추어야 한다.
2025년부터 범용 AI(GPAI) 규정이 시행되면 AI 개발 기업은 기술 정보와 저작권 사용 현황을 공개해야 하며, AI 활용 기업 역시 임직원의 AI 이해력 교육과 고위험 업무 의사결정 기록 체계를 마련해야 한다. 국내에서도 AI 기본법 시행을 앞두고 고영향 AI에 대한 안전성과 이용자 보호 체계 마련이 강조되고 있다.
이 같은 흐름 속에서 기업이 AI 거버넌스를 실제 경영과 운영의 책임 구조 안으로 편입시키기 위해서는 명확한 기준과 관리 틀이 필요하다. 세계경제포럼(WEF)은 기업이 AI 거버넌스를 수립할 때 반드시 정리해야 할 세 가지 핵심 요소를 제시하고 있다.
첫째는 책임과 감독 체계다. AI 도입을 검토하는 단계에서부터 개발·검증·승인·운영에 이르기까지 각 부서의 역할과 권한을 구분하고, 조직 차원에서 관리·감독할 수 있는 구조를 설계해야 한다. 이는 AI를 특정 부서의 기술 과제로 한정하지 않고, 경영·법무·윤리 기능이 함께 관리하는 운영 기반을 마련하는 출발점이다.
둘째는 리스크 관리와 영향 평가다. 기업은 새로운 AI 시스템을 도입하거나 활용 범위를 확대하기 전, 사용 데이터의 성격과 잠재적 오류·편향이 기업과 이해관계자에게 미칠 영향을 사전에 식별·검토해야 한다. 특히 인사, 금융, 고객 관리 등 사람의 권리와 이익에 직접 영향을 미치는 영역일수록 엄격한 점검 기준이 요구된다.
셋째는 투명성과 설명 가능성이다. AI가 어떤 기준과 과정으로 결과를 도출하는지 내부적으로 이해할 수 있는 정보 관리 체계를 갖추고, 필요할 경우 외부 이해관계자에게도 그 근거를 제시할 수 있어야 한다. 이를 위해 AI의 목적, 데이터 출처, 관리 책임자, 주요 의사결정 과정을 기록·관리하고, 사고 발생 시 원인을 추적할 수 있는 구조를 마련하는 것이 중요하다.
◇ 서비스 기획부터 운영까지, ‘AI 거버넌스’ 정립에 속도 내는 기업들
AI 거버넌스의 필요성이 커지면서 글로벌 기업들은 이를 경영·조직 차원의 운영 문제로 인식하고 있다. 서비스 기획 단계부터 운영 전반에 이르기까지 관리 구조를 정비하는 움직임이 이어지고 있다.
액센츄어는 ‘AI 책임성 최고책임자(Chief Responsible AI Officer)’ 직책을 신설하고, CEO와 법무 총괄이 직접 관여하는 책임 있는 AI 컴플라이언스 프로그램을 운영하고 있다. 운영은 CTO, CRAIO, 법무 총괄, 데이터·AI 총괄로 구성된 위원회가 맡고, 주요 현황은 이사회 감사위원회에 정기 보고된다. 실무는 법무·보안·IT·조달·HR·기술 전문가들이 협업해 AI 도입 전 리스크 평가와 심사 기준을 마련한다.
마이크로소프트는 ‘책임 있는 AI 투명성 보고서’를 통해 AI 시스템의 검토 기준과 운영 절차를 외부에 공개하고 있다. 데이터 사용 방식, 오용 가능성, 이용자 영향, 안전성과 편향 위험 등을 점검 항목으로 삼고, 주요 AI 서비스에는 ‘투명성 노트’를 제공해 목적과 한계를 사전에 알린다. 이를 통해 AI 리스크 관리와 운영 기준이 내부 기록에만 머물지 않고, 외부 이해관계자가 확인할 수 있는 형태로 유지되고 있다.
국내 기업 중에서는 네이버가 2022년부터 AI 서비스 기획·개발 단계에서 윤리적·사회적 영향을 점검하는 ‘CHEC(Consultation on Human-Centered AI’s Ethical Considerations)’ 프로세스를 운영하고 있다. 카카오뱅크는 AI 거버넌스 2.0 체계를 도입해 금융 서비스에 활용되는 AI의 판단 근거를 내부 심사자가 확인할 수 있도록 관리 절차를 강화했다.
AI 관련 기준이 제도적 의무로 구체화되면서, 기업이 감당해야 할 책임의 범위도 달라지고 있다. 기술을 활용하는 능력뿐 아니라, 그 과정에서 발생할 위험을 예측하고 관리하는 체계가 기업 운영의 핵심 요소로 자리 잡고 있기 때문이다. 지속가능성의 개념 역시 환경·사회적 책임을 넘어 기술 활용에 따른 책임과 통제까지 포함하는 방향으로 확장되고 있다. 앞으로 AI가 조직의 핵심 업무에 더 깊이 연결될수록, AI 거버넌스는 기술 활용의 안정성과 기업의 지속가능성을 함께 떠받치는 조건이 될 것이다.
유엔글로벌콤팩트한국협회
| 유엔글로벌콤팩트한국협회의 <ESG월드뷰> “Who cares wins(배려하는 자가 승리한다).” 20여년 전 유엔글로벌콤팩트(UNGC)는 이 보고서를 통해 ESG라는 개념을 세상에 처음 선보였습니다. 요즘은 어디서나 지속가능성과 ESG를 말합니다. 그래서인지 때로는 ESG의 본질이 흐려진 느낌이기도 합니다. 하지만 그 시작을 들여다보면 ESG의 의미는 오히려 선명합니다. ‘환경’을 배려하고, ‘사람’을 배려하며, ‘조직’을 배려하는 기업이 결국 더 오래 살아남고, 더 크게 성장할 수 있습니다. 기업들은 묻습니다. “ESG를 해야 하는 건 알겠는데, 뭘 해야 하지?” UNGC의 <ESG월드뷰> 시리즈는 바로 이 질문에서 시작합니다. 국제사회에서 오가는 ESG 논의와 최신 흐름을 소개하고, 그것이 한국 기업에 어떤 의미와 기회를 주는지 이야기하려 합니다. “왜 지금인지” 그리고 “무엇을 해야 하는 지”를 풀어내고자 합니다. ESG가 진짜 ‘우리 이야기’로 받아들여지는 창이 되기를 바랍니다. |
