기업의 AI 전환(AX)을 고민하는 실무자들이 던지는 질문을 모아 보면 서로 묘하게 닮았다. ‘잘 쓰는 한 사람의 노하우가 팀으로 퍼지지 않는다’, ‘AI가 만든 결과물을 누가 어떤 기준으로 검증해야 하는지 정하지 못했다’, ‘월 1회 열리는 전사 AI 협의체가 정보 공유만 하다 끝나고 결정은 내리지 못한다’ 같은 이야기들이다. 기술을 구하지 못해서 생기는 고민이 아니다. ‘누가 결정하고, 누가 책임지는가’가 비어 있어서 생기는 고민이다. ESG로 치면 가장 생소하고 어려워하는 ‘G’, 거버넌스의 문제다.
숫자도 이를 뒷받침한다. 최근 한 ESG 포럼에서 소개된 맥킨지 조사에 따르면 올해 기업의 89%가 AI를 쓰고, 이 가운데 44%는 전사 확산 단계에 들어섰다. 그런데 AI 덕분에 자신의 생산성이 높아졌다고 답한 비율은 80%인 반면, AI가 기업 이익에 기여했다고 보고한 비율은 37%에 머물렀다. 개인의 체감과 조직의 성과 사이에 간극이 있는 것이다. 더 눈여겨볼 대목은 부담의 방향이다. AI가 일에 미친 부정적 영향을 경험했다는 응답은 임원·고위관리자(31%)보다 중간관리자·실무자(47%)에게서 높았다. AI의 비용은 재무제표보다 사람에게 먼저 나타난다는 말이다.
이 질문을 AI를 ‘만드는’ 쪽으로 돌려보자. 오픈AI는 비영리 법인이 영리 자회사를 지배하는 구조를 고수해 왔다. 법인 전환을 시도했을 때는 시민단체인 ‘오픈AI 감시연대’의 문제 제기에 부딪혀 멈춘 것으로 알려져 있다. 오픈AI를 떠난 인력이 세운 앤트로픽은 공익적 영리법인(PBC)으로 출발해, 별도의 장기이익신탁기금이 이사회 과반을 선임할 수 있도록 지배구조를 진화시켜 왔다. 미국 연방정부가 이렇다고 할 규제를 하지 않는 상황에서 AI 기업들이 스스로 공익적 지배구조를 설계했다는 점은 분명 의미 있는 시도다.
그러나 자율에는 한계가 있다. 같은 법인격을 택했던 xAI는 데이터센터 건설 과정에서 환경 문제와 주민 소송이 이어지자, 해당 법인격을 자진 반납했다고 한다. 비영리단체인 미래생명연구소가 발표한 2026년 6월 기준 주요 AI 기업 9곳의 안전지수 평가에서 앤트로픽이 C+로 1위, 오픈AI가 C로 2위를 차지했다. 가장 모범적이라는 기업조차 합격점이라 부르기 어렵다는 뜻이다. 결국 기업의 선의와 내부 구조만으로는 부족하고, 법과 독립적인 평가, 시민사회의 감시가 함께 작동해야 한다. 캘리포니아가 올해 1월부터 시행한 AI 투명성 법안들이 그 시작점이다. 이들 법안은 안전 프레임워크와 학습데이터 공개, 사고 보고 등을 의무화한다. 물론 이런 견제가 필요한 쪽이 AI 기업만은 아니다.
AI를 ‘쓰는’ 기업에도 같은 질문이 돌아온다. 2024년 에어캐나다 사례를 살펴볼 필요가 있다. 한 승객이 가족상을 치르러 가는 길에 항공사 홈페이지 챗봇에 사별 할인 운임을 물었고, 챗봇은 일단 정상가로 구매한 뒤 사후에 환급을 신청하면 된다는 취지로 안내했다. 그런데 실제 규정은 달랐고, 항공사는 환급을 거절했다. 에어캐나다는 챗봇이 독립된 주체이므로 자신의 답변에 스스로 책임져야 한다는 취지로 항변했지만, 재판부는 이를 받아들이지 않고 항공사에 배상을 명령했다. 챗봇의 답변도 결국 기업이 내놓은 정보이고, 그 책임은 기업이 진다는 뜻이다. 이사의 책임도 마찬가지다. 이사가 AI 시스템을 활용할 경우, AI의 결론을 따랐더라도 그 판단의 근거를 확인하지 않았다면 책임을 면하기 어렵다. 충분한 검토 없이 AI에만 기대는 것 자체가 문제가 될 수 있다는 것이다. 알고리즘의 편향이나 오류로 생긴 손해도 결국 AI를 활용해 이익을 얻는 기업이 부담해야 한다는 견해가 유력하다. 이사회 안에 AI 관련 위원회를 두고 독립적 검증 권한을 주어야 한다는 제안이 나오는 이유다.
그렇다면 회사 안에서는 무엇부터 정해야 할까. 크게 네 가지를 꼽아볼 수 있다. 첫째, 무엇을 AI에 맡기고 어떤 결과물을 돌려받을지, 즉 입구와 출구를 정하는 일이다. 맡김과 방임은 한 끗 차이다. 둘째, 사람의 주의력에만 기대지 않고 시스템이 실수를 먼저 막게 하는 일이다. 셋째, 부서·직급별로 접근 범위가 다른 지식을 AI가 어떻게 다룰지 권한 체계를 설계하는 일이다. 넷째, 정보 공유가 아니라 실제로 결정을 내리는 협의체를 만드는 일이다. 여기에 한 가지를 더하자면, 이 구조를 만드는 자리에 일하는 사람이 있어야 한다는 것이다. 유럽에서는 신기술을 도입할 때 노동자 대표와 사전에 협의하도록 하는 규정이 오래전부터 있었고, 지난해에는 스페인과 노르웨이가 AI 관련 의사결정에 노동자 대표가 참여하도록 하는 협약을 맺었다. AI 도입의 영향을 가장 먼저 겪는 사람의 목소리를 설계 단계에서 듣는 것이 가장 현실적인 위험 관리이기 때문이다.
조직의 모양도 달라지고 있다. AI 에이전트의 도움으로 소수, 혹은 혼자서 사업을 꾸리는 ‘솔로프리너’가 늘어난다는 이야기는 이제 낯설지 않다. 위계가 없어도 일이 되는 시대에 조직은 어디까지 필요한지 묻게 된다. 한 가지 분명한 것은 조직이 작아질수록 책임의 공백은 커질 수 있다는 점이다. 오류의 책임은 누가 지는지, 데이터의 출처는 어디인지, 고객이 피해를 보면 누가 구제하는지에 대한 답이 개인 한 사람에게 몰리기 때문이다. 조직의 경계 바깥으로 밀려난 사람들은 협의 테이블에도 없다. 금융권 콜센터 노동자의 약 80%가 간접고용이어서, AI가 도입되면 해고가 아닌 계약 해지로 인력이 줄어드는 구조가 이를 보여준다. 혼자 일하는 사람이든 하청의 하청에서 일하는 사람이든, 이들을 위한 연대의 장치가 필요하다.
마지막으로 기업과 시민이 함께 쓸 수 있는 공통의 기반이 필요하다. AI 학습에 쓸 수 있는 정제된 텍스트 데이터가 올해면 고갈될 것이라는 전망이 나오고, 한국은 쓸 수 있는 데이터가 글로벌 평균의 10분의 1 수준이라는 지적도 있다. 데이터를 둘러싼 경쟁이 저작권 소송과 로비로 번지는 가운데, 대안으로 주목받는 것이 ‘공익데이터’다. 프랑스는 2016년 디지털공화국법으로 세계 최초로 공익데이터를 법에 규정했다. 그 결과 법원 판결문이 개방됐고, 코로나19 때는 민관 통합 데이터가 활약했다. EU는 2023년 데이터거버넌스법에 ‘데이터 이타주의’ 개념을 넣어, 보상 없이 기증받은 데이터를 공익 목적으로 활용하는 비영리기관을 등록·지원한다. 우리도 올해 확정된 국가AI행동계획에 공익데이터·AI의 법적 지위를 명확히 하는 방안이 담겼다. 경기연구원의 2020년 조사에서 국민의 84%가 공익 목적이라면 개인정보를 제공할 의향이 있다고 답했을 만큼 사회적 토대는 이미 있다. 이제 필요한 것은 그 마음을 믿고 맡길 수 있는 그릇이다.
AI는 얼마나 빨리 도입하느냐로 경쟁하기 쉽다. 그러나 안전벨트의 역사를 떠올려 보면 좋겠다. 1970년 호주 빅토리아주가 세계 최초로 안전벨트 착용을 법으로 의무화했을 때, 개인의 자유를 침해한다거나 불편하다는 반발이 적지 않았다. 지금은 어떤가. 벨트를 매지 않고 시동을 거는 것이 오히려 어색하다. 우리나라도 2018년부터 전 좌석 착용으로 의무를 확대했다. 안전벨트는 자동차의 속도를 늦춘 장치가 아니라, 사람들이 더 멀리, 더 마음 놓고 달릴 수 있게 만든 장치였다. AI의 투명성과 검증, 책임 체계도 같은 길을 걸을 것 같다. 지금은 속도를 늦추는 규제처럼 느껴지더라도, 훗날에는 당연한 기본값이 되어 있을 가능성이 크다. 또 안전벨트가 법만으로 자리 잡은 것은 아니다. 제조사가 안전벨트를 자동차 설계에 포함하고, 운전자가 착용을 습관으로 삼고, 사회가 단속으로 뒷받침하는 세 겹이 맞물렸기 때문이다. AI도 마찬가지다. 만드는 기업과 쓰는 기업, 그 영향을 받는 시민이 ‘누가, 어떤 기준으로, 어떻게 책임지는가’라는 같은 질문 앞에 서 있다. 빅테크의 선의에만 기대지도, 정부의 규제에만 맡기지도 않는 다층적인 구조를 어떻게 설계할 것인지, 더 많은 관심과 논의가 필요한 때다.
신지현 서스틴브릿지 대표
필자 소개
ESG·CSR 전문 컨설팅사 서스틴브릿지 대표입니다. IBM 등 글로벌 IT기업에서 마케팅과 지속가능경영, 기업의 사회적 책임 분야를 담당하며 약 25년간 실무 경험을 쌓았습니다. 이후 스타트업의 최고경영진과 한국사회투자(現 큐네스티) 스타트업 ESG전략센터 부센터장을 역임했습니다. 현재는 기업의 ESG 경영 자문과 글로벌 CSR 프로젝트 기획·실행을 중심으로 영리·비영리 조직과 공공·민간 부문 간 협력을 지원하고 있습니다. 저서로 '한 권으로 끝내는 ESG 수업'이 있으며, 'ESG 생존경영'을 공동 집필했습니다.
