사회적 가치를 창출하는 프로그램은 특정 사회문제를 해결하고 긍정적 변화를 만들기 위해 설계된다. 따라서 이 프로그램이 어떤 과정을 거쳐 사회적 임팩트를 만드는지 이해하는 것이 중요하다.
변화이론(Theory of Change)은 사회적 임팩트가 어떻게 생겨나는지를 도식화한 개념이다. 보통 투입(Input)–활동(Activity)–산출(Output)–성과(Outcome)–임팩트(Impact) 단계로 설명된다.
영유아 어머니를 대상으로 영양 상담과 보충식을 제공하는 프로그램을 보자. 어머니들이 영양 지식을 배우고 행동을 바꿔 영유아의 영양 상태를 개선한다는 설계다. 보충식을 함께 제공해 영양 상태 개선을 돕는다는 구상이다.
그러나 현실은 달랐다. 현장에서는 어머니들이 배운 ‘영양 지식’과 실제 ‘영양 실천’ 사이에 큰 간극이 있었다. 방글라데시 농촌에서는 식재료 구매와 식단 결정권이 남편이나 시어머니에게 있었기 때문이다. 일부 어머니들은 “시어머니가 돌아가시기 전까진 배운 걸 쓸 수 없다”고 말했다. 보충식도 ‘추가’가 아니라 기존 식사 ‘대체’로 쓰이는 경우가 많아 효과가 제한적이었다.
흥미로운 건 그럼에도 영유아 영양 지표가 개선됐다는 사실이다. 하지만 이는 프로그램의 힘이 아니라 당시 풍년으로 쌀값이 떨어진 덕분이었다. 쌀값 하락으로 가정이 더 쉽게 쌀을 구입하면서 아이들의 영양 상태가 좋아진 것이다.
이 사례는 시사점이 크다. 초기 변화이론만 근거로 정태적으로 임팩트를 측정하면 실제 맥락의 불일치를 놓치기 쉽다. 프로그램은 수혜자 환경과 상황에 따라 계속 바뀌는데, 고정된 변화이론에 데이터를 억지로 끼워 맞추면 잘못된 결론에 이를 수 있다. 임팩트 측정의 본질, 즉 ‘프로그램 개선을 위한 학습(lessons learned)’에도 도움이 되지 않고 왜곡된 인사이트를 낳을 수 있다.
물론 통제집단을 설정해 효과성을 검증할 수도 있다. 그러나 그것만으로는 왜 특정 결과가 나왔는지를 충분히 설명하지 못한다. 프로그램이 실제 어떻게 작동하는지 보려면 효과 검증을 넘어 맥락과 메커니즘까지 분석해야 한다.
또한, 임팩트는 시간에 따라 전혀 다른 양상을 보이기도 한다. 영양 상태가 극도로 나쁜 아이는 보충식을 처음 먹을 때 설사 등 부작용으로 체중이 줄 수 있다. 그러나 시간이 지나면서 회복돼 J-커브 형태의 개선 곡선을 그린다. 측정 시점이 언제냐에 따라 임팩트가 부정적으로도, 긍정적으로도 보일 수 있다는 얘기다. 따라서 임팩트 측정은 단일 시점의 결과가 아니라 시간이 흐르며 전개되는 변화를 함께 읽어내야 한다.
◇ 맥락을 읽지 못한 변화이론의 한계
십시일방의 자립준비청년 지원에서도 비슷한 경험이 있었다. 십시일방은 주거 지원과 함께 청년들이 생활비·학원비 등에 쓰도록 매달 현금성 지원을 제공했다. 변화이론상으로는 청년 개인의 건강, 자기 계발, 자립 역량 강화로 이어질 것이라 기대했다.
그러나 실제 맥락은 달랐다. 청년 상당수는 조부모 위탁가정 출신이었다. 부모 대신 조부모가 아프거나 생계가 어려운 경우가 많았고, 청년들은 자신의 지원금을 조부모 병원비나 생활비에 썼다. 초기 설계와는 다른 결과였지만, 그 과정에서 청년의 돌봄 부담이 줄고 정서적 안정이 커지는 또 다른 효과가 나타났다.
십시일방 초창기에는 이런 맥락을 알지 못했다. 지원금이 어떤 경로와 메커니즘으로 쓰일지 충분히 예측하지 못한 것이다. 그래서 청년 개인 성장만 전제로 변화이론을 세우고 성과를 관리했다.
지금은 다르다. 맥락을 이해하게 되면서 어떤 방향에서 임팩트를 측정해야 하는지 통찰을 얻었다. 운영 방식도 달라졌다. 청년뿐 아니라 그가 부양하는 조부모에게도 필요하면 도움을 주고, 본인에게 직접 쓰기 어려운 상황이라면 현금 대신 현물이나 직접 결제로 전환한다. 임팩트를 더 정밀하게 겨냥하게 된 것이다.
◇ 혼합적 접근의 필요성
임팩트 측정의 핵심은 ‘프로그램이 없었더라도 일어났을 변화를 제거하는’ 사후가정적 분석(Counterfactual Analysis)이다. 그러나 현실과 단절된 모형 분석에만 기대면 맥락 없는 ‘평균 효과’만 보게 된다. 실제 프로그램 작동 원리를 파악하기 어렵다.
그래서 우선 현실 맥락에서 사실 분석(Factual Analysis)이 깊이 있게 이뤄져야 한다. 정성적 관찰과 인터뷰, 나아가 현장 몰입 경험(immersive experience) 같은 문화인류학적 접근이 필요하다. 이런 질적 분석을 토대로 프로그램이 작동하는 맥락과 임팩트의 이질성을 점검한 뒤 양적 연구로 확장하는 것, 이것이 혼합적 접근(Mixed Method Approach)의 핵심이다.
중요한 건 질적 연구를 단순 보완 수단에 두지 않는 것이다. 임팩트를 측정하는 사람은 현장에 직접 들어가 경험하며 프로그램이 실제로 어떻게 작동하는지를 몸으로 이해해야 한다. 그렇지 않으면 책상머리에서 정태적 변화이론 논리에만 기대게 된다.
◇ 변화이론을 ‘재방문’하라
변화이론은 기금 제공자나 설계자가 처음 그린 도식에 머물지 않는다. 운영자, 수혜자, 이해관계자들이 각자의 맥락과 이해에 따라 재구성한다. 다시 말해 변화이론은 고정된 도식이 아니라 현실 속에서 수정·갱신되며 다층적으로 발전하는 구조다. 따라서 임팩트를 측정하는 사람은 변화이론을 끊임없이 ‘재방문(revisit)’하고 현실 변화에 맞게 조정해야 한다.
이와 같은 ‘맥락적 변화이론(contextualized theory of change)’을 전제로 해야만 현실을 반영한 리얼리즘적 측정이 가능하다. 반대로 이런 과정 없이 논리적·정량적 측정만 고집하면 현실을 왜곡하거나 잘못된 결론에 이를 수 있다. 변화이론은 정태적 모델이 아니라 현장에서 살아 움직이는 유기체로 이해해야 한다.
임팩트 측정 역시 단순히 데이터를 모아 보고서를 만드는 절차가 아니다. 맥락을 해석하고 프로그램 개선을 위한 통찰을 이끌어내는 학습 과정이다. 이것이 임팩트 측정을 ‘숫자의 산출’에서 ‘맥락의 해석’으로 확장하는 핵심 과제다.
이호영 임팩트리서치랩 공동대표·한양대 겸임교수
| 필자 소개 임팩트를 측정·평가하는 전문 기관인 (주)임팩트리서치랩에서 공동대표로 근무하고 있습니다. 한양대학교에서 겸임교수로 재직하며 대학생들에게 지속가능경영과 소셜벤처 창업, 임팩트 측정에 대해 가르치고 있습니다. 대학교 재학 시절 취약계층 청년들에게 무료 식권을 전달하는 비영리단체 ‘십시일밥’을 설립했고, 현재는 자립준비청년들에게 무료 주거지를 제공하는 비영리단체 ‘십시일방’을 설립하여 운영하고 있습니다. |
