바카라 카지노(Impact Evaluation) 바라보기
'바카라 카지노'이란 무엇일까
최근 수년 전부터 국내 국제개발 분야에서도 프로젝트 바카라 카지노에 대한 관심이 높아지고 있다. 국내에서도 바카라 카지노는 프로젝트 사이클 관리(project cycle management)의 일부로 자주 언급되어 왔지만, 진행되는 국제개발 프로젝트 활동의 대부분은 프로젝트 기획과 수행에 대부분의 초점이 맞춰져 있었다. 하지만 점차 시간이 지남에 따라 국내에서도 모니터링과 바카라 카지노(M&E) 영역이 점차 관심을 받기 시작하면서, 이제는 꽤 많은 바카라 카지노 사례들을 볼 수 있다. 또한, M&E를 전문 영역으로 인지하고 관련 역량을 강화하려는 이들도 주변에서 심심치 않게 만나볼 수 있다.
이러한 분위기 속에서 자주 접할 수 있는 또 하나의 키워드는 '바카라 카지노(impact evaluation)'이다. 아직은 국내에서 자주 통용되는 용어는 아닌 것 같지만, M&E에 조금이라도 관심을 가지고 있다면 어디서든 쉽게 들어봤을 용어이다. 특히 개발경제학의 영역에서는 빈곤문제를 해결하기 위한 실험적 연구의 공로를 인정받아 2019년 노벨경제학상을 수상한 배너지와 뒤플로의 영향으로 특정 개입으로 인한 변화를 실증적으로 분석하는 실험/통계 기반의 경제학적 바카라 카지노 방법들이 큰 관심을 받고 있다.
그렇다면 바카라 카지노란 무엇일까. 단어의 조합만으로도 바카라 카지노는 어떤 개입의 영향을 측정하고 평가하는 것이라고 대략적으로 이해할 수는 있겠으나, 정확히 무엇을 평가하기 위한 것인지 또 그 의미가 무엇인지에 대해서는 구체적으로 파악하기 어렵다. 특히, '영향(impact)'이라는 개념에 대한 이해가 상이한 상황에서는 더욱 그렇다. 때문에, 바카라 카지노가 무엇인지를 이해하기 위해선 '영향'을 바라보는 다양한 관점들부터 살펴볼 필요가 있다.
'바카라 카지노'은 국제개발이나 소셜 섹터 영역에서 굉장히 광범위하게 사용되는 용어이다. 특히 국제개발 분야에서 '바카라 카지노'을 가장 자주 접하는 때는, PDM(project design matrix)을 다루면서이다. PDM에서의 바카라 카지노은 우리가 기획하거나 수행하고 있는 프로젝트의 가장 상위레벨의 목표를 의미한다. KOICA의 PDM가이드라인에서는 바카라 카지노을 '해당 사업으로 인해 달성할 수 있는 성과가 아닌, 사업이 기여할 수 있는 전략적 목표'라고 설명하고 있다. 개념 정의와 함께 제시된 '바카라 카지노 설정 시 체크리스트'를 기반으로 조금 더 구체적으로 살펴보면, 바카라 카지노은 ① 사업의 성과 달성을 통해 기여하는 넓은 범위와 수준의 장기적 변화, ② 성과와 기타 내외부 변화가 누적되어 발생되는 변화, ③ 성과목표(outcome)와 연관된 것으로 정의할 수 있다.
PDM이 활동(activity)-산출물(output)-성과(outcome)-바카라 카지노(impact) 간의 수직적 연결을 보여주는 도구라는 것을 고려하면, 바카라 카지노은 활동-산출물-성과의 연결을 통해 발생한 '넓은 범위에서의 장기적인 변화'이자, '수직적인 인과적 결과'라고 이해할 수 있다. 또, 결국 사업의 목표와 연관되기 때문에 사업이 기여한 '의도했던 긍정적 변화'를 의미한다. 물론, 모든 단계에서는 중요가정(important assumptions)이 충족되어야만 상위레벨의 결과로 이어질 수 있다는 전제가 존재한다.
개발경제학자들이 이야기하는 바카라 카지노에서의 '영향'도 이와 같은 개념을 의미할까? 유사한 것 같지만, 그렇지 않다. 바카라 카지노와 인과추론 방법론을 공부하거나 이 분야에 종사하고 있는 이들이 많이 참고하는 세계은행의 가이드라인 'Impact Evaluation in Practice'에서는 바카라 카지노를 '프로그램의 성과목표에 대한 영향/인과효과는 무엇인가?라는 구체적인 질문에 답을 쫓는 평가의 종류'라고 정의한다.
Impact evaluations are a particular type of evaluation that seeks to answer a specifi c cause-and-eff ect question: What is the impact (or causal eff ect) of a program on an outcome of interest?
- World Bank (2016), Impact evaluation in Practice. -
개발경제학자들이 정의하는 바카라 카지노는 '성과목표(outcome of interest)에 대한 사업(program)의 인과효과(casual effect)'를 밝혀내는 것에 집중한다. 즉, 특정 사업이 성과목표에 어떤 변화를 가져오는 인과요인으로서 작용을 했는지 여부를 분석하는 것이다. 이러한 관점에서 '영향'은 어떤 개입(사업)의 '직접적인 인과적 결과'이자 '성과목표로 설정했던, 사업이 의도한 변화'로 해석된다. 이는 앞서 이야기한 PDM에서의 '영향'보다 더욱 좁은 의미의 해석이다. 그리고 '영향' 자체보다는 '영향을 만드는 데에 기여한 원인이 무엇인지, 그리고 그 원인(사업 혹은 개입)-결과(성과 혹은 변화) 간 인과관계의 수준은 어떠한지'를 밝혀내는 데에 큰 관심이 있다. 위의 세계은행의 자료에서는 심지어 '모든 바카라 카지노 방법은 어떤 형태의 인과관계를 다루는 것'이라고 이야기한다. 그리고 이 인과관계를 밝히는 일은 주로 개발경제학자들이 하는 것이기 때문에, 당연지사 숫자를 통해 표현된다. 이것이 평가에 대한 관심이 높아질수록, 우리가 앞으로 더욱 자주 접하게 될 '실험/통계 기반의 바카라 카지노'이다.
수많은 국제개발 사업들이 실질적인 변화를 만들어 내는가에 대한 의문이 지속되는 가운데, 사업의 직접적인 효과성을 판단할 수 있는 '실험/통계 기반의 바카라 카지노'는 국제개발 분야에서 매우 중요한 영역이 되었다. 특히 증거기반 접근(evidence-based approach)이 강조되면서, 국제사회에서는 이미 오래전부터 여러 기관들이 이 바카라 카지노를 진행하고 있는 중이고, 이제는 국내에서도 M&E에 대한 관심과 함께 바카라 카지노에 대한 관심도 점차 커지고 있다.
하지만 여기서 조금 더 깊게 고민해 봐야 할 지점이 있다. 과연 인과관계를 밝혀내는 것이 바카라 카지노 그 자체라고 정의할 수 있을 정도로, 인과관계를 밝혀내는 것이 가장 중요한 일일까. 더 나아가서는, 이 복잡한 인간 사회에서 어떤 인과관계를 명확히 밝혀내는 것이 가능한 일일까.
또 다른 '바카라 카지노'의 정의를 살펴보면 이러한 고민은 더욱 커진다. 이번에는 OECD DAC이 정의하는 '바카라 카지노'이다.
the extent to which the intervention has generated or is expected to generate significant positive or negative, intended or unintended, higher-level effects.
- OECD DAC (2019), Better Criteria for Better Evaluations. Revised Evaluation Criteria. Definitions and Principles for Use. -
이 정의에서 영향은, 개입을 통해 만들어진 긍정적/부정적인, 의도된/의도되지 않은, 높은 수준의 효과를 모두 포함하고 있다. 이는 지금까지 살펴본 영향의 정의보다 더 광범위하고 포괄적인 정의이다. '의도된 변화의 직접적인 인과요인'을 밝혀내는 것에 집중하는 '실험/통계 기반의 바카라 카지노'는 이러한 포괄적인 영향의 정의를 모두 담을 수 없다는 한계를 지니고 있다.
OECD DAC의 정의에서 주목해야 할 점은 '부정적이고 의도되지 않은 결과'들도 개입(혹은 사업)의 바카라 카지노으로 정의한다는 것이다. 사실, 이는 너무나 당연한 정의이다. 국제개발 사업이 대상 지역사회와 주민들에게 미치는 바카라 카지노은 사업에서 목표한(의도한) 성과목표(긍정적 변화)를 달성하느냐 달성하지 못했느냐에만 국한되지 않는다. 사업을 기획하고 수행한 사람들이 의도하지 않았거나 예상하지 못했던 부정적인 결과들도 언제든 발생할 수 있기 때문이다. 그리고 복잡하고 가변적인 인간의 삶과 사회에서는 이러한 바카라 카지노들은 하나의 인과요인(사업 수혜 여부)으로만 발생하지도 않는다.
이처럼, OECD DAC의 영향에 대한 정의를 고려한다면 바카라 카지노는 '실험/통계 기반의 바카라 카지노'보다 훨씬 더 많은 것들을 고려하고 다룰 수 있어야 한다. 그리고 이러한 관점을 기반으로 한 바카라 카지노에 대한 설명은, 영국 국제개발 NGO들의 네트워크 모임인 BOND에서 발간한 'Impact Evaluation: A Guide for Commissioners and Managers'라는 자료에서 살펴볼 수 있다.
해당 가이드라인의 2번째 장(Chapter2. What is impact evaluation?)에서는 바카라 카지노에 대한 정의와 함께, 바카라 카지노를 둘러싼 여러 배경들과 변화하는 관점들을 함께 설명해 주고 있다. 여기에서도 바카라 카지노의 정의는 OECD DAC이 정의한 영향의 개념에서부터 시작하고, 이를 기반으로 한 바카라 카지노의 특징을 다음과 같이 요약한다.
의도되지 않았던 것들을 포함한 어떤 효과(any effect) 들을 찾는 것을 강조함.
긍정적이거나 부정적인 효과들을 인식함.
개입에 의해 생긴 효과들을 인식함
모든 개입과 효과 간에는 여러 다양한 종류의 연결(links)이 있을 수 있다고 전제함.
개입의 장기적 효과에 집중함.
앞서 이야기한 세계은행뿐만 아니라, 여러 개발경제학 중심의 연구기관들에서는 바카라 카지노를 '인과효과'를 찾는 방법론적인 정의로 접근한다. 하지만 BOND의 가이드라인에서는 이러한 접근법의 한계를 아래와 같이 이야기한다.
'의도한 효과'에 관심을 가짐.
개입-성과 간의 '직접적인 연결고리'가 있다고 가정함.
파급효과(secondary effects)보다는 '초기 효과(primary effects)'를 주로 다룸.
장기보다는 '단기적인 변화'의 근거를 찾고자 함.
분명, '실험/통계 기반의 바카라 카지노'는 평가자들이 인과관계 분석에 많은 관심을 갖는 데에 기여했다. 특히, 증거기반 접근법을 기반으로 인과관계를 찾는 실험적 방법들(experimental methods)을 사용하는 것은 국제개발 사업의 효과성을 판단하기 위해 중요한 근거 자료로 활용되고 있다.
하지만 이는 너무 인과관계 분석에 치중한 나머지, 정작 바카라 카지노, 결과, 효과 그 자체에는 적은 관심을 갖는 것이 아니냐는 논쟁을 불러일으키기도 했다. BOND의 가이드라인에서는, 증거기반 접근법이 점차 성숙해지면서, 모든 정책과 프로그램들을 하나의 방법론 툴킷으로 평가할 수 없다는 아래와 같은 인식이 더욱 확산되기 시작했다고 이야기한다.
문화적 변화, 인권, 평등, 임파워먼트와 참여와 같은 것들은 측정되기 어렵고, 양적 자료뿐만 아니라 질적 자료로 표현되어야 함.
(변화이론이라 불리기도 하는) 인과관계의 흐름을 그리는 인과 경로(causal pathways)는 복잡하고 다양한 인과요인들이 존재하므로 실험적 연구로 분석하기 어려움.
특정 맥락과 배경에 맞춰진 프로그램을 다른 배경에 적용시키기 어려움.
BOND의 가이드라인에서 이야기하는 또 하나의 흐름은, 책무성(accountability) 뿐만 아니라 학습(learning)을 우선시하는 바카라 카지노로의 전환이다. 이전에는 사업의 성공/실패 여부를 판단하고 그 원인을 찾는 '책무성 강화'를 위한 바카라 카지노였다면, 이제는 왜(why) 그리고 어떻게(how) 그 사업이 성공 혹은 실패했는지를 이해하고, 이를 '다른 사업에 적용'하기 위한 바카라 카지노가 더욱 중요해지고 있다. 즉, 사업이 야기한 변화의 인과관계를 찾는 것을 넘어서서, 그 변화가 발생한 이유, 과정, 방법을 파악하고 이를 다음 과정에 환류시키는 것이 중요해진 것이다.
이러한 흐름 속에서 BOND의 가이드라인은, 인과관계를 밝히는 실험/통계 기반의 바카라 카지노는 여전히 중요하지만 더 다양한 관점에서의 바카라 카지노들이 필요하다고 이야기한다. 왜(why), 어떻게(how)를 파악하는 것은 숫자로만 표현될 수 없기 때문이다. 단순한 인과관계뿐만 아니라 변화의 이유, 과정, 방법 등을 파악하기 위해선, 현지 지역사회의 주민들과 이해관계자들의 목소리를 충분히 담을 수 있어야 하며, 숫자로 된 양적 데이터뿐만 아니라 다양한 질적 자료들이 함께 다루어져야 한다. 이는 곧, 참여적(participatory), 과정 기반(process-oriented), 여러 질적(qualitative) 연구방법 등 다양한 평가연구방법들이 바카라 카지노의 다양한 종류와 방법으로 인식되고 활용되어야 함을 의미한다.
인과관계를 밝히고자 하는 실험/통계 기반의 바카라 카지노에는 큰 한계가 있기 때문에 중요하지 않다는 이야기를 하려는 것이 아니다. 인과관계를 밝히는 일은 여러 현상의 원인을 찾아, 보다 나은 개선책을 찾기 위해 꼭 필요한 과정이다. 다만, 우리가 분명히 인식해야 할 것은 이러한 실험/통계 기반의 바카라 카지노는 다양한 바카라 카지노 방법 중 일부일 뿐이라는 것이다. 인과관계를 분석하고 숫자로 표현하는 바카라 카지노는 바카라 카지노의 여러 방법론 중 하나일 뿐이지, 바카라 카지노 그 자체가 될 수는 없다. 실제로 BOND의 바카라 카지노 가이드라인에서는 실험/통계 방법론을 비롯한 다양한 평가 접근법과 방법들을 소개하며, 소개된 평가방법들은 서로의 한계를 상호보완하며 작동한다고 이야기한다.
국제개발 사업의 결과는 우리가 설정해 놓은 3~4개의 성과(outcome) 범위 안에서만 발생하지 않는다. 사업의 영향은 의도된 긍정적인 성과뿐만 아니라 의도하지 않은 부정적인 결과까지도 포함한다는 것을 분명히 인식하고, 이를 보다 복합적인 관점과 다양한 방법으로 분석하여 교훈을 도출해 내는 것. 그리고 이 교훈을 다음 과정에 환류하고 적용시키는 것. 이것이 우리가 지향해야 할 바카라 카지노의 활용법이 아닐까.
바카라 카지노에 대한 높아지는 관심과 함께, '영향'이 의미하는 것은 무엇인지 그리고 '바카라 카지노'를 통해 우리가 추구해야 할 것은 무엇인지를 더욱 많은 이들이 다양한 관점에서 고민하고 논의할 수 있기를 바란다.
