🧶 오늘의 키워드

#데이터솔루션 #임팩트측정 #데이터리터러시

📌 임팩트에 대한 정의

• UN : 임팩트는 사람들의 삶의 변화를 의미한다. 여기에는 어린이 성인, 가족 또는 지역사회의 지식, 기술, 행동, 건강 또는 생활 조건의 변화가 포함될 수 있다. 그러한 변화는 직접적이든 간접적이든, 의도했든 의도하지 않았든 개입에 의해 생성되며, 인구 집단에 대한 긍정적이거나 부정적인 장기적 영향을 의미한다. 이러한 영향은 경제적, 사회 문화적, 제도적, 환경적, 기술적 또는 기타 유형일 수 있으며, 긍정적인 영향은 구체적으로 합의된 개발 목표, 국가 개발 목표(헌법에 명시된 인권 포함), 국제 협약 및 조약에 대한 국가 약속과 어느 정도 관련이 있어야 한다.
  
  
• EU : 영향 평가 과정에서 영향이라는 용어는 주어진 정책 옵션/개입의 구현 및 적용으로 인해 발생할 것으로 예상되는 모든 변화를 설명한다. 이러한 영향은 다양한 기관에 걸쳐 발생할 수 있고 다양한 행위자에게 영향을 미치며 다양한 규모(지방, 지역, 국가 및 EU)와 관련될 수 있다. 평가 맥락에서 영향은 특정 개입으로 인해 장기적으로 발생하는 변화를 의미한다.
  
  
• IMP : 임팩트란 조직이 초래한 결과의 변화를 의미한다. 영향은 긍정적일 수도 있고 부정적일 수도 있으며, 의도적이거나 의도하지 않았을 수도 있다. 성과(Outcome)는 어떤 사건이나 행동의 결과로 한 그룹의 사람들이 경험하는 행복의 수준 또는 자연환경의 상태다. 임팩트 관리는 기업이 사람과 지구에 미치는 긍정적인 영향과 부정적인 영향을 파악한 다음 부정적인 영향은 줄이고 긍정적인 영향은 늘리는 프로세스이다.

📌 임팩트 창출 과정과 단계별 핵심 질문

• 문제 정의 (Define Problem)
• 누구의 문제인가?
• 진짜 문제가 맞는가?
• 얼마나 심각한 문제인가?
• 관련된 이해관계자들은 누구인가?
  
  
• 솔루션 기획과 실행 (Solution Design & Excute)
• 문제가 발생하는 근본적인 원인은 무엇인가?
• 원인을 해소할 방법은 무엇인가?
• 변화의 이론은 무엇인가?
• 방법을 적용하기 위한 투입 자원은 무엇이며 얼마나 되는가?
  
  
• 측정과 관리 (Measurement & Management)
• 측정해야할 지표는 무엇인가?
• 측정은 어떻게 진행할 것인가?
• 활동을 통해 만든 결과가 유의한 변화를 만들었는가?
• 성과를 통해 어떤 의사결정을 할 것인가?(어떻게 활용할 것인가?)

문제정의 검토를 위한 데이터 분석 과정 개요 (그래프를 자세히 보고 싶다면 👉Click)

토픽 모델링을 통해 추론한 30여 개 이슈 중 과학기술과 연계성이 높은 17개 이슈를 선정한 뒤, 각 이슈가 사회 속에 확산된 정도와 그 속도를 분석했습니다. 이러한 트렌드 정보는 이슈의 우선순위를 선정하는 데 중요한 역할을 합니다. 예를 들어, 현재 사회의 주목도가 높으면서 5년 전부터 빠른 속도로 확산하는 이슈를 먼저 해결해야 하는 이슈로 채택할 수 있습니다(중대 영역). 혹은, 확산 속도는 빠르지만 아직 대중들의 인지도가 낮은 이슈는 특정 사건과 함께 핵심 어젠다가 될 가능성이 높으므로 실시간 모니터링을 담당 부서에 요청할 수 있습니다(확산 영역).

이렇듯 데이터 분석은 제대로 된 문제를 정의하는 일과, 문제와 관련된 이슈를 발굴하고 전략적 우선순위를 선정하는 일 등, 사회문제 해결의 시작점에서 활용될 수 있습니다. 그렇다면, 이렇게 주목된 문제들을 실제로 해결하는 과정에서는 어떤 식으로 의사결정을 지원할까요?

제대로 된 해결책을 찾기 위해 근본적인 원인을 찾는 것이 중요합니다. 문제 하나에는 다중적이고 복합적인 원인이 있기 때문에 표면적인 원인에 치중한 솔루션을 적용하면 언젠가 다시 문제가 발생합니다.

1950~80년대 산업 현장에서 중대 사고와 품질 저하를 막기 위해 사용된 근본 원인 분석법(Root Cause Analysis, RCA)은 오늘날에도 문제 해결에 필수적인 접근 방식입니다. 아래 그림처럼, 문제의 영향을 미칠 수 있는 다양한 종류의 원인을 구조화하여 가장 큰 영향 요인을 추정하는 것이죠. 더 간단한 도구로 5 Why Question(최소 5번의 ‘왜?’라는 연쇄 질문을 통해 원인을 찾아가는 방법), Fishbone Diagram이 있으니 여러분도 한번 해보시기를 바랍니다.

Fishbone Diagram, GE, Toyota와 같이 품질 관리 프로세스로 유명한 기업들은 사고나 제품 하자가 발생하면 모든 운행을 멈추고 RCA(근본 원인 분석)를 진행하기도 했습니다. (이미지를 자세히 보고 싶다면 👉 Click)

제품 품질에 기계 결함이나 원재료의 순도가 미치는 영향력이 높듯이, 사회문제는 인구통계학적인 변수(ex, 연령, 성별, 지역, 소득, 가족 단위, 사회적 계층)의 영향을 많이 받습니다. 따라서 사회문제 솔루션을 디자인할 때는 앞서 언급한 변수들이 얼마나 영향을 미치는지 살펴야 합니다. 경제적 계급 이동에 미치는 영향력 요인을 분석해 노벨 경제상 후보에 오르기도 한 하버드 경제학과 라지 체티 교수의 연구(Raj Chetty et. al, 2014)가 대표적입니다.

라지 체티 교수와 오퍼튜니티 인사이트(Opportunity Insight) 팀은 약 1978~1983년에 태어난 미국인 약 2,000만 명의 인구 데이터를 추적했습니다. 이들은 평균 4,200명을 기준으로 쪼개진 지역 단위 데이터를 활용해 30~35년의 세월이 흐른 뒤 지역별 소득 격차가 나타남을 밝혔습니다. 아래 그림처럼, 같은 뉴올리언스 주에 살았어도 남서부에서 태어난 아이들(연 1억 원)에 비해 동북부 지역에서 태어난 아이들의 30여 년 후 기대 소득(연 2천만 원)이 낮을 가능성이 평균적으로 높다는 것입니다. 라지 체티 교수는 분석 결과를 통해 불공평한 계급 이동 기회의 원인이 지역에 있으며, 이를 해소하기 위해서는 지역 기반의 정책(place-based policy)의 개선이 시급하다고 주장했습니다.

라지 체티 교수는 지역에서 이미 진행되고 있는 솔루션이 제대로 작동하지 않는 원인을 밝히기도 했습니다. 미국은 저소득층 가정이 이사할 때 임대료를 지원하는 주택 바우처 프로그램(Housing Choice Voucher Program)에 매년 200억 달러를 지출하고 있습니다. 하지만, 지원을 받은 220만 가구 대부분이 거주하는 곳은 여전히 경제적 계급 이동의 기회가 낮은 곳이었습니다. 라지 체티 교수와 연구팀은 파일럿 연구를 통해 임대료뿐 아니라 주거지를 탐색하고 계약하는 과정까지 지원할 때, 계급 이동 기회가 높은 곳으로 이사할 가능성이 5배 증가한다는 것을 밝혔습니다. 궁극적으로 주택을 찾는 과정의 어려움이 소득 격차의 큰 원인이라는 것을 시사하며, 정책 솔루션을 성공으로 이끌었습니다.

때로는 데이터 분석 자체가 솔루션이 될 때도 있습니다. 워싱턴 대학교의 메이커빌리티 랩(Makeability Lab)에서는 장애가 있는 미국인들이 거리를 마음껏 이동하지 못한다는 문제의식 하에 2012년부터 Project Sidewalk를 진행하고 있습니다. 연구팀은 구글 맵의 스트릿 뷰를 활용해 장애인들이 이동하기 어려운 도보 이미지 데이터를 수집하고, 이를 학습한 인공지능이 미국 전역의 거리에 대한 접근성을 평가하도록 했습니다. 경사로가 없는 횡단보도, 물리적인 장애물, 끊긴 포장도로, 표면이 고르지 않은 인도 등 이동 접근성을 저해하는 요소들을 온라인 맵에 표시해 장애인들이 피해 갈 수 있도록, 그리고 지자체에서 문제를 빠르게 해결할 수 있도록 만들었습니다.

🌐 측정과 관리까지가 임팩트다

솔루션은 만들고 실행하여 그 결과를 보지 않으면 실제 효과가 있는지 제대로 알 수 없습니다. 또 한 가지 중요한 것은, 임팩트는 조직의 행동으로 나타나는 즉각적인 결과로 정의되지 않고, 결과가 만들어내는 변화의 끝에서 보이기 시작하기 때문에 일정 기간에 걸친 관찰이 필요하다는 것입니다. 그래서 문제 해결은 끊임없는 실험과 측정의 반복이며, 성패를 판가름할 수 있게 돕는 데이터와 ‘과학’이 늘 가까이에 필요한 것 같습니다.

그런데 임팩트 생태계에 속한 조직들을 만나보면 핵심 지표를 제대로 설정하고 데이터를 수집하는 과정에서 가장 큰 어려움을 느끼고 있습니다. 사실 눈앞에 처리해야 할 과업들이 중요하다 보니, 당장에 필요하지 않은 데이터를 수집하는 것이 힘든 게 당연합니다.

하지만, 사업이 문제를 실제로 해결하고 있는지 판단하고 개선하거나 후원자, 투자자와 같은 중요한 이해관계자들과 성과를 공유하기 위해서는 임팩트 측정이 필요합니다. 시간이 들고 어렵더라도, 문제와 사업의 임팩트를 잘 정의하고 핵심 지표를 수립하여 지표 측정에 필요한 데이터를 꾸준히 수집하시길 권고드리고 싶습니다.

데이터 수집의 기초적인 틀이 되는 핵심 지표는 어떻게 선정하는 것이 좋을까요? 사실 우리가 측정해야 할 지표는 문제를 정의하는 과정에서 자연스럽게 도출되는 경우가 많습니다. 아래의 예시를 통해 설명해 보겠습니다.

장애인의 고용 안전망 구축을 위해 디지털 역량 강화 교육을 진행하는 조직을 가정하면, 아래 그림과 같이 ‘장애인 청년들의 고용률이 전체 인구 고용률에 비해 크게 낮다’는 문제를 정의할 수 있습니다. 이때 문제의 심각성과 실상을 보여주는 지표는 장애인 청년들과 전체 인구의 ‘고용률 격차(26.6%P)’ 입니다. 반대로 말하면, 고용률 격차가 줄어드는 것이 문제가 해결되는 방향이라고 할 수 있습니다. 사업의 임팩트를 평가하기 위해서는 디지털 역량 강화 교육을 들은 청년들의 고용률이 얼마나 증가했는지를 측정해야 하는 것이죠.

📌 사실 그리 간단하게 효과성이 평가되지는 않습니다. 우리 사업을 통해 교육을 받은 대상자들이 취업하는 시기가 언제인지 알 수 없으니, 정기적으로 취업 상태를 추적해야 하고, 다른 기관의 사업을 통해 취업했을 가능성도 함께 고려해야 합니다. 하지만, 기본적으로 데이터를 수집하려는 조치(사업 참여자들의 연락처, 기본 정보 파악 등)를 하지 않는다면 간단한 고용률조차 계산하기 어려워질 수 있다는 것을 명심해야 합니다.

그런데 지표를 수립할 때는 몇 가지 주의해야 할 점이 있습니다. 예를 들어, 아무도 사용하지 않는 지표를 사용하거나, 해석이 난해한 지표는 피하는 것이 좋습니다. 방금 사용한 고용률과 같은 지표는 이해하는 것이 명확하고, 문제의 핵심을 설명하며 비교가 가능한 지표입니다. 이렇듯 임팩트 측정에 활용하기 적합한 지표의 특성을 정리한 것이 아래 4 Condition(Crucial, Collectable, Comprehensible, Comparable)입니다.

이러한 조건을 잘 충족하는 대표적인 지표가 지속가능발전목표(SDGs)의 세부 지표, 그리고 IRIS+ Metrics입니다. 두 가지 모두 임팩트를 측정할 때 기본적으로 사용되지만 각각의 특징을 고려하는 것이 좋습니다. SDGs 세부 지표의 경우 인지도가 매우 높고 글로벌 표준처럼 사용할 수 있어 사업의 성과를 비교하거나 이해시키는 데 효과적입니다. IRIS+ Metrics의 경우 SDGs보다 사용도는 낮지만, 엄밀한 분석과 핵심을 설명할 때 효과가 높습니다.

사업의 성과를 측정해 전략을 지속적으로 수정하고 임팩트 창출을 성공적으로 이끈 대표적인 사례로 Vision Spring(비전스프링)을 빼놓을 수 없습니다. 비전스프링은 시력 교정이 필요한 개발도상국 저소득층 주민들에게 저렴한 안경을 제공하는 기업입니다. 비전스프링이 처음 정의한 문제는 ‘안경 접근성의 부족’이었지만, 근본적인 문제는 시력 저하로 인한 '교육 접근성 감소'와 '경제활동 기회의 부족'이었음을 파악했습니다. 그래서 비전스프링에게 안경은 단순히 시력 교정을 돕는 도구가 아닙니다.

비전스프링은 제품 서비스가 실제로 고객의 경제활동 기회와 교육 접근성에 긍정적인 영향을 미치는지 측정하기 위해 데이터를 통한 준실험적 연구(quasi-experimental study)*를 중요하게 활용했습니다. 비전스프링은 사용자의 ‘생산성’과 ‘경제적 수익’을 주요한 지표로 세우고, 안경 판매가 두 지표에 미치는 영향력을 지속적으로 측정하며 관리하고 있습니다.

 *준실험적 연구: 모든 변인을 완전하게 통제할 수 없는 상황에서 실행하는 유사 실험

비전스프링의 핵심 지표가 사용자의 생산력과 경제적 수익에 초점을 맞추고 있기 때문에 사업 운영 방식도 이에 발맞춰 지속적으로 변화했습니다. 초기에는 현지의 여성을 모집하고 교육해 비전스프링의 안경을 유통하는 ‘비전 앙트레프러너’로 세우고, 이를 통해 현지 여성들에게 경제적 기회를 제공했습니다. 하지만, 보다 많은 사람들에게 안경을 제공하는 것이 지역 전반의 생산성을 더 빠르게 높일 방법이라 평가하여 지역의 주요 유통업체와 협업하는 모델로 운영 방식을 변경했습니다.

최근에는 방글라데시, 인도, 베트남 재봉공장의 임원진을 대상으로 인식 제고 활동을 펼쳤습니다. 임원진들은 안경을 쓰는 직원에 대한 편견으로 인해 차별적 고용 행태를 보이고 있었는데요. 안경을 착용한 공장 직원은 시력이 나빠 실과 바늘을 또렷하게 보지 못하고, 이는 생산성 저하로 이어질 것이라 인식한 겁니다. 비전스프링은 재봉공장 관리자의 인식을 바꾸고 직원들에게 안경을 제공했습니다. 설문 결과, 안경을 받은 직원 97%의 자신감이 올랐고, 79%는 좌절감이 감소했습니다. 직원 정신 건강은 공장의 생산성에도 영향을 미치기 때문에 중요한 변화였습니다.

비전스프링과 같은 훌륭한 조직도 데이터 수집이 쉽지만은 않았을 것입니다. 안경을 구매한 사용자의 삶의 질이 어떻게 변하는지 측정하려면, 그만큼 긴 시간에 걸친 데이터를 수집해야 하기 때문이죠. 

임팩트 측정을 위한 데이터 수집에 어려움을 겪는 조직들을 위해, 글로벌 임팩트 투자사인 아큐먼(Acumen)은 60데시벨(60 Decibels)을 만들고 린 데이터 측정법을 개발했습니다. 린 데이터는 전화, 문자, 구조화된 서베이 등을 통해 당사자 또는 이해관계자의 삶 변화를 직접 묻고 데이터로 만들어 현장에서 나타나는 임팩트를 측정하는 비용효율적인 방법입니다.

미국 NGO ‘미라클핏(MiracleFeet)’의 사례는 린 데이터로 임팩트를 측정한 대표적인 예시입니다. 미라클핏은 내반족(선천적으로 발이 안으로 굽는 병)으로 걷지 못하는 아동에게 보조기구를 보급하는 사업을 했습니다. 미라클핏은 60데시벨 및 지역 의료기관과 손잡고 치료 후 2년이 지난 아동 470명과 보호자를 대상으로 ‘치료를 통해 삶의 질이 얼마나 향상했는지’를 전화 서베이로 물었습니다. 서베이 결과 98%의 아동의 삶의 질이 향상했으며, 97%의 아동의 발이 ‘완전히’ 혹은 ‘대부분’ 치료됐고, 92%의 아이들이 어려움 없이 ‘언제나 걸을 수 있게 된’ 것으로 나타났습니다.

📌 지난해 트리플라잇도 린 데이터 측정을 통해 기아(KIA) ‘그린라이트 프로젝트(Green Light Project, GLP)의 10년 임팩트를 진단했습니다. 아프리카 현장에서 나타난 변화의 깊이(depth)를 파악하기 위해, 총 2,800명의 주민을 대상으로 그린라이트 프로젝트를 통해 나타난 변화를 조사했습니다. 자세한 내용은 트리플라잇의 블로그를 통해 확인하실 수 있습니다.

미디어 데이터도 임팩트 측정에 다양하게 활용되고 있습니다. 데이터가 없는 것이 임팩트 측정의 장벽이 되는 조직들을 위해 제가 주로 제공하는 솔루션이 바로 미디어 빅데이터 분석인데요. 최근 진행한 아름다운재단 ‘열여덟 어른’ 캠페인 임팩트 측정 프로젝트가 대표적인 사례입니다. ‘열여덟 어른’은 자립준비청년에 대한 사회의 관심과 인식을 높이기 위해 2019년부터 시작된 캠페인입니다. 자립준비청년들이 겪는 문제를 수면 위로 끌어올리고, 대중의 관심과 정책적 변화를 통해 당사자들의 삶의 질을 하고 자립을 돕는 것이 사업의 임팩트입니다.

측정의 관건은 ‘열여덟 어른’ 캠페인을 통해 자립준비청년을 향한 대중의 관심도가 실제로 높아졌는지와 그 정도가 얼마나 큰지를 평가하는 것이었습니다. 이를 분석하기 위해 활용한 데이터는 웹 검색량 데이터였습니다. 캠페인 시작 전후의 자립준비청년 관련 검색량을 비교하여 증가량을 분석하고, 증가분에 대한 캠페인의 영향력을 분별했습니다. 분석 결과, 자립준비청년 관련 검색량은 캠페인 후에 216배 증가했으며, 검색 트렌드에 대한 ‘열여덟 어른’ 캠페인의 영향력은 20%에 달했습니다. 즉, ‘열여덟 어른’ 캠페인을 접하고 검색창에 ‘자립준비청년’을 검색한 횟수가 43.2배가량 증가했다고 추론할 수 있는 것입니다.

🙌 힘을 합하기 위해 필요한 데이터 리터러시

사회문제와 관련된 데이터 분석을 주제로 진행했던 강의에서, 나이가 지긋하신 한 선생님께서 제게 어려운 질문을 하신 적이 있습니다. “임팩트 측정을 잘하려면, 저도 이러한 분석기술을 배워야 할까요?” 조심스레 제가 건넨 답변은 “아니요. 충분히 하실 수 있다고 생각하지만, 굳이 그러시지 않아도 됩니다.” 였습니다.

제가 위처럼 답한 이유는, 그분이 한 조직을 이끌어가는 임팩트 섹터의 전문가였기 때문입니다. 데이터를 통해 만들어진 정보들은 도구이기 때문에 이를 실제로 활용할 수 있는 전문가들이 필요합니다. 즉, 데이터를 통해 도구를 만드는 데이터 분석가뿐 아니라, 어떻게 활용할 것인지를 정하는 의사결정자, 실제 현장에 적용하는 실행자 등이 각자의 전문성으로 협업해야 합니다.

그래서 사회문제 해결에 데이터를 잘 활용하려면, 출중한 분석 기술을 익히는 것보다 데이터 리터러시(Data Literacy)* 함양을 우선해야 합니다. 데이터를 활용해 도출한 결과들을 잘못 해석하거나 같은 내용으로 이해하지 못한다면, 데이터 분석은 사회문제 해결의 걸림돌로 전락할 수 있습니다. 과정에 참여하는 다양한 주체들이 데이터 리터러시를 갖추고 각자 역할의 전문성과 협응력을 키워갈 때 데이터가 중요한 열쇠로 활용될 수 있을 것입니다.

*데이터 리터러시: 데이터 소스, 구조, 적용되는 분석 방법과 기술을 이해한 채로 주어진 맥락상의 데이터를 읽고 쓰고 소통하며, 적용 사례와 이를 통한 비즈니스 가치 및 성과를 설명할 수 있는 능력(Gartner).

이은창

임팩트 솔루션 플랫폼 트리플라잇에서 데이터 솔루션을 만들고 있다.

사회문제 해결을 위한 데이터 리터러시 강의를 진행하고 있으며,

임팩트 솔루션 연구소 betterdawns.com 개설을 준비하고 있다.