Search
▶️

추상적인 가치를 측정하는 방법

Updated
2021/10/08
Tag
People Analytics
By
장윤제(People Scientist) greg@lemonbase.com

People Analytics (1)

피플 애널리틱스(People Analytics)는 '일하는 사람'에 대한 데이터 기반 접근 방식을 통칭합니다. 레몬베이스 캠프에선 같은 이름이 붙은 칼럼을 보실 수 있는데요, 사람을 데이터로 이해해보고 싶은 그렉(Greg)이 그간 경험에만 기대어왔던 '인사 결정'을 데이터 기반으로 내릴 수 있는 길을 안내합니다.

여는말

제가 참 좋아하는 렌트(Rent)라는 뮤지컬은 사람의 인생을 대표하는 것, 즉 삶에서 가장 중요한 가치는 무엇인지를 찾아가는 다양한 인물들의 얘기를 담고 있습니다. 렌트에서 접하게 되는 수많은 명곡 중 가장 유명한 곡은 단연 'Seasons of Love'일텐데요, 이 노래는 인생의 길이를 측정하는 방법을 묻고, 인생에서 가장 중요한 가치인 사랑을 기억해야 하며 수명보다 '사랑의 시간'으로 인생을 측정해야 한다고 멋진 화음과 멜로디에 실어 전달합니다.
갑자기 뮤지컬과 노래 얘기를 꺼내는 이유는, 렌트라는 작품이 전하는 메시지 - 사람의 삶의 가치를 측정하는 유일한 잣대는 사랑이며, 인생의 가치를 높이기 위해서는 많은 사랑을 나누는 것이 중요하다 - 가 레몬베이스의 문제해결 방식과 동일하기 때문입니다. 렌트의 주인공들이 인생이란 복잡하고 추상적인 개념을 정의하고 개선하기 위해 이를 나타내는 가장 중요한 가치(사랑)를 선정하고 이를 통해 삶의 가치를 측정하는 것처럼, 레몬베이스 역시 '회사와 구성원의 성장과 성과'란 추상적이고 복잡한 개념을 측정하고 나아가 개선하기 위해 이 개념을 나타내는 측정 가능한 대표 값을 설정하고, 이를 기반으로 개선을 도모하는 업무를 진행하고 있습니다.
이렇게 추상적인 개념을 정의하고, 이를 나타내는 요소를 선정하고 측정하는 것을 개념화(Conceptualization) 그리고 조작화(Operationalization)라고 합니다. 심리학, 사회과학, 물리학, 경영학 등 다양한 분야에서 널리 쓰이는 방법이죠. 앞서 얘기한 것처럼 렌트의 주인공 그리고 여러분도 비단 업무 뿐 아니라 일상생활에서도 항상 사용하는 방법입니다. 논의 주제에 대한 회의 참석자들의 이해도라는 추상적인 개념을 그들의 반응(고개 끄덕거림, 생각에 잠기기 등등)이라는 요소로 정의하고, 이를 측정함으로써 상대방의 이해도를 가늠하고, 이에 따라 부연 설명을 하거나 하는 등의 행동 모두 무의식적으로 개념화와 조작화를 진행한 것이지요. 알게모르게 우리 삶에 녹아있는 개념화와 조작화 그리고 관련된 요소들에 대해 좀 더 알아보겠습니다.

개념화 (Conceptualization)

개념화는 특정 개념 또는 이를 지칭하는 단어가 의미하는 것과 범위를 명확하게 정의하는 것을 의미합니다. 외국인과 협업하는 것도 아닌데 특정 단어의 정의를 명확하게 내려야 하는 이유는 특정 단어나 개념에 대한 개개인의 이해가 다르기 때문입니다.
모든 기업이 이상적인 인재를 모시기 위해 노력하는 것은 당연한데요, 이 '이상적인 인재'라는 개념 또한 기업에 따라 매우 다르게 정의됩니다. 대한상공회의소가 국내 매출액 상위 100대 기업의 인재상을 2018년 분석한 결과에 따르면, 제조업을 영위하는 기업은 '소통과 협력'을 가장 중요한 역량으로 꼽은 한편, 도소매업과 무역‧운수업은 '전문성', 금융업과 건설업의 경우 '주인의식'을 중시하는 것으로 나타났습니다. '이상적인 인재'의 의미가 각 기업마다 다른 것처럼, 추상적인 개념 또는 단어는 맥락에 따라 의미가 변화무쌍하기에, 특정 개념을 명확하게 정의하는 것, 즉 개념화는 무척이나 중요합니다.
앞서 얘기한 '이상적인 인재'라는 개념에 대하여 명확하고 세부적인 정의를 제시한 좋은 개념화의 예시를 소개드리겠습니다. 예시의 주인공은 글로벌 기업 중 가장 먼저 데이터 기반의 인사 시스템 구축을 시작한 것으로 알려진 구글인데요. 구글은 2008년에 시작된 'Project Oxygen'을 필두로 수십년 동안 다양한 인사 프로젝트를 통해 '좋은 리더'라는 개념을 다음과 같은 10개의 행동으로 정의하였습니다.
1. 좋은 코치이다. (Is a good coach) 2. 팀원들에게 권한을 부여하고 마이크로 매니징 하지 않는다. (Empowers team and does not micromange) 3. 포용적인 팀 환경을 구축하며, 팀원들의 성공과 안녕에 대한 관심을 보인다. (Creates an inclusive team environment, showing concern for success and well-being) 4. 생산적이며 성과중심적이다. (Is productive and results-oriented) 5. 의사소통 능력이 뛰어나다. 정보를 듣고 공유하는 것을 잘한다. (Is a good communicator— listens and shares information) 6. 팀원의 커리어 개발을 지원하고 그들의 성과에 대하여 논의한다. (Supports career development and discusses performance) 7. 팀에 대하여 명확한 비젼과 전략을 갖고 있다. (Has a clear vision/strategy for the team) 8. 팀에게 적절한 조언을 할 수 있도록, 핵심 전문 역량을 보유하고 있다. (Has key technical skills to help advise the team) 9. 회사 전반적으로 협업을 이끌어낸다. (Collaborates across Google) 10. 확실한 의사결정자이다. (Is a strong decision maker)
대부분의 기업은 '창의성', '주인의식'과 같이 여전히 추상적이고 행동에 옮기기 어려운 개념으로 '이상적인 인재'라는 추상적인 개념을 정의합니다. 반면 구글은 위 목록을 통해 '이상적인 리더'의 개념을 명확하게 정의하여 구성원들이 지향 혹은 지양해야 하는 행동을 제시하고, 의사소통의 오류를 방지하여 구성원간 효과적인 상호 작용을 추구하고 있습니다.
토론 문화가 활성화돼 있는 레몬베이스에서 다양한 논의를 진행하다 보면, '개똥 같이 말해도 찰떡 같이 알아듣는 경우'와 '찰떡 같이 말해도 개똥 같이 알아듣는 경우'를 왕왕 마주하는데요. 전자의 경우는 회의 참석자들이 특정 단어 또는 개념에 대해 같은 의미와 범위를 정의하거나 화자가 보내는 단서로 빠르게 개념화를 진행할 때 기대할 수 있습니다. 후자의 경우는 상호 간에 개념화가 부족할 때 부딪히는 상황입니다. 특히, 개념화가 부족한 대표적인 경우는 서로 같은 의견을 다른 의견으로 받아들이고 논의할 때("아 이제 와서 생각하니, 우리는 같은 얘기를 하고 있었네요!")입니다. 논의를 시작하기에 앞서 개념화를 염두에 두시면 "서로 같은 얘기를 하고 있었군요(이마 탁)"의 경험을 방지할 수 있을 것이라고 생각합니다.
앞서 '개념화'라는 단어는 '특정 개념 또는 이를 지칭하는 단어가 의미하는 것과 범위를 명확하게 정의하는 것'이라고 규정했는데요, 이렇게 개념의 의미를 규정하는 것을 개념적 정의라고 합니다. 이 정의를 분석해보면 다양한 요소들(개념, 단어, 의미, 범위, 정의)로 이뤄진 것을 알 수 있는데요, 이렇게 개념을 구성하는 요소를 변수(variable)라고 합니다. 실제 업무에서의 예시를 들어 개념화와 변수에 대해 설명해보겠습니다.
비단 레몬베이스 뿐만 아니라 많은 회사에서 고객의 제품 및 서비스 이용 행태를 파악하고 이를 개선함으로써, 고객 만족도를 높이고 매출 및 부가가치를 창출하고자 합니다. 이를 위해 '고객들의 이상적인 제품 이용 행태'라는 추상적인 개념을 구체화해야 하고, 이를 기준으로 실제 고객들의 이용 행태를 비교 분석해야 하는데요, 이 '이용 행태'라는 개념을 고객들의 서비스 사용주기, 평균 매출, 이탈률 등의 변수로 보통 정의합니다. CPM(지속적인 성과 관리)과 구성원 간 잦은 피드백 및 대화를 추구하는 레몬베이스는 고객의 레몬베이스 이용 행태라는 추상적인 개념을 1:1 미팅 주기, 목표 체크인 주기, 리뷰 작성 주기 등의 변수를 통해 파악하고 있습니다. 즉, 1:1 미팅 주기, 목표 체크인 주기, 리뷰 작성 주기라는 변수를 통해 개념화한 것이지요.
또한, 레몬베이스에서는 서비스의 이용 행태 뿐만 아니라 역량 리뷰를 위해 문항을 개발할 때도 리뷰 대상자의 역량이라는 추상적인 개념을 의사소통, 도덕성, 의사결정 능력 등 다양한 능력을 나타내는 변수로 정의합니다. 이렇게 구체화한 변수로 역량을 측정하기 위해 리커트 척도를 적용하기도 하는데요, 구체화한 요소들을 측정하는 방법을 개발하는 것을 조작화(Operationalization)라고 합니다.

조작화 (Operationlization)

모호하고 추상적인 개념을 구체화하는 작업을 개념화라고 한다면, 조작화는 개념화된 개념을 현실 세계에서 측정 가능한 요소로 측정하는 방법을 개발하는 작업이라고 할 수 있습니다. 개념화가 추상적인 개념들을 이 개념을 분석한 변수로 구체화한다면, 조작화는 이 변수들을 정량적으로 측정 가능한 요소(지표)로 바꾸고 이를 측정하는 방법을 제시하는 것이라고 할 수 있습니다.
앞서 얘기한 레몬베이스의 고객 이용 행태의 변수들을 기억하시나요? 이 변수들을 나타내는 지표 그리고 이를 측정하는 방법을 제시하여, 아래의 도표와 같이 조작화 해보았습니다.
개념화 단계를 통해 모호할 수 있는 개념을 구체화한 변수로 구성하였고, 이 변수들을 정량적으로 측정 가능한 지표로 변환함으로써 조작화하였습니다. 그런데 3단계에 걸쳐서 추상적인 개념을 구체화하고 측정 가능한 지표를 찾는 접근법 왠지 익숙하지 않으신가요? 개념화와 조작화는 목표(Objective), 핵심 결과(Key Result), 계획(Initiative)으로 이뤄진 OKR과 매우 유사한 방식을 따르고 있습니다. 결국, OKR이란 개념화와 조작화라는 연구 방법론을 경영에 접목한 목표 관리 시스템 또는 프레임워크라고도 생각할 수 있습니다. 관련해서는 다른 글을 통해 조금 더 깊이 다루도록 하겠습니다.
여기까지 읽고 "정량적으로 측정 불가능하면 어떻게 하나요?"라는 질문이 혹시 떠오르신다면, 다시 한번 찬찬히 생각해보세요. 지금 저는 추상적이고 모호하여 정량화 불가한 개념을 정량화하는 개념화와 조작화에 대하여 얘기하고 있습니다. 이 방법을 이용하면 정량화 불가한 개념은 존재하지 않습니다. 다만, 신뢰도와 설득력이 낮은 정량화 방법이 존재할 뿐이지요.

조작화의 장단점

이렇게 다양한 분야에서 우리도 모르는 사이에 사용되고 있는 개념화, 특히 조작화의 장점은 무엇일까요? 먼저, 추상적인 개념을 경험론(empiricism)적인 관점으로 접근 가능하게 한다는 점입니다. '경험론'이란 단순하게 얘기하면, 경험 또는 이를 통해 획득한 증거를 토대로 하는 지식을 의미합니다. 즉, 추상적인 개념을 경험과 증거를 토대로 판단 가능하게 하는 점이 조작화의 가장 큰 장점이라고 할 수 있습니다. 또, 주관적인 요소를 최소화합니다. 증거 수집 방법 및 분석 방식에 따라 주관성을 차단하는 정도가 달라지겠지만, 개인의 머릿속의 느낌을 기반으로 내려진 뇌피셜st의 정보 및 의견보다는 객관성을 확보할 수 있음에는 의심의 여지가 없습니다.
또한, 잘 적용된 조작화 방식의 중요한 강점 중 하나는 바로 강건성/재현성(reproducibility)입니다. 강건성/재현성은 같은 환경에서 다른 사람이 연구자가 명시한 변수와 지표를 측정하더라도 같은 결과를 얻을 수 있다는 의미입니다. 즉, "그때는 맞았지만, 지금은 틀렸다"와 같이 휘발되는 단편적인 결과가 아닌, 재현 가능하여 계승되어도 문제 없는 지식과 정보를 생산해낼 수 있다는 것이지요. 짐작하시겠지만, 모든 분야에서 특히 과학 분야에서 재현성은 매우 중요합니다. 재현 불가한 연구 결과는 사실 뇌피셜과 크게 다를 바가 없습니다. 최근 거의 모든 연구 분야에서 재현성이 매우 큰 이슈가 되어 왔는데요, 이에 대해서는 이 위키피디아 페이지 또는 "Reproducibility crisis"를 구글하면 살펴보실 수 있습니다.
장점을 얘기했으면 단점/유의사항을 얘기하는 것이 인지상정이겠지요. 조작화를 통해 획득한 정보는 결정불충분성 (underdetermination)을 갖게 됩니다. 다시 얘기하면, 경우에 따라 다르다는 얘기입니다. 강건성/재현성은 "때에 따라 다르지 않다", 즉 똑같은 조작화 방법으로 같은 대상에 대하여 같은 환경으로 측정하는 경우 같은 결과 도출이 가능하다는 것입니다. 결정불충분성은 같은 조작화 방식으로 다른 대상 또는 다른 환경으로 접근하는 경우 같은 결과를 가질 수 없다는 것을 의미합니다. 예를 들어, 대한민국을 기준으로 가난이란 개념을 "연 소득이 91만 7천 원 이하(중위 소득의 50%)인 사람들의 경제 상태"라고 정의해보겠습니다. 이 변수(소득)와 지표(연 소득 약 92만 원 이하)를 토대로 대한민국의 전체 인구 중 빈곤율(가난한 사람의 비율)을 측정해보면, 약 14.6%가 이에 해당하게 됩니다. OECD에서 조사한 대한민국의 상대적 빈곤율이 16.3%인 것을 감안하면, 현실을 꽤 잘 반영하는 좋은 조작화 결과라고 할 수 있습니다. 같은 기준을 중앙아프리카 공화국에 대입해보도록 하겠습니다. 중앙아프리카 공화국의 소득 하위 99%(상위 1%를 제외한 나머지)의 연평균 소득은 약 8만원입니다. 즉, 인구의 99%가 빈곤층에 속하게 되는 것이지요. 실제로 2008년 기준으로 약 66%가 빈곤층에 해당하는 것을 감안하면, 부정확한 조작화 결과라고 할 수 있겠습니다. 이렇듯, 조작화는 때에 따라 사실을 정상적으로 반영하지 못 할 수 있으며, 이를 항상 유의해야겠습니다.
조작화의 또 다른 단점은 추상적인 개념을 구체화 및 정량화하는 과정에서 정보가 누락된다는점입니다. 마치 한글로 쓰여진 소설을 영어로 번역하는 과정에서 문장의 의미와 뉘앙스가 일부 휘발하듯, 추상적인 개념을 특정 변수와 지표로 나타내다보니, 놓치게 되는 부분이 발생하는 것이지요.

맺음말

이미 우리가 무의식적으로 자주 그리고 잘 사용하고 있는 개념화와 조작화에 대해 알아보았습니다. 화자 간 생각의 차이를 최소화하기 위해서는 개념화를 충분히 하는 것이 좋으며, 개념화하는 경우 명확한 용어(전문용어)를 사용하는 것이 잘못된 이해를 미연에 방지 할 수 있습니다. 다만, 각기 다른 전문 분야 또는 배경의 사람들이 협업하는 경우, 부가 설명 없이 전문 용어를 사용하는 것이 오히려 더 큰 오해를 야기할 수 있습니다. 예를 들어, 애자일(agile) 방법론에 익숙한 사람과 그렇지 못한 사람에게 "우리 이번 프로젝트는 agile하게 진행해봅시다"라는 말은 매우 다르게 전달될 것입니다. 애자일 방법론이 익숙한 사람은, "고객에게 빠르게 가치를 전달하기 위해서 점진적으로 가치를 전달하고, 12개의 agile 원칙을 생각하면서 프로젝트를 진행해야겠구나"라고 받아들이겠지만, 그렇지 못한 사람은 "빠르게 프로젝트를 마무리하자는 것이구나..... 여보세요 나야 거기 잘 지내니, 당분간 집에 못 들어갈 것 같아"라고 받아들일 수 있겠지요. 내가 사용하는 단어나 개념이 상대방에게는 다르게 전달될 수 있음을 인지하고 친절한 커뮤니케이션을 지향하는 것이 오해를 방지하는 데에는 큰 도움이 되겠지요.
레몬베이스는 회사와 구성원의 건강한 성장과 성과 관리를 지원하는 비즈니스 소프트웨어(SaaS)를 제공합니다. OKR 등 목표 관리, 1:1 미팅, 상호 피드백 및 360도 리뷰를 웹 기반으로 편하게 진행할 수 있도록 돕고 있습니다.
레몬베이스 서비스 무료로 체험해 보세요.