수강 신청할 때를 떠올려봅시다. 점수를 후하게 준다고 알려진 강의가 인기가 많지요. 이는 교육과 평가 시스템에서 의도한 바와는 다를 것입니다. 조직에서의 성과평가도 마찬가지입니다. ‘인기투표’로 전락해선 피평가자(평가 대상자)의 개발과 성장이란 목적을 달성할 수 없겠지요. 그래서 어떤 평가자는 관대하게, 또다른 평가자는 가혹하게 평가하는 ‘복불복’을 피할 수 있는 제도적 장치가 필요합니다. 평가자/부서/직무/기대수준별로 일관된 성과평가가 이뤄질 수 있도록 ‘공통된 인식’을 도출하기 위해 많은 기업에서 캘리브레이션 미팅을 진행합니다. 캘리브레이션 미팅이란 각 평가자가 평가 결과를 공유하고 그 평가 결과를 토대로 다른 평가자들과 논의하는 절차를 가리킵니다.
캘리브레이션 미팅에는 일반적으로 평가자(조직장), 경영진과 퍼실리테이터(facilitator)로서 HR 담당자가 참여합니다. 본부-실-팀과 같이 조직의 위계구조가 여러 층위로 확대되면 실 단위, 본부 단위로 나누어 순차적으로 캘리브레이션 미팅을 진행할 수도 있습니다. 실 단위의 캘리브레이션에는 조직장인 실장과 1차 평가자인 팀장, 퍼실리테이터가 참석하고, 본부 단위의 캘리브레이션에는 조직장인 본부장과 2차 평가자인 실장이 참석하는 식으로요.
평가 대상자와 같이 일하거나 평가 대상자를 직접 관찰하지 않은 상위 리더가 캘리브레이션 미팅에 참여하여 평가의 절차적 공정성을 높일 수 있다는 것이 직관적으로 이해되지 않을 수도 있습니다. 하지만 이들이 평가 결과를 거시적이고 객관적으로 바라보면서 각 평가자가 부여한 등급과 평가 근거를 함께 확인하고, 필요한 경우 조정하면서 일관성 있는 성과평가가 가능해집니다.(링크) 이같은 과정이 어떻게 진행되어야 하는지, 캘리브레이션 미팅 전/중/후로 단계를 나누어 찬찬히 살펴보겠습니다.
캘리브레이션 미팅 준비: 평가 등급 분포 분석
회의 전에 검토할 수 있도록 평가 기준, 각 등급 및 지표에 대한 설명, 조정 전 평가 등급 분포 등의 자료를 미리 배포하는 것은 퍼실리테이터의 역할입니다. 부서별/평가자별/피평가자별 등급의 분포를 분석하여 이상점(outlier)을 식별해내는 것이 이 단계의 목표입니다.
1.
부서별 등급 분포를 분석한다.
a.
각 부서별 등급의 평균을 파악한다.
b.
부서 간 주요 차이점을 찾는다.
2.
개별 평가자가 부여한 등급의 평균을 비교하여 편향의 가능성을 검토한다.
3.
개별 구성원의 등급을 비교하여 이상점(outlier)을 식별해낸다.
캘리브레이션 미팅 진행
레몬베이스 리뷰 제품의 캘리브레이션 기능은 등급별 분포를 한눈에 확인하면서 조정할 수 있다는 것이 특징이다. 평가 대상자들을 직급별, 직무별로 혹은 같은 조직, 직급, 직무에 속한 평가 대상자들끼리만 따로(조직, 직급, 직무의 교집합을 만들어서) 비교할 수 있다. 이때 등급 조정이 필요하면 칸반보드에서 다른 칼럼으로 옮기며 피평가자(평가 대상자)에게 부여된 등급을 손쉽게 변경할 수 있으며, 등급 조정의 이유를 코멘트로 추가할 수도 있다.
캘리브레이션 미팅은 일반적으로 다음의 순서로 진행됩니다.
1.
캘리브레이션 미팅에 참석한 평가자(조직장), 경영진에게 퍼실리테이터로서 HR 담당자가 미팅의 취지를 설명하고, 기밀 유지를 강조하면서 회의를 시작한다.
2.
기준을 명확히 하는 것이 캘리브레이션 미팅의 중요한 목적이므로, 각 등급의 정의를 설명한다.
3.
부서별 등급 분포를 확인한다.
a.
이때 부서별 차이가 고려되어야 한다. 상대적으로 더 도전적인 목표를 수립했다든지, 해당 기간에 신규 구성원을 많이 채용하는 등의 변화를 겪었다든지 하는, 해당 기간 동안 부서가 처한 상황에 대해 설명할 수 있는 기회를 갖는다.
4.
구성원 각각의 평가 등급을 검토하고, 평가자가 강점 및 개발 기회 등 평가 근거를 설명한다.
5.
이상점(outlier)이 발견되면 편향 가능성에 대해 토론한다.
6.
필요에 따라 등급을 조정한다.
평가자의 편향에 대해 알고 싶다면, 이 콘텐츠를 읽어보시길 추천합니다.
리뷰 작성 시 주의해야 할 세 가지 함정
리뷰 작성 시 주의해야 할 세 가지 함정캘리브레이션 미팅 시 유의사항 및 퍼실리테이터의 역할
회의 규칙을 정하고 회의가 이 규칙에 따라 진행되도록 참여자들을 독려하는 것이 퍼실리테이터의 주요한 역할입니다.
•
각 참가자별 시간을 할당하는 등 회의 규칙을 정한다. 토론이 지나치게 오랜 시간 동안 진행되지 않도록 각 평가 대상자별 토론 시간을 제한할 수 있다. 예를 들어 버즈빌의 경우 대상자 1명에 대한 논의 시간이 15분을 넘어가면 원활한 진행을 위해 퍼실리테이터가 개입할 수 있도록 하고 있다.(링크)
•
특정 참석자에게 등급 조정 권한이 쏠리지 않도록 넛지(nudge)를 준다.(링크) 일부 평가자(관리자)가 조정 결정에 너무 많은 영향을 미치지 않도록 제어할 수 있는 권한이 퍼실리테이터에게 주어져야 한다.
•
글로벌 회사인 경우에는 각 지역별 문화적 차이도 논의되어야 한다.
•
회사의 인수합병(M&A)이나 부서 통합이 이루어진 경우 등급 조정이 반드시 필요하다. 이를 테면 A라는 회사가 평가 제도가 상이한 B라는 회사를 인수했을 경우, 등급별 기준에 대한 합의가 필수적이다. 이때 캘리브레이션 미팅이 기존 양사의 평가자 간 이견을 확인하고 같은 그림을 그리는 기회를 제공할 수 있다.
캘리브레이션 미팅 후 최종 등급과 피드백 전달
캘리브레이션 미팅의 결과를 정리하여 최종 의사결정권자에게 전달하는 것도 퍼실리테이터의 몫입니다. 캘리브레이션 미팅에서 등급 조정의 이유 등을 상세히 기록해 남겨두면 향후 커뮤니케이션에 참고할 수 있지요.
캘리브레이션 미팅을 마친 뒤 최종 등급이 확정되면 피드백을 피평가자에게 전달하는 역할이 평가자에게 맡겨집니다. 이때 1차 평가자(팀장)가 캘리브레이션 미팅에 참여하지 않았더라도, 해당 미팅에 참여한 상위 리더에게 문의하여 히스토리를 파악할 수 있으면 절차에 보다 큰 확신을 갖고 피드백을 전달할 수 있습니다. 이때 캘리브레이션 미팅에서 기록을 담당한 HR 담당자에게 문의하면, 대상자에게 강조하여 설명되어야 할 상황을 더욱 명확히 파악할 수 있습니다. 최종 등급과 평가 결과만 확인하게 되는 피평가자 입장에서는 평가 근거와 절차를 문의하거나 배경 설명을 들을 수 있는 기회가 제공되는 셈입니다.
More to Read
•
Will Demeré, Karen L. Sedatole, Alexander Woods, Why Managers Shouldn’t Have the Final Say in Performance Reviews(2018), HBR
•
Joanne Sammer, Calibrating Consistency, SHRM
레몬베이스가 운영하는 블로그인 '레몬베이스 캠프'에서는 '회사와 구성원의 건강한 성장'을 위한 전문가의 지식과 노하우를 충전할 수 있습니다. 레몬베이스는 비즈니스 소프트웨어(SaaS)를 제공해 1:1 미팅, 상호 피드백 및 360도 리뷰, OKR 등 목표 관리를 웹 기반으로 편하게 진행할 수 있도록 돕고 있습니다.