교육부가 지난달 21일에 발간한 ‘교육 분야 5년 성과자료집’에 대해 비판이 일고 있다(세계일보 4월22일).

원격수업의 혼선과 학습 결손 등 학생과 학부모들이 체감하는 교육 현장의 문제점은 찾아볼 수 없고, 문재인정부의 교육정책에 대한 자화자찬으로 객관성이 결여됐다는 것이다. 심지어 자사고를 일반고로 전환하려던 정책이 법원에서 연이어 패소 판결을 받으며 사실상 좌초했는데도 ‘교육의 공정성·투명성 강화를 위해 교육과정 운영 지원금을 확대한 성과’로 억지 해석하는 등 홍보 일색이라는 지적이다.

청와대가 ‘문재인정부 5년 국정 평가’의 일환으로 ‘마음에 가장 와 닿았던 문 정부의 정책’에 대해 묻는 온라인투표 조사도 마찬가지다. 이 조사는 경제산업·노동복지·병영문화·육아 등 미리 설정한 9개 분야 48개 항목에 응답자가 표시하는 강제선택방식(forced-choice)이다. 문제는 문 정권이 지난 5년 동안 강조해 온 부동산·고용·탈원전·소득주도성장·대북정책과 같은 주요 정책을 진단하는 항목이 없다는 점이다(조선일보 4월11일). 공과(功過)를 둘러싸고 논란의 대상이었던 정책에 대한 평가 기회가 아예 빠진 조사는 국정평가 척도로는 자격 미달이다.

정책의 성과 혹은 평가라는 이름을 내걸었지만 정권에 유리한 결과를 예비하고 있는 조사는 국민을 무시하는 횡포다.

평가의 공정성을 위해 조사방법은 객관성을 유지해야 하고 측정문항은 대표성을 지녀야 한다. 특정한 목적을 위해 조사방법이 편향·왜곡돼서는 안 된다.

최소한 측정과 분석이 제대로 이뤄졌음을 대변하는 ‘내용 타당도’(content validity)를 갖추어야 한다. 내용 타당도란 10개 분야가 시험 범위라고 가정할 때, 시험 문제가 10개 분야 모두에서 얼마나 고르게 출제되는가에 달려 있다. 달리 표현하면 10개 분야 중에서 특정한 몇 개 분야에서만 문제가 출제된다면 객관성과 대표성을 확보하지 못한 불공정한 시험이 되는 것이다.

청와대와 정부 부처의 지난 5년에 대한 평가가 내용 타당도를 결여한 설문에 대한 응답을 활용한 칭송 공덕비가 되어서는 안 된다. 이현령비현령의 억지 해석이 끼어들어서도 안 된다. 내용 타당도를 지닌 설문으로 구성되고, 구체적인 조사 목표와 기준에 맞춰 검증하는 내용을 갖추어야 한다. ‘눈 가리고 아웅’ 식의 조사는 국정 평가의 공공성을 망각하는 것이다.