이번 학기도 잘 마무리되었다. 어떻게 끝냈는지, 이전보다 더 나아졌는지 복기해 보는 것도 좋지만, 일단은 끝났다는 사실이 주는 안도감이 더 크게 느껴짐을 부인할 수는 없을 것이다. 기말고사를 치르고 학생들의 최종성적을 내고 나면 그 결과를 이리저리 뜯어보곤 한다. 그래 봤자 별 특이한 결과가 나오는 경우는 거의 없다. 그런데 이번엔 약간 신기해 보이는 결과가 하나 나왔다.

기말고사 시험 중 점수배점이 높은 논술문항을 하나 넣었다. 이 문제는 두 가지 중 하나를 골라 그것이 왜 더 나은지 자기 나름대로의 이유를 밝히는 것이었다. 그런데 여기에서 걱정스러웠던 점이 하나 있었는데, 그것은 두 가지 선택 중 어느 하나만 일방적으로 선택받지 않을까 하는 의심이었다. 하지만 결과를 보니, 그것은 괜한 기우였다.

Boxplot of Final Test Score by Choices

위 그래프에서 세로축은 기말고사 점수이고, 가로축의 세 집단은 왼쪽부터 순서대로 아무것도 선택하지 않은 집단, C를 선택한 집단, G를 선택한 집단이다. 여기서 다음과 같은 사실을 알 수 있다.

  • C와 G를 선택한 집단의 기말고사 평균은 거의 같다.
  • C를 선택한 집단의 분산은 컸지만, G를 선택한 집단은 그렇지 않다.
  • 아무것도 선택하지 않은 집단, 즉 문제를 제대로 이해하지도 못한 집단은 예상대로 점수가 가장 낮다.

이 문제를 내면서 걱정했던 것 중 하나가 G를 선택했을 때와 C를 선택했을 때 설명의 난이도가 약간 다르다는 점이었다. 위 그림만 보고도 예상할 수 있듯이, C를 선택하는 것이 설명의 난도가 조금 더 높다. 반면, G를 선택하면 전형적인 설명의 패턴이 있어서 많은 학생이 손쉬운 근거 하나를 제시할 수 있었다. 그런 이유로 분산이 작다. 그런데도 두 집단 사이의 기말고사 점수가 거의 비슷하게 나왔다는 것이 참 인상적이었다.

물론 몇 명 되지도 않는 강좌에서 이런 결과가 나온 것은 당연히 운에 의한 것이다.