日本の医学教育の認証評価の基準案（世界医学教育連盟の基準の日本語訳）が日本医学教育学会HPに公開されています。
http://jsme.umin.ac.jp/ann/WFME-GS-JAPAN_v08.pdf
本日のテーマの試験に関して、この基準案では質的向上のための水準として、
「医科大学・医学部は評価法の信頼性と妥当性を評価し、明示すべきである。」
と提示されています。日本人にとって厄介なのは「信頼性」「妥当性」という単語がどのように定義付けられているかを知らなくても、わかったような気がしてしまうことかもしれません。試験の妥当性validityは多くの議論がありますが、試験の質を評価する上で最も重要なものとされており、何をどのように評価し、その手続きや判断、結果の利用が適正であり、教育に良い効果を与え、意義のある評価かどうかを、様々な手法で判定するものです。信頼性reliabilityは妥当性の一部とも言われており、試験実施後、データを用いて算出される指標です。
信頼性、妥当性という概念とそれをどのように試験に利用するかは、日本の医学教育ではまだまだ浸透していないのではないでしょうか。試験の良し悪しを評価する上で最も重要な妥当性に基づいた議論が乏しいことがそれを示しています。妥当性を議論するためには、測定すべき能力と必要な能力のレベルが教育プログラムとして、あるいは資格の要件として事前に明示されていることが求められます。臨床能力の評価では、professional authenticityやcase specificity、また評価のcontextと評価者の特性を考慮した議論が必要です。教育計画と実践の質が学生評価の質に大きく影響します。妥当性を高める上で必要な試験に関する情報公開（評価の目的、評価対象となる能力のレベル、評価基準等）が乏しいために、過去問に依存した学習しかしなくなります。
我々教員は、試験の得点がそのまま学生の能力であるかのような錯覚をしがちです。試験問題や出題形式が異なった時に同じ点数とはならないとしたら、点数は能力そのものではなく、誤差を含んだものであることが理解できます。評価すべき能力を測定できる試験を行い、その点数にどの程度の誤差が含まれているかを考慮して用いることが、適正な評価の要件とも言えます。そして、このような試験結果の適切な利用も、妥当性の一部です。
共用試験のような問題の難易度に基づくコンピュータプログラムによる採点と、医師国家試験のように全員が同じ試験問題を回答した素点と、どちらが良いのか。皆さんはどうお考えになるでしょうか。試験の解析が進んでいる米国がコンピュータによる医師資格試験を実施しているのは、日本人程正確な評価を求めないからというのは明らかに間違いです。
2018
