論述式試験の採点システム構築に関する統計科学的研究
【研究分野】統計科学
【研究キーワード】
論述式試験 / 小論文 / 自動採点 / パフォーマンスアセスメント / 一般化可能性理論 / テスト / 信頼性 / 評価 / パフォーマンス・アセスメント / 採点 / 論述式 / 欠測値 / キーワードマッチング法
【研究成果の概要】
手続き
1)平成17年度においては、循環型の採点者配置にもとづき2つの異なる問題に解答した答案をのべ20名の採点者で採点し、のべ5160枚に及ぶ採点結果を得ることができた。またこれらの答案をテキストファイル化し、自動採点システムの開発のための資料とした。
2)平成18年度においては、10名の採点者のもとに一人280枚の小論文答案を採点しあらたな採点データを収集した。採点の対象となった答案をテキストファイル化し、自動採点システムの改良に利用した。
主要な結果
1)現実的制約下での最適な採点者配置:必要な制度を確保しつつ効率のよい採点者割り当てを達成する手段として、採点者が担当する対象論文を重複させつつ、一つの論文に対して複数の採点者が採点しながらも、一人の採点者がすべての論文を採点しない、循環型の採点者配置を提案した。
2)適切な採点基準の構成:採点者配置デザインと信頼性の評価について、測値をともなうデータに対する一般化可能性理論の適用とANOVA的アプローチによる欠測値の補完の両面から信頼性の評価方法を提案した。
3)自動採点システムの開発:昨年度開発したAI的推論機能を用いた自動採点システムに、パターン識別手法の一つであるSVM(support Vector Machine)の観点から大幅な改良を加えた。その結果、サンプル採点答案数が200程度あれば、人間の採点者と同程度の採点が可能であるところまで採点精度を向上させることができた。このことは膨大な採点対象答案がある場合に、このシステムを用いることで採点時間の大幅な短縮が見込めることを意味する。
【研究代表者】