Context Effects on Examinations: The Effects of Time, Item Order and Item Difficulty

    loading  Checking for direct PDF access through Ovid

Abstract

Four studies were conducted to test the effects of contextual factors — time, item, chapter and difficulty arrangement — on test performance. In Experiment 1, we found an advantage for students writing a quiz in the early and middle testing periods for an afternoon group; however, early testing, compared to middle and late testing, was a disadvantage for an evening group writing the same quiz. In a second study, we found that neither chapter retrieval-cues nor sequenced chapter content-order affected exam performance: or that is, exam items forward sequenced with text coverage yielded no advantage over those items that were reverse or random sequenced. In a third study, we manipulated both chapter order (as above) and within-chapter item order so that exam items in any chapter were not sequenced in the same order as text coverage. There was no advantage to receiving exam questions in one sequence over another. In a final study, item arrangement was manipulated according to difficulty level (as described in the text test-bank) so that students were presented with the same set of questions in one of three arrangements: (a) easy-to-hard (EH), (b) hard-to-easy (HE), and (c) random order (R). The results here indicate no effect for order of item-difficulty on performance. Taken together, the findings indicate that contextual factors like time have an effect on overall performance; however, other factors such as item, chapter and difficulty arrangements have little or no effect on overall performance.

Quatre études ont été menées pour vérifier les effects des facteurs contextuels — moment, ordre des sujets, ordre des chapitres et organisation des niveaux de difficulté — sur le rendement obtenu à une épreuve. Dans l'expérience no 1, nous avons découvert, pour deux groupes soumis au même questionnaire, que les élèves du groupe de l'après-midi obtenaient de meilleurs résultats au début et au milieu de l'après-midi, tandis que ceux du groupe du soir obtenaient de meilleurs résultats au début plutôt qu'au milieu et qu'à la fin de la soirée. Une deuxième étude a révélé que ni des indices sur les chapitres ni un ordre suivant celui des chapitres n'avaient d'incidence sur les résultats. En d'autres termes, les résultats n'étaient pas meilleurs dans le cas d'un questionnaire suivant l'ordre du manuel par rapport à un questionnaire suivant un ordre inverse ou dont les sujets d'examen étaient présentés au hasard. Dans une troisième étude, nous avons modifié l'ordre pour qu'il soit différent de celui des chapitres (comme ci-dessus) et de celui des sujets à l'intérieur des chapitres pour que les questions d'examen ne suivent pas l'ordre présenté dans les manuels. Aucune séquence particulière de questions ne présentait d'avantage quelconque. Dans une dernière étude, nous avons organisé les questions suivant leur niveau de difficulté (tel que décrit dans la réserve d'épreuves) pour que les élèves répondent à des questions identiques, mais présentées de trois façons différentes: a) de faciles à difficiles; b) de difficiles à faciles; c) au hasard. Les résultats indiquent que le fait de présenter les questions selon leur niveau de difficulté n'a pas d'effet sur le rendement général. Ainsi, les résultats de ces études révèlent que les facteurs contextuels comme le moment ont un effet sur le rendement global, mais que d'autres, comme l'ordre des questions, l'ordre des chapitres et l'organisation des niveaux de difficulté ont peu ou point d'effet sur le rendement global.

Related Topics

    loading  Loading Related Articles