Determining the Passage Dependency of Comprehension Questions in 5 Major Tests

Publisher Website
Google Scholar
Abstract
Tests of reading comprehension presently used do not provide one important item of technical data: the extent to which questions used in the test could be answered without reading the passages upon which those questions are based (passage dependency). This leaves the test user guessing as to whether students taking the test and performing well, did or did not understand the written material contained in the test. Indices of paragraph dependency for 5 widely used standardized tests of reading comprehension were obtained. Five tests were administered to 1,200 students each, who were allowed to read the passages. In addition, control data were obtained by administering the tests in their normal format to 600 students each. Students were selected from 10 locations covering Indiana and were equally divided over the grades 4, 5, and 6. The results indicated that none of these major tests provided sufficient guarantees against answering items on the basis of information other than that presented in the passage. Average probabilities of correct responses with no passage present ranged between .32 and .50--well above the expected chance score of .25. Some statistics for calculating passage dependency are proposed./// [French] De nos jours les épreuves utilisées pour déterminer la compréhension dans la lecture ne fournissent pas une donnée technique très importante, c.-à-d., qu'elles ne nous informent point dans quelle mesure le candidat qui subit l'épreuve est à même de répondre aux questions qu'on lui pose sans avoir pour cela besoin de lire les passages auxquels ces questions se rapportent. Pour 5 de ces "standardized tests" dont l'usage est très répandu, on a obtenu un indice de la fréquence de la dépendance des questions sur les textes. Chacune des 5 épreuves a été subie par 1,200 élèves à qui l'on a demandé de répondre aux questions sans l'aide des textes de lecture. Les résultats de cette expérience ont été vérifiés par un groupe de contrôle composé cette fois de 600 sujets à qui l'on a fait subir les épreuves dans leurs formats originaux. Ces élèves ont été sélectionnés de 10 localitiés à travers l'état d'Indiana. La totalité des 2 groupes se repartit également entre les classes de 4ème, 5ème et 6ème. Les conclusions de cette étude indiquent qu'aucune de ces épreuves n'est capable de garantir que l'élève se soit servi uniquement des textes de lecture pour répondre aux questions posées. Les probabilités moyennes des réponses correctes sans lecture des passages s'échelonnaient de .32 à .50. Ces variabilités sont donc bien au-dessus du nombre projeté de points qui était de .25. L'étude propose quelques statistiques qui permettraient le calcul du degré de la dépendance des questions sur les textes./// [Spanish] Las pruebas de comprension de la lectura que se utilizān actualmente, no proporcionan uno de los importantes ítems de datos técnicos: hasta que punto las preguntas utilizadas en la prueba podrían ser contestadas sin leer el pasaje al cual dichas preguntas se refieren (dependencia del pasaje). Esto deja al examinador ante la incertidumbre de saber si los alumnos que hacen la prueba obteniendo buenos resultados, entendieron o no el material escrito contenido en la prueba. Se obtuvieron índices de dependencia del párrafo para 5 pruebas de comprensión de la lectura, uniformes y ampliamente utilizadas. Se suministraron cinco pruebas a cada uno de los 1.200 alumnos y a quienes no se les permitía leer los pasajes. Además, se obtuvieron datos de control suministrando las pruebas en su forma normal, a cada uno de los 600 alumnos. Los alumnos fueron seleccionados de 10 localidades de Indiana y se los dividió en partes iguales, para los grados 4, 5 y 6. Los resultados indicaron que ninguna de estas pruebas principales proporcionaban la suficiente garantía contra la respuesta de ítems basados en información que no estuviera presentada en la pasaje. Las probabilidades promedio de respuestas correctas, sin la presencia del pasaje, oscilaban entre .32 y .50 --muy superior al posible resultado de .25 que se esperaba. También se proponen algunas estadísticas para calcular la dependencia del pasaje.

This publication has 0 references indexed in Scilit: