La calidad de las preguntas de selección múltiple es un tema central en educación. Estas preguntas se usan muy frecuentemente para evaluar el aprendizaje en pruebas de diverso tipo y consecuencias, por ejemplo, en SIMCE o en las pruebas de admisión a la universidad. La construcción de las preguntas toma un tiempo considerable y a veces los ítemes presentan imperfecciones de construcción, que pueden afectar negativamente la medición. En este escenario, un equipo de investigadores del CIAE del Instituto de Estudios Avanzados en Educación de la Universidad de Chile, con el apoyo del DEMRE y de la Agencia de la Calidad de Educación, y financiado por FONDEF, desarrolló una nueva herramienta tecnológica para apoyar la construcción de estas preguntas en los test de selección múltiple.

SARI es el nombre de la nueva herramienta. Se trata de un algoritmo que es capaz de detectar imperfecciones de construcción en estos ítems. Por ejemplo, un tipo de error en los ítems que detecta SARI es que el enunciado presenta demasiada información o que una pista gramatical lleva a la opción correcta.

“Es importante que las pruebas midan lo que se quiere que midan. La literatura señala que hay fallas típicas que impiden que se logre este objetivo. Por eso, SARI detecta 24 tipos de imperfecciones, las más frecuentes; señala qué parte puede ser editada y permite chequear que la nueva versión esté libre de imperfecciones. No es un reemplazo para los constructores de pruebas, sino un apoyo”, dice Pablo Dartnell, investigador del CIAE y director del proyecto. “SARI aporta con alertas a constructores y revisores de pruebas para mejorar las preguntas. Así permite enfocarse en lo que se quiere medir”, añade Daniela Jiménez, jefa de área de instrumentos del DEMRE.

Para su construcción, el equipo de investigadores consolidó una planilla de 5471 ítems, los cuales fueron revisados por dos expertos de manera independiente, quienes después se reunieron a consensuarlos. SARI fue validado con equipos del DEMRE y de la Agencia de Calidad de Educación, con estudios de utilidad y validación. El instrumento fue traspasado a ambas instituciones para su implementación.

Según explica Carla Barrios, jefa del Departamento de la Calidad de la Educación de la Agencia, ya están trabajando para incorporar SARI en el banco de ítems de la institución, de manera que sea una herramienta que permita apoyar a las y los constructores de ítems.

“Gracias a estos estudios de validación, pudimos destacar varios elementos de SARI que los validadores destacaron: agradecen que SARI sea una máquina, es decir, lo que hace bien lo hará siempre; entrega una retroalimentación muy rápida; y es capaz de verificar los cambios realizados. En definitiva, permite asegurar la calidad de las preguntas, obtener esta calidad en un tiempo más reducido, y, en definitiva, ahorrar costos”, explica Severin Lion, investigador asociado al CIAE y director alterno del proyecto.