Traducción al Español del “abstract” de algunas ponencias (Long papers) del 5ª Congreso de Data Mining Educativo, reflexiones y exposición de algunas claves para facilitar su comprensión.

Comprensión lectora

ReadingLevels_Bloom

Ratio de tiempo invertido para cada nivel de comprensión lectora.

 

Este trabajo de comprensión lectora realizado por PECKHAM,T. y  MCCALLA, G.  tiene para mí una aportación muy interesante en la línea de los Sistemas Inteligentes de Tutorización (ITS), así como por el uso de las técnicas.

El experimento fue realizado sobre 28 estudiantes,  y proporcionó 8.500 eventos (almacenaban dónde hacían click, el uso de la rueda del ratón o el scrolling de pantalla) divididos en los dos bloques del experimento: uno en el que tenían que leer un texto proporcionado y responder a una serie de preguntas de nivel básico, (cuya dificultad se mide utilizando los niveles bajos de la taxonomía de Bloom. Para saber más sobre la taxonomía de Bloom consulta:  http://www.slideshare.net/jesusreynaldoflores/taxonomia-bloom-cuadro1), y otro bloque en el que se proporcionaba a los estudiantes dos o más documentos adicionales al primero, y se realizaban preguntas de los niveles superiores de la citada taxonomía ( los niveles altos de la taxonomía de Bloom requieren síntesis y evaluación, y por tanto más tiempo).  Después se aplicó el algoritmo de clasificación de las k-medias (k-medias clustering: véase libro de HASSTIE, T., TIBSHIRANI, R. , FRIEDMAN, J), creando grupos de estrategias asociadas a los niveles de dificultad. Una “buena estrategia” sería aquella que conduce a un buen resultado de comprensión lectora. Los resultados obtenidos a nivel de estrategias identificadas fueron de bastante ” sentido común” (buena señal en relación a un experimento): la mejor estrategia de comprensión no fue la de hacer “lectura pesada” siempre, sino una de lectura acorde al nivel de dificultad (en textos ligeros, la mejor resultó una “lectura media-ligera”, en los niveles de dificultad altos sí fue la mejor la de “lectura pesada”).

El estudio demuestra que un Sistema Inteligente de Tutorización es capaz de detectar automáticamente las diferentes estrategias de aprendizaje que los estudiantes están utilizando durante el estudio de una materia de diferentes grados de dificultad , y se le asocia el tiempo medido para responder a las preguntas que se les formularon usando los verbos propuestos según Bloom . Esto permitiría al ITS sugerirle a los estudiantes unas estrategias de estudio más eficientes, en el caso de que estén usando alguna de la que se pueda predecir su mal resultado. Aunque para esto, reconocen los autores, habrá que investigar más…

 

(Mining Student Behavior Patterns in Reading Comprehension Tasks: educationaldatamining.org/EDM2012/uploads/procs/Full_Papers/edm2012_full_13.pdf )

Encontrar habilidades latentes

Esta ponencia del 5 encuentro de EDM de BEHESHTI,B.,  DESMARAIS,M.C.,  NACEUR,R.  compara dos métodos para determinar cuántas habilidades latentes determinan el aprobado o el suspenso en una materia ( http://educationaldatamining.org/EDM2012/).

Comienza utilizando la clásica descomposición en el valor singular de una matriz (SVD) y luego la compara con los resultados de aplicar modelos lineales construidos a partir de un diferente número de habilidades a priori, y evalúa después el de mejor capacidad predictiva usando validación cruzada.

BEHESHTI,B., DESMARAIS,M.C., NACEUR,R.

BEHESHTI,B., DESMARAIS,M.C., NACEUR,R.

Cuando aplica ambos métodos a datos reales se comprueba que la clásica descomposición SVD es de inferior capacidad predictiva que los métodos “envueltos” (wrapper), menos restrictivos en las hipótesis de aplicación (no requiere independencia entre los factores latentes, como exige el SVD).

Uso de “ayudas”

Este estudio nos presenta un análisis de las diferencias de los estudiantes en función del uso que hacen de las ayudas (hints),( GOLDIN, I.M. , KOEDINGER, K.R., ALEVEN, V. . Learner Differences in Hint Processing:  http://educationaldatamining.org/EDM2012/)  estableciendo una comparación entre la suficiencia adquirida y los niveles de ayuda consumidos por el alumno (establecen cuatro niveles de respuesta del estudiante con la siguiente decisión: acierto o fallo al primer intento, o petición de ayuda –hasta tres niveles-). Esto permite realimentar a los Sistemas Tutoriales Inteligentes ( ITS) y correlacionar el uso de las ayudas con el nivel de suficiencia y aprovechamiento demostrado finalmente por los estudiantes. Las preguntas que buscan responder son: ¿Cómo afecta al aprendizaje del alumno el uso de las ayudas? ¿Difiere el rendimiento de los alumnos dependiendo del nivel de ayuda que ha utilizado?

grafico-Goldin_Koedinger

En las conclusiones de la ponencia reconocen que abren más preguntas de las que cierran en una materia tan poco investigada. La principal dificultad que se puede plantear en este trabajo es cómo garantizar la homogeneidad del diseño instruccional de los niveles de ayuda, nunca mencionada a lo largo del estudio, y que sin embargo servirá de base para intentar extraer conclusiones sobre el rendimiento de los alumnos en función de su uso. Por otro lado, el desempeño de los alumnos que no hacen uso de las ayudas -es decir, los que saben la respuesta sin ayuda- les aparece, como cabría esperar, muy alto, yendo en disminución conforme más ayudas utilizan.

El enfoque del uso del ITS  y de un diseño instruccional basado en niveles de feedback al estudiante al realizar problemas, sí me parece a tener muy en cuenta, así como los algoritmos de procesado desarrollados, aplicándolos con otras hipótesis. Es en dicho diseño instruccional donde habrá que investigar e invertir para tratar de automatizarlo, y así poder aplicar en la realidad estas metodologías, y además garantizar homogeneidad en los niveles de feedback .

Sistemas Inteligentes de Tutorización

A partir de un estudio sobre 51 estudiantes de secundaria aprendiendo una materia de ciencias compleja, se analizan los datos de seguimiento de los alumnos,  para identificar patrones de comportamiento que ayuden a programar los Sistemas Inteligentes de Tutorización (ITS) que fomentan el aprendizaje autorregulado (SRL).

En esta ponencia del 5 encuentro de EDM de BOUCHET, F. ,AZEVEDO, R. , KINNEBREW, J.S. , BISWAS, G. .  Identifying Students’ Characteristic Learning Behaviors in an Intelligent Tutoring System Fostering Self-Regulated Learning  (http://educationaldatamining.org/EDM2012/uploads/procs/Full_Papers/edm2012_full_5.pdf), 

Bouchet_Azevedo_ITSutilizan el modelo de Winne & Hadwin que propone que el aprendizaje ocurre en cuatro fases : 1) Definición de tareas, 2) establecimiento de objetivos y planificación, 3) tácticas de estudio, y 4) adaptaciones a la metacognición.

(Para saber más sobre Estrategias Metacognitivas recomiendo: PÉREZ-ROSAS CÁCERES, A.  http://www.desarrollointelectual.com/).

Muy interesante ver la codificación de estrategias metacognitivas de los estudiantes para la autoregulación de su aprendizaje.

Como indican las conclusiones de esta interesante ponencia, se abren muchos frentes de investigación, además de incidir en el debate del constructivismo, la distinción entre estrategias cognitivas y metacognitivas,  y una de las competencias marcadas como “clave” por la Unión Europea en el aprendizaje permanente: “Aprender a aprender” .

Mejora del modelo de estudiante

El Análisis de Tareas Cognitivas (CTA: Cognitive Task Analysis) ha mostrado conducir a un mejor diseño instruccional, pero a un coste excesivo de horas de persona experta. En esta ponencia de KOEDINGER,K.R., MCLAUGHLIN, E.A., y STAMPER, J.C. se propone un modelo en esta línea, que realiza un trabajo de definición de los llamados KC = Componentes de conocimiento que conducen a adquirir una competencia, y después persigue automatizar el seguimiento de las curvas de aprendizaje de los estudiantes para dichos KC, para así adaptar el diseño instruccional a la evolución del aprendizaje del estudiante (los KC que se proponen para adquirir cada competencia) , aplicando para ello Minería de Datos Educativos combinada con técnicas de “aprendizaje máquina”. Así, el sistema irá proponiendo unos KC con curvas de aprendizaje “más amortiguadas” para cada estudiante (es decir, con menos altibajos en la adquisición de la competencia).

Lo han realizado sobre 11 juegos de datos tecnológicos de tutores inteligentes, en materias que van desde Matemáticas hasta el Aprendizaje de una segunda Lengua. El método, además, aísla errores que permiten mejorar el diseño instruccional (http://educationaldatamining.org/EDM2012/uploads/procs/Full_Papers/edm2012_full_10.pdf).

 

grafico-Koedinger_Mclaughlin

Se crean varios modelos alternativos que son valorados frente al modelo real, usando métricas para estimar la predicción del desempeño del estudiante, y cómo cambia con el tiempo. Incluye los siguientes criterios:

– Criterio Akaike de Información (AIC).

– Criterio Bayesiano de Información (BIC).

– Validación cruzada.

(Para saber más sobre estos criterios véase el libro del profesor PEÑA, Daniel, “Análisis de Datos Multivariante”, de McGrawHill (ed. 2002), y una aplicación en la interesante tesis doctoral de CABALLERO DÍAZ, F.F. “Selección de modelos mediante criterios de información en análisis factorial. Aspectos teóricos y computacionales” , Univ.Granada, 2011: http://digibug.ugr.es/bitstream/10481/19428/1/19964808.pdf).

Véase la imagen de la comparación gráfica entre las curvas de aprendizaje amortiguadas estimadas por cada modelo.

Como profesional de la estadística, me parece una idea muy interesante, siempre que se analicen adecuadamente todos los “casos de uso” definidos por una persona experta en formación (especialmente los “falsos positivos” de los algoritmos, que podrían recomendar contenidos erróneos para el logro de determinados objetivos pedagógicos).

Por otro lado, se plantea el reto de abordar una normalización de los KC (propuesta en el repositorio) que permita su reutilización y comparación (incluso dentro del mismo sistema educativo de un país).

Analizar el trabajo colaborativo

Entre las ponencias que nos dejó el congreso de EDM de 2012,  me ha resultado de especial interés la que despliega una herramienta para elaborar resúmenes automáticos de seguimiento del proceso colaborativo de equipos de trabajo ( formados por estudiantes):

– KIM, Jihie. SHAW, Erin. XU, Hao. ADARSH, G V (Assisting Instructional Assessment of Undergraduate Collaborative Wiki and SVN Activities. http://educationaldatamining.org/EDM2012/uploads/procs/Full_Papers/edm2012_full_8.pdf).

El procesado, dinámico, lo hacen usando técnicas de “aprendizaje máquina”, y genera documentos con etiquetas automáticas en diagramas de árbol, frecuencia de participación por estudiante, y número de ficheros subidos o modificados semanalmente por estudiante a través de la herramienta SVN.

% de documentos clasificados por la herramienta en las categorías(KIM, Jihie. SHAW, Erin. XU, Hao. ADARSH, G V)

% de documentos clasificados por la herramienta en las categorías
(KIM, Jihie. SHAW, Erin. XU, Hao. ADARSH, G V)

Muy interesante el esfuerzo en definir e implementar indicadores del trabajo en equipo. A esto le han añadido otros informes de actividad y encuestas de seguimiento. ¿Podría servir para hacer seguimiento de equipos de proyecto virtuales en el entorno empresarial?