Mejora del modelo de estudiante

El Análisis de Tareas Cognitivas (CTA: Cognitive Task Analysis) ha mostrado conducir a un mejor diseño instruccional, pero a un coste excesivo de horas de persona experta. En esta ponencia de KOEDINGER,K.R., MCLAUGHLIN, E.A., y STAMPER, J.C. se propone un modelo en esta línea, que realiza un trabajo de definición de los llamados KC = Componentes de conocimiento que conducen a adquirir una competencia, y después persigue automatizar el seguimiento de las curvas de aprendizaje de los estudiantes para dichos KC, para así adaptar el diseño instruccional a la evolución del aprendizaje del estudiante (los KC que se proponen para adquirir cada competencia) , aplicando para ello Minería de Datos Educativos combinada con técnicas de “aprendizaje máquina”. Así, el sistema irá proponiendo unos KC con curvas de aprendizaje “más amortiguadas” para cada estudiante (es decir, con menos altibajos en la adquisición de la competencia).

Lo han realizado sobre 11 juegos de datos tecnológicos de tutores inteligentes, en materias que van desde Matemáticas hasta el Aprendizaje de una segunda Lengua. El método, además, aísla errores que permiten mejorar el diseño instruccional (http://educationaldatamining.org/EDM2012/uploads/procs/Full_Papers/edm2012_full_10.pdf).

 

grafico-Koedinger_Mclaughlin

Se crean varios modelos alternativos que son valorados frente al modelo real, usando métricas para estimar la predicción del desempeño del estudiante, y cómo cambia con el tiempo. Incluye los siguientes criterios:

– Criterio Akaike de Información (AIC).

– Criterio Bayesiano de Información (BIC).

– Validación cruzada.

(Para saber más sobre estos criterios véase el libro del profesor PEÑA, Daniel, “Análisis de Datos Multivariante”, de McGrawHill (ed. 2002), y una aplicación en la interesante tesis doctoral de CABALLERO DÍAZ, F.F. “Selección de modelos mediante criterios de información en análisis factorial. Aspectos teóricos y computacionales” , Univ.Granada, 2011: http://digibug.ugr.es/bitstream/10481/19428/1/19964808.pdf).

Véase la imagen de la comparación gráfica entre las curvas de aprendizaje amortiguadas estimadas por cada modelo.

Como profesional de la estadística, me parece una idea muy interesante, siempre que se analicen adecuadamente todos los “casos de uso” definidos por una persona experta en formación (especialmente los “falsos positivos” de los algoritmos, que podrían recomendar contenidos erróneos para el logro de determinados objetivos pedagógicos).

Por otro lado, se plantea el reto de abordar una normalización de los KC (propuesta en el repositorio) que permita su reutilización y comparación (incluso dentro del mismo sistema educativo de un país).

Analizar el trabajo colaborativo

Entre las ponencias que nos dejó el congreso de EDM de 2012,  me ha resultado de especial interés la que despliega una herramienta para elaborar resúmenes automáticos de seguimiento del proceso colaborativo de equipos de trabajo ( formados por estudiantes):

– KIM, Jihie. SHAW, Erin. XU, Hao. ADARSH, G V (Assisting Instructional Assessment of Undergraduate Collaborative Wiki and SVN Activities. http://educationaldatamining.org/EDM2012/uploads/procs/Full_Papers/edm2012_full_8.pdf).

El procesado, dinámico, lo hacen usando técnicas de “aprendizaje máquina”, y genera documentos con etiquetas automáticas en diagramas de árbol, frecuencia de participación por estudiante, y número de ficheros subidos o modificados semanalmente por estudiante a través de la herramienta SVN.

% de documentos clasificados por la herramienta en las categorías(KIM, Jihie. SHAW, Erin. XU, Hao. ADARSH, G V)

% de documentos clasificados por la herramienta en las categorías
(KIM, Jihie. SHAW, Erin. XU, Hao. ADARSH, G V)

Muy interesante el esfuerzo en definir e implementar indicadores del trabajo en equipo. A esto le han añadido otros informes de actividad y encuestas de seguimiento. ¿Podría servir para hacer seguimiento de equipos de proyecto virtuales en el entorno empresarial?

Barak Obama y el Educational Data Mining

El Ministerio de Educación (Department of Education) de Barak Obama publicó este estudio poco antes de las elecciones (Octubre 2012) donde se describe y se invita a todos los profesionales del sector educativo a seguir estas directrices para la mejora  de la educación del siglo XXI con la aplicación de tecnologías como la Analítica del Aprendizaje (Learning Analytics) y el Data Mining Docente (Educational Data Mining), pasando también por un enfoque sistemático de formación adaptativa (adaptive training).
barack-obama-twitter-townhall-campaign

El comunicado introduce estas tecnologías de manera divulgativa. Las definiciones van acompañadas de abundantes ejemplos tecnológicos (algo de Sponsoring?)

, así como ejemplos de qué se puede esperar de ellas y directrices para su aplicación: Me parece un compendio introductorio muy práctico ( www.ed.gov/technology ).

Sin embargo, el reelegido presidente no solo recomienda estas tecnologías para la formación: Dio ejemplo de innovación en su campaña electoral para mejorar la comunicación del mensaje que quería transmitir segmentando su audiencia con absoluta maestría (véase ejemplo ). Y en España, ¿alguien impulsa tan claramente desde nuestros Ministerios estas tecnologías?

Qué es la Minería de Datos Educativos

El aumento de entornos de aprendizaje on-line, incluidos los servicios de bibliotecas web, proporciona una magnífica fuente de datos sobre el comportamiento de los usuarios en este campo. La minería de datos (Web Mining) proporciona interesantes herramientas que permiten investigar patrones de uso de documentos y servicios web, para así mejorar no solo el diseño instruccional, sino la forma en que ponemos a disposición del estudiante web los recursos formativos, tanto formales (dentro de estándares de seguimiento de contenido, como el SCORM o el AICC) como informales (repositorios de contenidos en diversos formatos).

La mejor página web de Minería de Datos Educativos (está en inglés) es http://www.educationaldatamining.org/. He publicado un post que explica más en detalle cómo la minería de datos educativos puede mejorar la educación en el blog “A un clic de las TIC”.

¡Anímate a “bajar a la mina de datos educativos” y prueba las herramientas!