Traducción al Español del «abstract» de algunas ponencias (Long papers) del 7ª Congreso de Minería de Datos Educativos, reflexiones y exposición de algunas claves para facilitar su comprensión.

¿Cuál es tu Elo en Historia?

 

¿Por qué la mayoría de las evaluaciones de los estudiantes no tienen en cuenta la secuencia temporal de sus calificaciones? En esta ponencia del EDM 2014 nos proponen dos alternativas para evaluar la evolución de la adquisición de habilidades de un estudiante en el tiempo: Tradicionalmente se suele considerar que la adquisición de habilidades sigue un ratio constante en el tiempo, sin embargo, la realidad es otra, y la pérdida de esta información nos impide poder aplicar estrategias pedagógicas diferentes en función de este parámetro.

Este investigador (Pelánek, Radek: Application of Time Decay Functions and the Elo System in Student Modeling) compara la aplicación de dos modelos diferentes a este fin, pero en ambos casos utilizados para medir la evolución: uno muy popular en el mundo del ajedrez de competición, la puntuación Elo, y otro, el uso de funciones decrecientes en el tiempo, ya que cuanto más antiguas son las calificaciones en la adquisición de conocimiento o habilidades, menos relevantes son.

Pero, ¿y el ratio del ajedrez? Este sistema de estimación de la habilidad de los jugadores de ajedrez no responde a ninguna sigla, sino al científico –y jugador de ajedrez- de origen húngaro que lo inveelo3ntó: Árpád Éló. La puntuación Elo de un jugador se calcula a partir de sus resultados contra otros jugadores. La diferencia de la puntuación Elo entre dos jugadores determina una probabilidad estimada de puntuación entre ellos, llamada «puntuación esperada» o expectativa. La puntuación esperada de un jugador es su probabilidad de ganar más la mitad de su probabilidad de hacer tablas.

En el caso del aprendizaje de una materia, se plantea como una partida del estudiante contra la respuesta a un problema de la materia en cuestión, de forma que cuantas más veces se enfrenta a la prueba, menos relevantes son los resultados más antiguos en el tiempo. El resultado se establece en dos estados: APTO/ NO APTO (Gana/ No gana la partida), similares a los del juego.

El sistema Elo incrementa o disminuye el “ratio Elo” de un estudiante dependiendo de que su puntuación obtenida sea superior o inferior a su puntuación esperada. La idea central de este sistema es un ajuste lineal proporcional a la diferencia entre la puntuación esperada y la obtenida por un jugador. El sistema por tanto requiere de un ajuste, llamado «factor K»:  si k es pequeño, la estimación converge muy lentamente, y si es elevado, el sistema es inestable y le da demasiado peso a los valores más recientes.

El estudio con el sistema Elo en el contexto de «respuestas correctas» se ha realizado sobre estudiantes de geografía (nombres de países) . El autor concluye que ambos métodos son flexibles, y sencillos de aplicar en sus ajustes debido a los pocos parámetros. La flexibilidad la proporciona la poca exigencia en cuanto al comportamiento de los estudiantes para la aplicación de los modelos. Las diferencias en la elección del parámetro k  más óptimo parecen tener cierta relación con la velocidad de aprendizaje (grado de conocimiento), aunque  no se puede aún afirmar que sea una relación directa.

La  modelización del aprendizaje del estudiante da así un paso más hacia una valoración  que tiene en cuenta la velocidad de aprendizaje de cada persona . «¿Cuál es tu Elo?», me preguntó un chaval de unos doce años en el Open de ajedrez que se celebra cada verano en Chipiona (Cádiz, España).  «Pues no lo sé, hace tiempo que dejé la federación. Solo vengo a pasarlo bien jugando al ajedrez» le respondí con una sonrisa, y algo inquieto por el tono serio de la pregunta. Me hizo tablas tras dos horas de partida.

Emociones en un MOOC

Sentiment_analysis_Fantasy_course

¿Qué nos dice el análisis de emociones en los foros de discusión de un Curso Masivo Abierto OnLine (MOOC)? Las medidas realizadas en tres cursos MOOC diferentes sobre el carácter «positivo o negativo» de los comentarios del foro parece ser un buen predictor de los abandonos de los estudiantes, coincidiendo las semanas donde el ratio «emotivo» baja con un mayor número de abandonos.

Para ello, han evaluado tres cursos MOOC diferentes: Un curso de Formación de formadores, otro de Fantasía, y otro de Python. Los investigadores WEN, YANG y PENSTEIN  definen unos ratios individuales de positividad o negatividad de los comentarios, haciendo el cociente del número total de términos positivos dividido por el número total de palabras de cada persona. A partir de este, elaboran el «grado de positividad» como la media de positividad a la que un usuario ha estado expuesto durante una semana.

¿Pero qué palabras son positivas o negativas? Han elaborado una base de datos de términos frecuentes en los tres foros, que han clasificado en función de su carácter, y les ha permitido elaborar este estudio:

 

Palabras_emociones

Palabras clasificadas como «positivas» o «negativas» en cada uno de los tres cursos MOOC estudiados: Formación a formadores, Fantasía y lenguaje Python.

Este tipo de técnicas, ya existentes en el mundo del Marketing para analizar la opinión en las redes sociales, empieza a aplicarse así  en nuestro sector educativo: ¿miden ya las plataformas educativas de formación la opinión de los padres con estas técnicas? Seguramente ya están en ello.

Curvas de Aprendizaje

Para poder desarrollar los Sistemas tutoriales inteligentes (adaptativos) resulta fundamental definir bien el modelo de conocimiento del estudiante: la selección de las tareas y acciones que propondrá el sistema tutorial dependerá del modelo de estudiante, por lo resulta esencial una predicción lo más precisa posible del conocimiento del estudiante, para después programar la parametrización que ajuste el sistema tutorial. Este es el punto de  partida que se plantean estos investigadores en su ponencia al Congreso de EDM de 2104 en Londres. (Käser, Koedinger y  Gross: Different parameters – same prediction: An analysis of learning curves).

En este estudio evalúan las propiedades y parámetros de los diferentes modelos de regresión logística cuando ajustan las curvas de aprendizaje de estudiantes con niveles de conocimiento heterogéneos. La regresión logística se usa en modelos basados en la «teoría de respuesta a una pregunta» – denotada IRT-, que propugna que la respuesta correcta a un item es una función matemática con parámetros  del estudiante  y de la pregunta.

 

Los resultados varían mucho entre modelos, y además entre los parámetros evaluados. El entorno de formación utilizado en este trabajo es el Calcularis, un sistema tutorial para niños con problemas de aprendizaje en matemáticas.

Los tres modelos analizados tienden a sobreestimar el resultado de los estudiantes con un mal desempeño, y subestiman el resultado en los buenos estudiantes. En la figura de cabecera se comparan los residuos de la resta de «resultado estimado – resultado real» de los tres modelos.

Desarrollan un modelo  de regresión logística alternativo al que denominan Modelo Alineado a la Maestria -MA-, que presenta ventajas en el ajuste sobre modelos que solo tienen en cuenta el número de oportunidades, y que se pueden ver influidos por el «desgaste» del estudiante al incrementarse el número de intentos : En la Fig,5 nos muestran cómo ajusta a diferentes parámetros.

CurvaAprendizaje_2

Concluyen en que los diferentes modelos de regresión logística por ahora presentan importantes diferencias en el ajuste paramétrico, pero sin embargo arrojan resultados similares en la precisión de su capacidad predictiva.

Tutorización adaptativa

¿Cómo influyen las ayudas onLine en la forma de resolver problemas de los estudiantes? Las Redes de Interacción son la base para un buen diseño de tutorías automáticas y escaladas, que sientan las bases para el diseño de una tutorización adaptativa, en función del comportamiento del estudiante.

En esta interesante ponencia Michael Eagle and Tiffany Barnes resumen los resultados representando mediante mapas de interacción el uso de las tutorías automáticas por los alumnos, y les permite distinguir el comportamiento de los alumnos al resolver problemas de lógica. Esta técnica les permite una reducción significativa  del espacio necesario para describir una enorme cantidad de datos de la interacción tutor-estudiante.

MapasGuiadosPorDatos (2)

En las flechas se puede ver el número de estudiantes que aplicaron una regla para deducir la proposición siguiente en el problema de lógica. En tres de los enfoques se ve una predilección por resolver con razonamiento «hacia adelante», y no de fin a principio.

Entre las conclusiones, a destacar:

1) Establecen un método para analizar la influencia de las tutorías en la forma aplicar reglas para resolver problemas de lógica.

2) Demuestran que los alumnos que han utilizado determinadas tutorías, han adquirido hábitos al seguir resolviendo problemas sin las mismas.

3) Los alumnos del grupo de control -sin tutorías- demuestran que mantienen los malos hábitos al buscar soluciones en nuevos problemas.

Además, me parece un método ideal para diseñar una tutorización cada vez más adaptativa – y eficiente- orientada a cambiar los hábitos de resolución de problemas de los estudiantes.

«Assessment» basado en Juegos

A partir de la forma en que toman decisiones los alumnos durante un juego, los investigadores Chi, Min , Schwartz, Daniel L. , Pilner Blair,Kristen y Chin, Doris B. analizan en esta ponencia del EDM 2014 si puede ser un buen predictor de su desempeño en la asignatura de Matemáticas. La forma de jugar de los estudiantes, algunos sencillamente haciendo prueba y error, y otros buscando pautas escondidas que les pudieran proporcionar una táctica en el juego, lo asocian con el modo de estudio que posiblemente tienen estos estudiantes al abordar las Matemáticas. El juego, basado en un simulador de mezcla de colores, requiere sin duda competencias muy correlacionadas con el razonamiento, la capacidad de abstracción y la lógica, por lo que las conclusiones estadísticas son intuitivas.

AssessmentJuegos2

Lo más interesante son dos puntos:
– El dispositivo de toma de datos asociado al juego, que da pie a investigar más aplicaciones no tan evidentes.
– El alegato final cuestionando una práctica muy extendida de «predecir» el desempeño de las personas basándose en un assessment tipo test, no siempre bien calibrado debido al elevado coste, y proponiendo esta alternativa como una opción más eficiente (también requerirá el rigor de calibración de un test).