EDM MADRID 2015

Se ha celebrado el Congreso de Minería de Datos Educativos (8º EDM),  en MADRID, del 26-29 de Junio de 2015: Ha sido una estupenda oportunidad para conocer el “estado del arte” y las tendencias, conocer Madrid y contactar personalmente con los investigadores de este campo (para mí ha sido emocionante saludar a Cristóbal Romero, Olga Santos, Cristian Mihaescu,…o asistir a los debates junto a Ryan Baker, Peter Brusilovsky, …)  .

IMG_20150626_183637

Luis Von Ahn, de Duolingo. (Foto del autor: CC BY)

La sesión inaugural corrió a cargo de Luis Von Ahn, uno de los creadores de Duolingo, que nos contó cómo fue el proyecto, cómo se apoya en la minería de datos, y cuál puede ser su futuro; además de responder durante una hora las innumerables preguntas de los científicos del congreso.

Entre otros temas de interés, se  trataron:

– Cerrando el bucle entre la investigación  y los resultados educativos.

– Integrando la minería de datos y la teoría pedagógica.

– Minería de datos y entornos pedagógicos emergentes, como los juegos educativos, los MOOCs, y el aprendizaje exploratorio.

– Minería de datos en aprendizaje social y colaborativo.

– Conectando EDM y la analítica de datos de aprendizaje.

– Análisis y seguimiento de resultados de tutorías automáticas.

– Revisión del “estado del arte” en técnicas de análisis de datos, sistemas de recomendación web, análisis de redes sociales, minería de opinión y modelizado del estudiante en educación.

– Entornos de desarrollo genéricos para EDM, técnicas, métodos de investigación y enfoques.

– Obtención de representaciones del dominio del conocimiento a partir de los datos.

Y muchos más…

El evento se celebró a continuación del 17th International Conference on Artificial Intelligence in Education (AIED 2015) , que se realizó los tres días anteriores.

 

¿Cuál es tu Elo en Historia?

 

¿Por qué la mayoría de las evaluaciones de los estudiantes no tienen en cuenta la secuencia temporal de sus calificaciones? En esta ponencia del EDM 2014 nos proponen dos alternativas para evaluar la evolución de la adquisición de habilidades de un estudiante en el tiempo: Tradicionalmente se suele considerar que la adquisición de habilidades sigue un ratio constante en el tiempo, sin embargo, la realidad es otra, y la pérdida de esta información nos impide poder aplicar estrategias pedagógicas diferentes en función de este parámetro.

Este investigador (Pelánek, Radek: Application of Time Decay Functions and the Elo System in Student Modeling) compara la aplicación de dos modelos diferentes a este fin, pero en ambos casos utilizados para medir la evolución: uno muy popular en el mundo del ajedrez de competición, la puntuación Elo, y otro, el uso de funciones decrecientes en el tiempo, ya que cuanto más antiguas son las calificaciones en la adquisición de conocimiento o habilidades, menos relevantes son.

Pero, ¿y el ratio del ajedrez? Este sistema de estimación de la habilidad de los jugadores de ajedrez no responde a ninguna sigla, sino al científico –y jugador de ajedrez- de origen húngaro que lo inveelo3ntó: Árpád Éló. La puntuación Elo de un jugador se calcula a partir de sus resultados contra otros jugadores. La diferencia de la puntuación Elo entre dos jugadores determina una probabilidad estimada de puntuación entre ellos, llamada “puntuación esperada” o expectativa. La puntuación esperada de un jugador es su probabilidad de ganar más la mitad de su probabilidad de hacer tablas.

En el caso del aprendizaje de una materia, se plantea como una partida del estudiante contra la respuesta a un problema de la materia en cuestión, de forma que cuantas más veces se enfrenta a la prueba, menos relevantes son los resultados más antiguos en el tiempo. El resultado se establece en dos estados: APTO/ NO APTO (Gana/ No gana la partida), similares a los del juego.

El sistema Elo incrementa o disminuye el “ratio Elo” de un estudiante dependiendo de que su puntuación obtenida sea superior o inferior a su puntuación esperada. La idea central de este sistema es un ajuste lineal proporcional a la diferencia entre la puntuación esperada y la obtenida por un jugador. El sistema por tanto requiere de un ajuste, llamado “factor K”:  si k es pequeño, la estimación converge muy lentamente, y si es elevado, el sistema es inestable y le da demasiado peso a los valores más recientes.

El estudio con el sistema Elo en el contexto de “respuestas correctas” se ha realizado sobre estudiantes de geografía (nombres de países) . El autor concluye que ambos métodos son flexibles, y sencillos de aplicar en sus ajustes debido a los pocos parámetros. La flexibilidad la proporciona la poca exigencia en cuanto al comportamiento de los estudiantes para la aplicación de los modelos. Las diferencias en la elección del parámetro k  más óptimo parecen tener cierta relación con la velocidad de aprendizaje (grado de conocimiento), aunque  no se puede aún afirmar que sea una relación directa.

La  modelización del aprendizaje del estudiante da así un paso más hacia una valoración  que tiene en cuenta la velocidad de aprendizaje de cada persona . “¿Cuál es tu Elo?”, me preguntó un chaval de unos doce años en el Open de ajedrez que se celebra cada verano en Chipiona (Cádiz, España).  “Pues no lo sé, hace tiempo que dejé la federación. Solo vengo a pasarlo bien jugando al ajedrez” le respondí con una sonrisa, y algo inquieto por el tono serio de la pregunta. Me hizo tablas tras dos horas de partida.

Emociones en un MOOC

Sentiment_analysis_Fantasy_course

¿Qué nos dice el análisis de emociones en los foros de discusión de un Curso Masivo Abierto OnLine (MOOC)? Las medidas realizadas en tres cursos MOOC diferentes sobre el carácter “positivo o negativo” de los comentarios del foro parece ser un buen predictor de los abandonos de los estudiantes, coincidiendo las semanas donde el ratio “emotivo” baja con un mayor número de abandonos.

Para ello, han evaluado tres cursos MOOC diferentes: Un curso de Formación de formadores, otro de Fantasía, y otro de Python. Los investigadores WEN, YANG y PENSTEIN  definen unos ratios individuales de positividad o negatividad de los comentarios, haciendo el cociente del número total de términos positivos dividido por el número total de palabras de cada persona. A partir de este, elaboran el “grado de positividad” como la media de positividad a la que un usuario ha estado expuesto durante una semana.

¿Pero qué palabras son positivas o negativas? Han elaborado una base de datos de términos frecuentes en los tres foros, que han clasificado en función de su carácter, y les ha permitido elaborar este estudio:

 

Palabras_emociones

Palabras clasificadas como “positivas” o “negativas” en cada uno de los tres cursos MOOC estudiados: Formación a formadores, Fantasía y lenguaje Python.

Este tipo de técnicas, ya existentes en el mundo del Marketing para analizar la opinión en las redes sociales, empieza a aplicarse así  en nuestro sector educativo: ¿miden ya las plataformas educativas de formación la opinión de los padres con estas técnicas? Seguramente ya están en ello.