EDM MADRID 2015

Se ha celebrado el Congreso de Minería de Datos Educativos (8º EDM),  en MADRID, del 26-29 de Junio de 2015: Ha sido una estupenda oportunidad para conocer el «estado del arte» y las tendencias, conocer Madrid y contactar personalmente con los investigadores de este campo (para mí ha sido emocionante saludar a Cristóbal Romero, Olga Santos, Cristian Mihaescu,…o asistir a los debates junto a Ryan Baker, Peter Brusilovsky, …)  .

IMG_20150626_183637

Luis Von Ahn, de Duolingo. (Foto del autor: CC BY)

La sesión inaugural corrió a cargo de Luis Von Ahn, uno de los creadores de Duolingo, que nos contó cómo fue el proyecto, cómo se apoya en la minería de datos, y cuál puede ser su futuro; además de responder durante una hora las innumerables preguntas de los científicos del congreso.

Entre otros temas de interés, se  trataron:

– Cerrando el bucle entre la investigación  y los resultados educativos.

– Integrando la minería de datos y la teoría pedagógica.

– Minería de datos y entornos pedagógicos emergentes, como los juegos educativos, los MOOCs, y el aprendizaje exploratorio.

– Minería de datos en aprendizaje social y colaborativo.

– Conectando EDM y la analítica de datos de aprendizaje.

– Análisis y seguimiento de resultados de tutorías automáticas.

– Revisión del «estado del arte» en técnicas de análisis de datos, sistemas de recomendación web, análisis de redes sociales, minería de opinión y modelizado del estudiante en educación.

– Entornos de desarrollo genéricos para EDM, técnicas, métodos de investigación y enfoques.

– Obtención de representaciones del dominio del conocimiento a partir de los datos.

Y muchos más…

El evento se celebró a continuación del 17th International Conference on Artificial Intelligence in Education (AIED 2015) , que se realizó los tres días anteriores.

 

¿Cuál es tu Elo en Historia?

 

¿Por qué la mayoría de las evaluaciones de los estudiantes no tienen en cuenta la secuencia temporal de sus calificaciones? En esta ponencia del EDM 2014 nos proponen dos alternativas para evaluar la evolución de la adquisición de habilidades de un estudiante en el tiempo: Tradicionalmente se suele considerar que la adquisición de habilidades sigue un ratio constante en el tiempo, sin embargo, la realidad es otra, y la pérdida de esta información nos impide poder aplicar estrategias pedagógicas diferentes en función de este parámetro.

Este investigador (Pelánek, Radek: Application of Time Decay Functions and the Elo System in Student Modeling) compara la aplicación de dos modelos diferentes a este fin, pero en ambos casos utilizados para medir la evolución: uno muy popular en el mundo del ajedrez de competición, la puntuación Elo, y otro, el uso de funciones decrecientes en el tiempo, ya que cuanto más antiguas son las calificaciones en la adquisición de conocimiento o habilidades, menos relevantes son.

Pero, ¿y el ratio del ajedrez? Este sistema de estimación de la habilidad de los jugadores de ajedrez no responde a ninguna sigla, sino al científico –y jugador de ajedrez- de origen húngaro que lo inveelo3ntó: Árpád Éló. La puntuación Elo de un jugador se calcula a partir de sus resultados contra otros jugadores. La diferencia de la puntuación Elo entre dos jugadores determina una probabilidad estimada de puntuación entre ellos, llamada «puntuación esperada» o expectativa. La puntuación esperada de un jugador es su probabilidad de ganar más la mitad de su probabilidad de hacer tablas.

En el caso del aprendizaje de una materia, se plantea como una partida del estudiante contra la respuesta a un problema de la materia en cuestión, de forma que cuantas más veces se enfrenta a la prueba, menos relevantes son los resultados más antiguos en el tiempo. El resultado se establece en dos estados: APTO/ NO APTO (Gana/ No gana la partida), similares a los del juego.

El sistema Elo incrementa o disminuye el “ratio Elo” de un estudiante dependiendo de que su puntuación obtenida sea superior o inferior a su puntuación esperada. La idea central de este sistema es un ajuste lineal proporcional a la diferencia entre la puntuación esperada y la obtenida por un jugador. El sistema por tanto requiere de un ajuste, llamado «factor K»:  si k es pequeño, la estimación converge muy lentamente, y si es elevado, el sistema es inestable y le da demasiado peso a los valores más recientes.

El estudio con el sistema Elo en el contexto de «respuestas correctas» se ha realizado sobre estudiantes de geografía (nombres de países) . El autor concluye que ambos métodos son flexibles, y sencillos de aplicar en sus ajustes debido a los pocos parámetros. La flexibilidad la proporciona la poca exigencia en cuanto al comportamiento de los estudiantes para la aplicación de los modelos. Las diferencias en la elección del parámetro k  más óptimo parecen tener cierta relación con la velocidad de aprendizaje (grado de conocimiento), aunque  no se puede aún afirmar que sea una relación directa.

La  modelización del aprendizaje del estudiante da así un paso más hacia una valoración  que tiene en cuenta la velocidad de aprendizaje de cada persona . «¿Cuál es tu Elo?», me preguntó un chaval de unos doce años en el Open de ajedrez que se celebra cada verano en Chipiona (Cádiz, España).  «Pues no lo sé, hace tiempo que dejé la federación. Solo vengo a pasarlo bien jugando al ajedrez» le respondí con una sonrisa, y algo inquieto por el tono serio de la pregunta. Me hizo tablas tras dos horas de partida.

Emociones en un MOOC

Sentiment_analysis_Fantasy_course

¿Qué nos dice el análisis de emociones en los foros de discusión de un Curso Masivo Abierto OnLine (MOOC)? Las medidas realizadas en tres cursos MOOC diferentes sobre el carácter «positivo o negativo» de los comentarios del foro parece ser un buen predictor de los abandonos de los estudiantes, coincidiendo las semanas donde el ratio «emotivo» baja con un mayor número de abandonos.

Para ello, han evaluado tres cursos MOOC diferentes: Un curso de Formación de formadores, otro de Fantasía, y otro de Python. Los investigadores WEN, YANG y PENSTEIN  definen unos ratios individuales de positividad o negatividad de los comentarios, haciendo el cociente del número total de términos positivos dividido por el número total de palabras de cada persona. A partir de este, elaboran el «grado de positividad» como la media de positividad a la que un usuario ha estado expuesto durante una semana.

¿Pero qué palabras son positivas o negativas? Han elaborado una base de datos de términos frecuentes en los tres foros, que han clasificado en función de su carácter, y les ha permitido elaborar este estudio:

 

Palabras_emociones

Palabras clasificadas como «positivas» o «negativas» en cada uno de los tres cursos MOOC estudiados: Formación a formadores, Fantasía y lenguaje Python.

Este tipo de técnicas, ya existentes en el mundo del Marketing para analizar la opinión en las redes sociales, empieza a aplicarse así  en nuestro sector educativo: ¿miden ya las plataformas educativas de formación la opinión de los padres con estas técnicas? Seguramente ya están en ello.

Curvas de Aprendizaje

Para poder desarrollar los Sistemas tutoriales inteligentes (adaptativos) resulta fundamental definir bien el modelo de conocimiento del estudiante: la selección de las tareas y acciones que propondrá el sistema tutorial dependerá del modelo de estudiante, por lo resulta esencial una predicción lo más precisa posible del conocimiento del estudiante, para después programar la parametrización que ajuste el sistema tutorial. Este es el punto de  partida que se plantean estos investigadores en su ponencia al Congreso de EDM de 2104 en Londres. (Käser, Koedinger y  Gross: Different parameters – same prediction: An analysis of learning curves).

En este estudio evalúan las propiedades y parámetros de los diferentes modelos de regresión logística cuando ajustan las curvas de aprendizaje de estudiantes con niveles de conocimiento heterogéneos. La regresión logística se usa en modelos basados en la «teoría de respuesta a una pregunta» – denotada IRT-, que propugna que la respuesta correcta a un item es una función matemática con parámetros  del estudiante  y de la pregunta.

 

Los resultados varían mucho entre modelos, y además entre los parámetros evaluados. El entorno de formación utilizado en este trabajo es el Calcularis, un sistema tutorial para niños con problemas de aprendizaje en matemáticas.

Los tres modelos analizados tienden a sobreestimar el resultado de los estudiantes con un mal desempeño, y subestiman el resultado en los buenos estudiantes. En la figura de cabecera se comparan los residuos de la resta de «resultado estimado – resultado real» de los tres modelos.

Desarrollan un modelo  de regresión logística alternativo al que denominan Modelo Alineado a la Maestria -MA-, que presenta ventajas en el ajuste sobre modelos que solo tienen en cuenta el número de oportunidades, y que se pueden ver influidos por el «desgaste» del estudiante al incrementarse el número de intentos : En la Fig,5 nos muestran cómo ajusta a diferentes parámetros.

CurvaAprendizaje_2

Concluyen en que los diferentes modelos de regresión logística por ahora presentan importantes diferencias en el ajuste paramétrico, pero sin embargo arrojan resultados similares en la precisión de su capacidad predictiva.

Interfaces adaptativos

Desarrollan un  generador adaptativo de Interfaces de usuario según su perfil, su contexto y los formalismos de la HCI (en el Dpto. de Ingeniería de Sistemas de la Pontifica Universidad Javeriana de Bogotá).  Con base en este «framework»  bautizado como TUKUCHIY, -en Quechua-, han desarrollado otra aplicación que presenta contenidos educativos ajustados al estilo y preferencias de cada estudiante (denominada IDUKAY).

Resumen del Modelo de Adaptación

 

Así, el framework es capaz de detectar problemas de visión (tanto en la escala como en los colores, p.e. daltonismo), alterando el entorno para adaptarlo a estos problemas. Después, Idukay agrega al perfil del usuario básico del framework las preferencias y estilo de aprendizaje,obtenidas respondiendo a un test (Felder-Silverman: Learning and Teaching Styles in Engineering Education).

 

Esperamos tener pronto los resultados del protocolo de pruebas que valide si se mejora el rendimiento de los estudiantes con estos desarrollos.

Referencia: Luisa Fernanda Barrera, Nadia Alejandra Mejía-Molina, Angela Carrillo-Ramos, Leonardo Flórez-Valencia. Tukuchiy-Idukay: Generación Dinámica de Interfaces en Contextos Educativos

 

Sistema de Formación Adaptativa

Evaluación  del uso de un Sistema de Aprendizaje Adaptativo basado en estilos cognitivos dependientes/independientes con el modelo de las ocho dimensiones de Felder-Silverman. Tzu-Chi Yang, Gwo-Jen Hwang and Stephen Jen-Hwa Yang aplican el sistema sobre un grupo de 54 participantes asignados aleatoriamente, del cual se extrajo un grupo de control de estudiantes que no utilizó el sistema adaptativo para su aprendizaje, resultando diferencias significativas en favor del que sí  lo utilizó.

 

En este estudio los estilos de aprendizaje se aplican para proporcionar materiales personalizados y la disposición de las presentaciones, mientras que los estilos cognitivos se usan para personalizar el interface de los usuarios y las estrategias de navegación (véase la página de Objetivo del blog).

 

Se describe un Sistema Adaptativo Multidimensional (AMDPC) que consta de cuatro módulos (véase figura destacada del post): el de Generación de contenidos de aprendizaje , el de Presentación Adaptativa (APM), el Módulo de Contenido Adaptativo (ACM) y el módulo de Aprendizaje (LM).

Entorno AMDPC

Muy interesante ver las descripciones de los principales ajustes de que es capaz el ACM.

¿Por qué no se generaliza el uso de estos sistemas si ahorran tiempo a la persona que estudia? De momento nadie parece querer calcular el coste asociado a la formación que obliga a cada estudiante a realizar contenidos que no se adaptan a sus necesidades, multiplicado por el número de estudiantes (habitualmente elevado en eLearning).

Innovación educativa| A un Clic de las TIC

Innovación educativa

Un vistazo a las últimas tendencias en la implantación de las tecnologías a la educación :  Innovación educativa que modifica los procesos de enseñanza y aprendizaje | A un Clic de las TIC. La innovación no es solo la tecnología, sino las personas capaces de aplicarla a los procesos diarios donde realizan su labor para mejorar la eficiencia. No podremos avanzar si no proporcionamos a los profesores y pedagogos la formación y las herramientas para que lo puedan aplicar. Y a mi entender, si queremos un modelo sostenible, no podemos esperar a que la Administración lo resuelva todo.

«Es preciso adaptar los procedimientos a las nuevas generaciones y que los docentes cuenten con el apoyo, los medios y las herramientas para conseguir este objetivo”. Se van dando pasos hacia la formación adaptativa en el ámbito educativo.

El futuro ya está aquí. De nosotros depende que esté para todos.

La educación en la era digital | A un Clic de las TIC

El cambio educativo y la cooperación público-privada

3rdpanel

Interesante post de «A un click de las TIC» que resume el debate mantenido en Bruselas sobre el cambio educativo que se está produciendo, y la oportunidad de responder a las necesidades de millones de personas a través de un mejor acceso, menores costes y una mayor calidad.

debate1

 

 

Tutorización adaptativa

¿Cómo influyen las ayudas onLine en la forma de resolver problemas de los estudiantes? Las Redes de Interacción son la base para un buen diseño de tutorías automáticas y escaladas, que sientan las bases para el diseño de una tutorización adaptativa, en función del comportamiento del estudiante.

En esta interesante ponencia Michael Eagle and Tiffany Barnes resumen los resultados representando mediante mapas de interacción el uso de las tutorías automáticas por los alumnos, y les permite distinguir el comportamiento de los alumnos al resolver problemas de lógica. Esta técnica les permite una reducción significativa  del espacio necesario para describir una enorme cantidad de datos de la interacción tutor-estudiante.

MapasGuiadosPorDatos (2)

En las flechas se puede ver el número de estudiantes que aplicaron una regla para deducir la proposición siguiente en el problema de lógica. En tres de los enfoques se ve una predilección por resolver con razonamiento «hacia adelante», y no de fin a principio.

Entre las conclusiones, a destacar:

1) Establecen un método para analizar la influencia de las tutorías en la forma aplicar reglas para resolver problemas de lógica.

2) Demuestran que los alumnos que han utilizado determinadas tutorías, han adquirido hábitos al seguir resolviendo problemas sin las mismas.

3) Los alumnos del grupo de control -sin tutorías- demuestran que mantienen los malos hábitos al buscar soluciones en nuevos problemas.

Además, me parece un método ideal para diseñar una tutorización cada vez más adaptativa – y eficiente- orientada a cambiar los hábitos de resolución de problemas de los estudiantes.

«Assessment» basado en Juegos

A partir de la forma en que toman decisiones los alumnos durante un juego, los investigadores Chi, Min , Schwartz, Daniel L. , Pilner Blair,Kristen y Chin, Doris B. analizan en esta ponencia del EDM 2014 si puede ser un buen predictor de su desempeño en la asignatura de Matemáticas. La forma de jugar de los estudiantes, algunos sencillamente haciendo prueba y error, y otros buscando pautas escondidas que les pudieran proporcionar una táctica en el juego, lo asocian con el modo de estudio que posiblemente tienen estos estudiantes al abordar las Matemáticas. El juego, basado en un simulador de mezcla de colores, requiere sin duda competencias muy correlacionadas con el razonamiento, la capacidad de abstracción y la lógica, por lo que las conclusiones estadísticas son intuitivas.

AssessmentJuegos2

Lo más interesante son dos puntos:
– El dispositivo de toma de datos asociado al juego, que da pie a investigar más aplicaciones no tan evidentes.
– El alegato final cuestionando una práctica muy extendida de «predecir» el desempeño de las personas basándose en un assessment tipo test, no siempre bien calibrado debido al elevado coste, y proponiendo esta alternativa como una opción más eficiente (también requerirá el rigor de calibración de un test).