La computación afectiva en el aprendizaje

inteligencia artificial

CC BY : https://laklave.files.wordpress.com/2015/08/

No te pierdas este post de A un clic de las TIC en el que entrevisto a los investigadores Jesús G. Boticario y Olga C. Santos, profundizando en el tema de la computación afectiva aplicada al aprendizaje.

Ellos son miembros del grupo aDeNu (Adaptación dinámica de sistemas de educación on line basada en el modelado del usuario), del departamento de Inteligencia Artificial de la UNED, y organizadores del 8º Congreso de Minería de Datos Educativos, celebrado en Madrid, al que tuve la suerte de poder asistir.

Nos explican cómo está evolucionando esta tecnología, qué aplicaciones tiene la computación afectiva tanto en el aprendizaje como en otros campos, y en qué líneas de investigación están trabajando.

Este grupo dispone de un interesante catálogo de servicios tecnológicos que ofrece la UNED a las empresas. ¿No se ha planteado aplicar las últimas tecnologías del ámbito del aprendizaje en su colegio, instituto, universidad o departamento de formación?

Evaluación dinámica de emociones

Imagen: CC BY (http://www.flickr.com/photos/sybrenstuvel/2468506922/)

CC BY: www.flickr.com/photos/ sybrenstuvel/2468506922

Cada vez hay más evidencias de que determinados aspectos del rendimiento e interacción de un estudiante con el software educativo son predictores del aprendizaje a largo plazo. Se han utilizado modelos de aprendizaje máquina para proporcionar mediciones de la emoción, el comportamiento derivado y el conocimiento basado en el análisis de los datos de estudio en el software de aprendizaje, estimando la probabilidad del estado anímico, conductual o cognitivo de un estudiante. Estas mediciones han predicho con éxito los resultados de exámenes estándar, si bien solían estar limitados a determinados periodos de tiempo.

Valores de Entropía

 

En este estudio presentado en el 8º congreso EDM, los investigadores han empleado un enfoque diferente para relacionar los modelos de conducta y las emociones que las producen con los resultados de aprendizaje, usando métodos dinámicos en el tiempo que evalúan patrones de medida más sensibles (de “grano fino”) del estado de ánimo, del comportamiento o del conocimiento conforme aparecen en el tiempo. Para ello han utilizado dos técnicas dinámicas a nivel temporal: exponentes de Hurst (método utilizado por el hidrólogo Edwin Hurst que permite determinar si existe “memoria” a largo plazo en los datos de series temporales,) y puntos de Entropía, indicador estadístico para determinar si la situación afectiva del estudiante es “ordenada” (y predecible) o “desordenada” y completamente impredecible (Véase tabla del modelo final de Hurst y de puntuaciones de entropía).

TablaEntropias_Hurst

Aplicado sobre 1.376 estudiantes durante dos años, los datos se han obtenido de un sistema de tutoría para matemáticas (ASSISTments), y los resultados son bastante significativos estadísticamente, si bien los autores comprueban que a nivel de predicción no son muy diferentes de los que se suelen obtener de una evaluación basándonos en medias de los exámenes estándar.

Nos dejan pues un método que no solo predice el resultado final del aprendizaje en función del estado de ánimo del estudiante durante todo el curso, sino que nos proporciona una lupa que a lo largo del tiempo nos indica los factores que inciden en ello (tedio, frustración, concentración, exactitud, conocimiento, predisposición al juego, confusión)  de manera que se puedan encontrar factores motivacionales y tomar medidas correctoras. Y ojo, no hay aleatoriedad en la medida.

(Ponencia de:  SAN PEDRO,Maria Ofelia, SNOW, Erica , BAKER, Ryan , MCNAMARA, Danielle and HEFFERNAN, Neil : Exploring Dynamical Assessments of Affect, Behavior, and Cognition and Math State Test Achievement).

Assessment “Plantas vs Zombies”

Para medir la competencia de resolución de problemas de los estudiantes, los autores de este estudio han utilizado un “diseño basado en la evidencia” con el famoso juego “Plantas contra Zombies 2”.

El proyecto del “assessmentt” comenzó desarrollando un modelo de una de las competencias  más importantes en el entorno profesional: la de Resolución de Problemas, uno de cuyos modelos responde a las siglas de IDEAL: Idenficar problemas y oportunidades, Definir  metas alternativas, Explorar posibles estrategias, Anticipar resultados y dificultades, y finalmente  “mirar atrás” y aprender (“Look back and learn”).

Los buenos juegos “enganchan”; y  esa capacidad de “enganchar” es vital en el aprendizaje. El proceso seguido en la aplicación del juego a este estudio es el siguiente:

Esquema_PlantasVsZombies

1) Los jugadores proporcionan un flujo continuo de datos en el fichero de registros. 2) estos son procesados con el modelo de evidencias de la competencia, 3) el resultado de este análisis son datos que se pasan al modelo de competencias que 4) finalmente proporcionan la estimación del nivel competencial de la persona.

 

(Ejemplos de evaluación basada en evidencias se han realizado también con juegos como Taiga Park , Oblivion, and World of Goo).

Dividieron la competencia en cuatro componentes:

  • análisis de hipótesis y restricciones
  • planificación de un camino hacia la solución
  • uso de herramientas y recursos con eficiencia
  • seguimiento y evaluación de resultados

Después seleccionaron indicadores en el juego que evidenciaran las cuatro componentes en base a su relevancia y viabilidad (32 indicadores), implementados junto al modelo de competencias mediante redes Bayesianas. El  juego “Plantas contra Zombies ”,  se aplicó en una versión 2 modificada: así pudieron contar con la colaboración de Glasslab, que tienen acceso al código fuente, y definir los indicadores a partir del fichero de registros de los jugadores  (Plants vs. Zombies 2 : Popcap Games and Electronic Arts). El resultado final fue comparado con una herramienta del mercado para medir la competencia de Resolución de Problemas (MicroDYN), y se validó el resultado con 10 estudiantes de licenciatura que jugaron durante 90 minutos en la aplicación. La correlación con MicroDYN obtenida fue significativa (r = .74, p = .03). El experimento se está realizando ahora con 200 sujetos para mejorar la significación, pero parece que la línea de investigación muestra la utilidad del modelo.

(Ponencia de SHUTE,V.,  MOORE, G,.  and WANG, L.: Measuring Problem Solving Skills in Plants vs. Zombies 2).

Este enfoque de evaluación  de competencias a través de un juego lo hemos visto en la literatura ( por ejemplo “el Juego de Ender”, de Orson Scott Card), donde a través de juegos van colocando a los estudiantes en situaciones de dificultad creciente, buscando desarrollar -y detectar- habilidades de resolución de problemas y liderazgo, entre otras (assessment). El problema es complejo en sí mismo,  ya que no se trata de entrenar en un entorno libre de riesgo mediante simuladores de una realidad  conocida y simplificada ( muy aplicado, por ejemplo, en formación de postgrado con los “simuladores de negocios”, conocidos como “tycoon” o “business game”), sino que hablamos de utilizar entornos ajenos a la realidad que contribuyan al desarrollo de la competencia.

Detrás de este enfoque, tenemos por otro lado, el problema de la confidencialidad: ¿Están evaluando mis competencias cuando estoy en un videojuego onLine? ¿y si publican o venden los resultados? Leamos la  letra pequeña de los videojuegos…

 

Buscando al “equipo A” de tutores

Un estudiante  retuerce el cable del ratón mientras observa con frustración la pantalla de su ordenador: está en un callejón sin salida en este ejercicio del curso online que realiza, y no está tutorizado!. Se va a la comunidad del curso y busca quien le ayude… Pero no conoce a nadie en esta edición.  En otros cursos ya le pasó: a veces contactas con gente que sabe menos que tú, pero con deseos de chatear. Otras, detectas un estudiante muy solicitado, pero tiene SU grupo, y fuera de él no ayuda. “¿Por qué iba a hacerlo?”-piensa . El hecho es que de todas las personas inscritas, suele haber un cierto número de ellas que están dispuestas a colaborar, bien porque reconocen que es una vía de aprendizaje más, porque creen que si das ejemplo siempre habrá un “quid pro quo”  y te devolverán el favor, por prestigio -karma digital-, o porque sencillamente se lo pasan bien respondiendo preguntas. ¿Pero cómo identificarlos? Le gustaría tener una lista… esa lista de personas dispuestas a ayudarte a salir del atasco, ese “equipo A” de tutores dispuesto a todo. De eso va esta ponencia.

Este equipo de la universidad de Craiova (MIHÂESCU, M.C. , POPESCU, P.S. , IONASCU,C.: “Intelligent Tutor Recommender System for On-Line Educational Environments”) presenta un método de clasificación basado en datos históricos que permitirá a los estudiantes encontrar a los colegas más adecuados que le pueden ayudar en caso de dudas de estudio, proponiéndoles una lista con las personas que están deseosas y disponibles para ayudar. El estudiante que busca la ayuda será consciente de su punto débil, sabrá su posición entre sus compañeros y tendrá una cierta idea de qué aspectos pueden provocarle más problemas de comprensión. Se trata pues de un mecanismo de recomendación.

Fig.1-Popescu_usecase

La figura 1 nos muestra el workflow de datos del mecanismo de recomendación: inicia con una fase de modelización de los estudiantes -que podrán ser también Tutores-, para después proceder a la clasificación por afinidad, basándose en una base de datos históricos de participación en otros cursos.

En cuanto a la tecnología, los autores han utilizado el conocido programa en java WEKA, con el algoritmo J45 de clasificación que genera un árbol de decisión (implementación del algoritmo 4.5 de Weka).

Tenemos pues una aplicación que permite proponer tutores personalizados a cada estudiante, teniendo en cuenta su edad y su conocimiento en las actividades donde necesita mejorar su nivel de aprendizaje, para así tener el feedback más adecuado posible. ¿Eres tú una de esas personas de la “Brigada A” de tutores?

“Dreamcatcher”

El “Atrapa sueños” es un detector de distracciones durante el estudio online:  aplicación de técnicas de aprendizaje máquina supervisado, para detectar la pérdida de concentración en la lectura de contenidos online sin el uso de sensores, es decir, basándose solo en los datos recogidos de la plataforma de elearning (log files). Había antecedentes de estudios similares, basados en sensores de la mirada y en otros fisiológicos, pero poco utilizables todavía a gran escala debido sobre todo al coste.

Los textos utilizados en el experimento proceden del “serius game” llamado Operation ARA! (es un juego con un argumento de “salvar el mundo” orientado a desarrollar habilidades de pensamiento crítico), y emplearon dos versiones de cada texto con diferente grado de dificultad en su lectura, para valorar la influencia de este parámetro.

Aunque los resultados de la matriz de confusión son aún mejorables (véase la tabla), la combinación de técnicas para mejorar la detección y los parámetros utilizados para clasificar los textos crean unas bases muy interesantes de investigación, que sin duda irán depurando.dreamcatcher_tabla

Las aplicaciones de esta ponencia con título tan sugestivo (“dreamcatcher” o “atrapa sueños”, con origen en los indios Ojibwa) son innumerables para la mejora de la tutorización automática, el diseño instruccional para aprendizaje adaptativo y la predicción de abandonos para tomar medidas antes de perder al estudiante.

(MILLS, Caitlin y D’MELLO, Sidney. Toward a Real-time (Day) Dreamcatcher: Sensor-Free
Detection of Mind Wandering During Online Reading. University of Notre Dame)

Minería basada en grafos

Sports Alpine Skiing seasons by @pac_19: http://neo4j.com

Sports Alpine Skiing seasons by @pac_19: http://neo4j.com

Taller de minería de datos educativos basada en Grafos celebrado en el pasado congreso EDM Madrid 2015 : El profesor Collin Lynch nos enseñó la aplicación de herramientas como NEO4J, una base de datos orientada a grafos, para buscar respuestas a cuestiones como:

 

– ¿qué caminos siguen a través de los contenidos online los estudiantes de mejor rendimiento?

– ¿qué redes sociales pueden impulsar o disminuir el aprendizaje online?

– ¿se comportan los usuarios de formación online como los profesores esperan que lo hagan?

-¿podemos usar datos de los mejores estudiantes para proporcionar consejos significativos para los demás?

-¿podemos identificar estudiantes especialmente serviciales en un curso?

La centralidad, la dependencia, la exclusión, los componentes gigantes….dentro de las redes de aprendizaje son parámetros que cada vez utilizaremos más para analizar el estado de nuestra red, ver cómo puede evolucionar, y cómo pueden influir la posición de los nodos  o  la fuerza de las relaciones en efectos de propagación de la información y el conocimiento.

En el taller se discutieron las tendencias de investigación con estas herramientas, se compartieron “lecciones aprendidas” y se identificaron nuevos desafíos, moderados por Collin F. Lynch, Tiffany Barnes, Jennifer Albert y Michael Eagle, de la North Carolina State University.

Minería basada en grafos: haz una prueba con las herramientas. (En la biblioteca tienes bibliografía para adentrarte en el mundo de los grafos).

 

Minería de Lenguaje Natural

Scott Crossley exponiendo. CC BY SA

Tutorial de herramientas de Procesado de Lenguaje Natural (NLP) impartido en el pasado congreso de Minería de Datos Educativos celebrado en Madrid por  Scott Crossley, Laura Allen y Danielle McNamara. Pudimos instalarnos, probar herramientas como Coh-metrix, WAT, SiNLP, TAALES , TAACO, y preguntarle dudas a los profesores. Avanzados procesadores de textos en lenguaje natural (inglés, por ahora) capaces de proporcionar analíticas sobre cohesión del texto, sofisticación léxica, complejidad sintáctica o dificultad del texto.

Las aplicaciones son infinitas en minería de datos educativos, pues es a partir de aquí cuando podremos evaluar las opiniones en las redes sociales sobre una publicación, analizar las emociones en el foro asociado a un curso, y predecir así el % de abandonos, realizar resúmenes de páginas y textos web, comprobar citas de nuestros trabajos, garantizar la originalidad de publicaciones o noticias, o programar tutorías automáticas en base a las dudas que aparezcan en los foros y su frecuencia .

¿quieres bajar a la mina de datos? Pruébalo introduciendo un texto en inglés y comprueba los espectaculares datos de salida (http://www.kristopherkyle.com/).

(Citado de:  Crossley, S. A., Allen, L. K., Kyle, K., & McNamara, D.S. (2014). Analyzing discourse processing using a simple natural language processing tool (SiNLP).  Discourse Processes, 51(5-6), pp. 511-534, DOI: 10.1080/0163853X.2014.910723)

EDM MADRID 2015

Se ha celebrado el Congreso de Minería de Datos Educativos (8º EDM),  en MADRID, del 26-29 de Junio de 2015: Ha sido una estupenda oportunidad para conocer el “estado del arte” y las tendencias, conocer Madrid y contactar personalmente con los investigadores de este campo (para mí ha sido emocionante saludar a Cristóbal Romero, Olga Santos, Cristian Mihaescu,…o asistir a los debates junto a Ryan Baker, Peter Brusilovsky, …)  .

IMG_20150626_183637

Luis Von Ahn, de Duolingo. (Foto del autor: CC BY)

La sesión inaugural corrió a cargo de Luis Von Ahn, uno de los creadores de Duolingo, que nos contó cómo fue el proyecto, cómo se apoya en la minería de datos, y cuál puede ser su futuro; además de responder durante una hora las innumerables preguntas de los científicos del congreso.

Entre otros temas de interés, se  trataron:

– Cerrando el bucle entre la investigación  y los resultados educativos.

– Integrando la minería de datos y la teoría pedagógica.

– Minería de datos y entornos pedagógicos emergentes, como los juegos educativos, los MOOCs, y el aprendizaje exploratorio.

– Minería de datos en aprendizaje social y colaborativo.

– Conectando EDM y la analítica de datos de aprendizaje.

– Análisis y seguimiento de resultados de tutorías automáticas.

– Revisión del “estado del arte” en técnicas de análisis de datos, sistemas de recomendación web, análisis de redes sociales, minería de opinión y modelizado del estudiante en educación.

– Entornos de desarrollo genéricos para EDM, técnicas, métodos de investigación y enfoques.

– Obtención de representaciones del dominio del conocimiento a partir de los datos.

Y muchos más…

El evento se celebró a continuación del 17th International Conference on Artificial Intelligence in Education (AIED 2015) , que se realizó los tres días anteriores.

 

¿Cuál es tu Elo en Historia?

 

¿Por qué la mayoría de las evaluaciones de los estudiantes no tienen en cuenta la secuencia temporal de sus calificaciones? En esta ponencia del EDM 2014 nos proponen dos alternativas para evaluar la evolución de la adquisición de habilidades de un estudiante en el tiempo: Tradicionalmente se suele considerar que la adquisición de habilidades sigue un ratio constante en el tiempo, sin embargo, la realidad es otra, y la pérdida de esta información nos impide poder aplicar estrategias pedagógicas diferentes en función de este parámetro.

Este investigador (Pelánek, Radek: Application of Time Decay Functions and the Elo System in Student Modeling) compara la aplicación de dos modelos diferentes a este fin, pero en ambos casos utilizados para medir la evolución: uno muy popular en el mundo del ajedrez de competición, la puntuación Elo, y otro, el uso de funciones decrecientes en el tiempo, ya que cuanto más antiguas son las calificaciones en la adquisición de conocimiento o habilidades, menos relevantes son.

Pero, ¿y el ratio del ajedrez? Este sistema de estimación de la habilidad de los jugadores de ajedrez no responde a ninguna sigla, sino al científico –y jugador de ajedrez- de origen húngaro que lo inveelo3ntó: Árpád Éló. La puntuación Elo de un jugador se calcula a partir de sus resultados contra otros jugadores. La diferencia de la puntuación Elo entre dos jugadores determina una probabilidad estimada de puntuación entre ellos, llamada “puntuación esperada” o expectativa. La puntuación esperada de un jugador es su probabilidad de ganar más la mitad de su probabilidad de hacer tablas.

En el caso del aprendizaje de una materia, se plantea como una partida del estudiante contra la respuesta a un problema de la materia en cuestión, de forma que cuantas más veces se enfrenta a la prueba, menos relevantes son los resultados más antiguos en el tiempo. El resultado se establece en dos estados: APTO/ NO APTO (Gana/ No gana la partida), similares a los del juego.

El sistema Elo incrementa o disminuye el “ratio Elo” de un estudiante dependiendo de que su puntuación obtenida sea superior o inferior a su puntuación esperada. La idea central de este sistema es un ajuste lineal proporcional a la diferencia entre la puntuación esperada y la obtenida por un jugador. El sistema por tanto requiere de un ajuste, llamado “factor K”:  si k es pequeño, la estimación converge muy lentamente, y si es elevado, el sistema es inestable y le da demasiado peso a los valores más recientes.

El estudio con el sistema Elo en el contexto de “respuestas correctas” se ha realizado sobre estudiantes de geografía (nombres de países) . El autor concluye que ambos métodos son flexibles, y sencillos de aplicar en sus ajustes debido a los pocos parámetros. La flexibilidad la proporciona la poca exigencia en cuanto al comportamiento de los estudiantes para la aplicación de los modelos. Las diferencias en la elección del parámetro k  más óptimo parecen tener cierta relación con la velocidad de aprendizaje (grado de conocimiento), aunque  no se puede aún afirmar que sea una relación directa.

La  modelización del aprendizaje del estudiante da así un paso más hacia una valoración  que tiene en cuenta la velocidad de aprendizaje de cada persona . “¿Cuál es tu Elo?”, me preguntó un chaval de unos doce años en el Open de ajedrez que se celebra cada verano en Chipiona (Cádiz, España).  “Pues no lo sé, hace tiempo que dejé la federación. Solo vengo a pasarlo bien jugando al ajedrez” le respondí con una sonrisa, y algo inquieto por el tono serio de la pregunta. Me hizo tablas tras dos horas de partida.

Emociones en un MOOC

Sentiment_analysis_Fantasy_course

¿Qué nos dice el análisis de emociones en los foros de discusión de un Curso Masivo Abierto OnLine (MOOC)? Las medidas realizadas en tres cursos MOOC diferentes sobre el carácter “positivo o negativo” de los comentarios del foro parece ser un buen predictor de los abandonos de los estudiantes, coincidiendo las semanas donde el ratio “emotivo” baja con un mayor número de abandonos.

Para ello, han evaluado tres cursos MOOC diferentes: Un curso de Formación de formadores, otro de Fantasía, y otro de Python. Los investigadores WEN, YANG y PENSTEIN  definen unos ratios individuales de positividad o negatividad de los comentarios, haciendo el cociente del número total de términos positivos dividido por el número total de palabras de cada persona. A partir de este, elaboran el “grado de positividad” como la media de positividad a la que un usuario ha estado expuesto durante una semana.

¿Pero qué palabras son positivas o negativas? Han elaborado una base de datos de términos frecuentes en los tres foros, que han clasificado en función de su carácter, y les ha permitido elaborar este estudio:

 

Palabras_emociones

Palabras clasificadas como “positivas” o “negativas” en cada uno de los tres cursos MOOC estudiados: Formación a formadores, Fantasía y lenguaje Python.

Este tipo de técnicas, ya existentes en el mundo del Marketing para analizar la opinión en las redes sociales, empieza a aplicarse así  en nuestro sector educativo: ¿miden ya las plataformas educativas de formación la opinión de los padres con estas técnicas? Seguramente ya están en ello.