Etiquetado de contenidos

EtiquetadoEn un mundo cada vez más conectado, con acceso a una cantidad de información imposible de leer durante una vida, resulta crítico disponer de herramientas que permitan identificar cuál es más relevante para nuestros propósitos de aprendizaje. Los LCMS (plataformas de gestión de contenidos y aprendizaje online),  y numerosos cursos masivos abiertos online (MOOC) utilizan numerosos recursos digitales como complemento al aprendizaje. Este interesante short paper del 9º Congreso de EDM  nos cuenta cómo un equipo de investigadores de IBM (Divyanshu Bhartiya, Danish Contractor , Sovan Biswas, Bikram Sengupta y Mukesh Mohania ) realizan un algoritmo para trocear textos, y realizar su etiquetado en relación a objetivos de aprendizaje. ¿El sueño de toda biblioteca digital?

Los investigadores aplican un algoritmo de programación dinámica, y lo ponen a prueba aplicándolo sobre  110 documentos científicos etiquetados con 68 objetivos de aprendizaje procedentes de la investigación de D. Contractor, K. Popat, S. Ikbal, S. Negi, B. Sengupta, and M. K. Mohani, sobre Conocimiento Académico y Habilidades (AKS en el paper). El método utilizado se puede describir someramente así: cada frase es transformada en un vector , y los documentos se van segmentando (y convirtiendo en vectores normalizados) en función del grado de similitud que presentan con el vector objetivo, a partir del llamado «coseno de similitud» .

Así, los autores logran etiquetar por semejanzas como la que nos muestran en  la figura:

Ejemplo de etiquetado

Ejemplo de etiquetado de contenidos

Además, para validar el algoritmo, también utlizaron el conjunto de datos disponible en WikiQA, formado por 3047 preguntas procedentes de consultas (querys) en Bing asociadas a párrafos resumidos aparecidos en respuestas procedentes de Wikipedia.

El algoritmo resultante es calificado por los autores como no-supervisado, requiriendo únicamente un pequeño ajuste de parámetros inicial.

Esta aplicación proporciona una primera solución a la compleja tarea de identificar información relevante en lla biblioteca que forma el mar de datos de internet,  y poder transformarla en conocimiento aplicándola adecuadamente a objetivos pedagógicos, gracias a ese «etiquetado» de segmentos de textos.

Tutor automático para aprender a redactar

Wordcloud del post realizado en "R". CC BY de Carlos Delgado

Wordcloud del post realizado en «R». CC BY de Carlos Delgado

¿Podemos formar a futuros Cervantes o Shakespeare mediante un tutor automático? El equipo de la universidad de Arizona sigue investigando las posibilidades de procesar el Lenguaje Natural, y nos sorprende aplicando a los indicadores de la minería de textos un tutor automático capaz de proporcionar consejos para tu mejora en la redacción de ensayos.

Parten de la base de que la comunicación escrita es una habilidad socio-cognitiva compleja de gran importancia para el éxito académico y profesional. El proceso de escritura requiere conocimiento del lenguaje y dominio de las estrategias de comunicación para adaptarlo a las diferentes necesidades de comunicación social.

Pero igualmente complejo es el reto de mejorar estas habilidades teniendo en cuenta que el déficit en comunicación escrita es diferente para cada persona, y requiere atención personalizada difícil de proporcionar en clases presenciales con numerosos estudiantes.

Para remediar este problema se han ido desarrollando las herramientas de “evaluación automática de la escritura” (AWE en su sigla inglesa), capaces de analizar el lenguaje natural de las personas y extraer conclusiones que se puedan procesar para dar recomendaciones.

Los autores (Laura Allen, Matthew Jacovina, Mihai Dascalu, Rod Roscoe, Kevin Kent, Aaron Likens and Danielle McNamara)  indican que en el desarrollo de estas herramientas a menudo se han descuidado los elementos pedagógicos y retóricos, y  citan la falta de sensibilidad con las diferentes audiencias, giros retóricos y procesos de escritura, que han llevado a unos sistemas tutoriales impersonales y poco efectivos.

En esta ponencia examinan la eficacia de medidas del comportamiento, que como indican, son datos accesibles pero raramente archivados y procesados en los sistemas de enseñanza de la habilidad de escritura.

Uno de sus objetivos a  largo plazo es mejorar el sistema tutorial inteligente denominado Writing Pal (W-Pal), que consideran único en su estrategia de formación y en sus variadas oportunidades de práctica (por ejemplo, práctica basada en juegos y práctica en redacción de ensayos). La estrategia de formación se realiza via presentaciones de video en los procesos de escritura básicos: pre-esritura, borrador y revisión.

Estategias de tutoría automática en escrituura

Estategias de tutoría automática en escrituura

El estudio lo han realizado con los datos de tecleo recogidos de 126 licenciados recogidos por su programa «Tutor automático» (W-Pal). Como otros sistemas AWE, W-Pal utiliza herramientas de análisis de lenguaje natural para extraer información lingüística de los ensayos, e implementa diversos algoritmos para evaluar la calidad y guiar la generación de feedback.

Lo más espectacular de este estudio es el grado de tutorización personalizada que proporciona: Ese feedback formativo está diseñado para ser específico (es capaz de referirse a un párrafo determinado), accionable, y alineado con las estrategias de enseñanza de las lecciones. Por ejemplo, estudiantes que envíen ensayos con unas conclusiones pobres, reciben un feedback sobre cómo resumir los puntos claves de la argumentación en el párrafo de conclusiones.

El análisis de texto lo realizan con dos herramientas conocidas  de análisis de lenguaje natural: WAT y Coh-Metrix (Véase referencia a las mismas en el apartado de HERRAMIENTAS ), y seleccionaron cuatro indicadores de dichas herramientas que habían demostrado un buen ajuste teórico a la calidad de la escritura:

  • Frecuencia de Palabras.
  • Complejidad Sintáctica.
  • Diversidad Semántica.
  • Cohesión Semántica Global.

Por otro lado miden indicadores del comportamiento al teclear, donde combinan intervalos de tiempos de «espera» o latencia, (a las que llaman «ventanas temporales»),  con pulsaciones al teclear, y buscan asociarlos con momentos de creatividad, planificación o revisión del texto que están escribiendo. Indicadores de pulsaciones utilizados van desde la «recurrencia media» de eventos dentro de una ventana temporal, hasta una medida de la entropía.

Los investigadores concluyen que a estos indicadores les queda aún mucho margen de mejora, pero son ciertamente un paso importante para aprovechar este tipo de datos para contribuir a un aprendizaje más efectivo mediante el tutor automático.

Si estas aplicaciones identifican patrones, ¿podremos en un futuro cercano realizar informes o comentarios de textos con el estilo de una determinada personalidad literaria o periodística, simplemente seleccionándolo de un menú desplegable? ¿pueden aprender las máquinas la retórica? ¿nos evaluará un programa para acceder a un trabajo midiendo nuestra capacidad de síntesis, velocidad de escritura y riqueza semántica al redactar un memorandum en un idioma?

Montaña rusa emocional

“¿Qué convierte en ‘una experiencia única’ para un niño resolver un problema de matemáticas ?”. Este es el punto de partida del estudio que  nos proponen estos investigadores del Carnegie Mellon . Se trata de buscar la “montaña rusa emocional» que permita automatizar las tutorías onLine para optimizar la «experiencia de usuario» del estudiante, y lograr así que se «enganche» con el curso, y no solo termine, sino que se divierta.  Pone el foco en cómo optimizar la experiencia a través de un apoyo personalizado al estudiante, y sienta unas bases interesantes con su estudio:

Graban 21 sesiones de tutoría durante 3 semanas de una madre con su hijo de 9 años, mientras este resuelve problemas de matemáticas de una conocida competición de Canadá y Estados Unidos (Math Kangaroo). Desde medir cuándo se divierte, cuándo se sorprende, si está confuso o frustrado, … hasta medir el “sharing” o ratio del tiempo que el tutor está hablando(su madre en esta experiencia) vs tiempo que habla el estudiante  durante las conversaciones tomadas en video. (Véase fig.1)

MomSharing

Fig 1: Tiempo compartido

Así, va observando mediante correlación qué porcentaje de «participación tutorial» permite mantener el interés del estudiante (engagement). Véase fig.2. Y construye un modelo predictivo a partir de ello, mediante un análisis pormenorizado de los videos, y cómo pasa de una emoción a otra (mediante grafos).

Fig2: Engagement

Fig2: Grado de compromiso

El reconocimiento de las emociones no es tan fiable como otros parámetros más sencillos de medir, sin embargo a partir de la experiencia han desarrollado un método para caracterizar las dinámicas de comunicación interpersonal y cuantificar la sincronización entre el sistema tutorial TIC y la actividad de la voz.

Asimismo exploran las interacciones y los estados emocionales en el momento de resolver un problema. (ver fig.3). Es aquí donde se «puede planificar» la «montaña rusa emocional» para que el estudiante se enganche con el curso.

Fig.3-GrafoMultimodal

Fig.3-GrafoMultimodal

El estudio (Lujie (Karen) Chen, Xin Li, Zhuyun Xia, Zhanmei Song (Shangdong Yincai) Louis-Philippe Morency and Artur Dubrawski, del Carnegie Mellon)  concluye que han encontrado indicadores fiables para ITC y el reconocimiento de la actividad de la voz, especialmente los relacionados con la detección de la sorpresa y la diversión, siendo menos fiables para un modelo predictivo, por ahora, los detectores de confusión y frustración.

WordCloud del post realizada por el autor con"R"

WordCloud del post realizada por el autor con»R»

Dejan el camino abierto para extender el estudio con otros estudiantes, incorporar otros indicadores como la perseverancia, y explorar otras modalidades diferenciando mensajes verbales y no-verbales.

Buscando al «equipo A» de tutores

Un estudiante  retuerce el cable del ratón mientras observa con frustración la pantalla de su ordenador: está en un callejón sin salida en este ejercicio del curso online que realiza, y no está tutorizado!. Se va a la comunidad del curso y busca quien le ayude… Pero no conoce a nadie en esta edición.  En otros cursos ya le pasó: a veces contactas con gente que sabe menos que tú, pero con deseos de chatear. Otras, detectas un estudiante muy solicitado, pero tiene SU grupo, y fuera de él no ayuda. «¿Por qué iba a hacerlo?»-piensa . El hecho es que de todas las personas inscritas, suele haber un cierto número de ellas que están dispuestas a colaborar, bien porque reconocen que es una vía de aprendizaje más, porque creen que si das ejemplo siempre habrá un «quid pro quo»  y te devolverán el favor, por prestigio -karma digital-, o porque sencillamente se lo pasan bien respondiendo preguntas. ¿Pero cómo identificarlos? Le gustaría tener una lista… esa lista de personas dispuestas a ayudarte a salir del atasco, ese «equipo A» de tutores dispuesto a todo. De eso va esta ponencia.

Este equipo de la universidad de Craiova (MIHÂESCU, M.C. , POPESCU, P.S. , IONASCU,C.: «Intelligent Tutor Recommender System for On-Line Educational Environments») presenta un método de clasificación basado en datos históricos que permitirá a los estudiantes encontrar a los colegas más adecuados que le pueden ayudar en caso de dudas de estudio, proponiéndoles una lista con las personas que están deseosas y disponibles para ayudar. El estudiante que busca la ayuda será consciente de su punto débil, sabrá su posición entre sus compañeros y tendrá una cierta idea de qué aspectos pueden provocarle más problemas de comprensión. Se trata pues de un mecanismo de recomendación.

Fig.1-Popescu_usecase

La figura 1 nos muestra el workflow de datos del mecanismo de recomendación: inicia con una fase de modelización de los estudiantes -que podrán ser también Tutores-, para después proceder a la clasificación por afinidad, basándose en una base de datos históricos de participación en otros cursos.

En cuanto a la tecnología, los autores han utilizado el conocido programa en java WEKA, con el algoritmo J45 de clasificación que genera un árbol de decisión (implementación del algoritmo 4.5 de Weka).

Tenemos pues una aplicación que permite proponer tutores personalizados a cada estudiante, teniendo en cuenta su edad y su conocimiento en las actividades donde necesita mejorar su nivel de aprendizaje, para así tener el feedback más adecuado posible. ¿Eres tú una de esas personas de la «Brigada A» de tutores?

Curvas de Aprendizaje

Para poder desarrollar los Sistemas tutoriales inteligentes (adaptativos) resulta fundamental definir bien el modelo de conocimiento del estudiante: la selección de las tareas y acciones que propondrá el sistema tutorial dependerá del modelo de estudiante, por lo resulta esencial una predicción lo más precisa posible del conocimiento del estudiante, para después programar la parametrización que ajuste el sistema tutorial. Este es el punto de  partida que se plantean estos investigadores en su ponencia al Congreso de EDM de 2104 en Londres. (Käser, Koedinger y  Gross: Different parameters – same prediction: An analysis of learning curves).

En este estudio evalúan las propiedades y parámetros de los diferentes modelos de regresión logística cuando ajustan las curvas de aprendizaje de estudiantes con niveles de conocimiento heterogéneos. La regresión logística se usa en modelos basados en la «teoría de respuesta a una pregunta» – denotada IRT-, que propugna que la respuesta correcta a un item es una función matemática con parámetros  del estudiante  y de la pregunta.

 

Los resultados varían mucho entre modelos, y además entre los parámetros evaluados. El entorno de formación utilizado en este trabajo es el Calcularis, un sistema tutorial para niños con problemas de aprendizaje en matemáticas.

Los tres modelos analizados tienden a sobreestimar el resultado de los estudiantes con un mal desempeño, y subestiman el resultado en los buenos estudiantes. En la figura de cabecera se comparan los residuos de la resta de «resultado estimado – resultado real» de los tres modelos.

Desarrollan un modelo  de regresión logística alternativo al que denominan Modelo Alineado a la Maestria -MA-, que presenta ventajas en el ajuste sobre modelos que solo tienen en cuenta el número de oportunidades, y que se pueden ver influidos por el «desgaste» del estudiante al incrementarse el número de intentos : En la Fig,5 nos muestran cómo ajusta a diferentes parámetros.

CurvaAprendizaje_2

Concluyen en que los diferentes modelos de regresión logística por ahora presentan importantes diferencias en el ajuste paramétrico, pero sin embargo arrojan resultados similares en la precisión de su capacidad predictiva.

Interfaces adaptativos

Desarrollan un  generador adaptativo de Interfaces de usuario según su perfil, su contexto y los formalismos de la HCI (en el Dpto. de Ingeniería de Sistemas de la Pontifica Universidad Javeriana de Bogotá).  Con base en este «framework»  bautizado como TUKUCHIY, -en Quechua-, han desarrollado otra aplicación que presenta contenidos educativos ajustados al estilo y preferencias de cada estudiante (denominada IDUKAY).

Resumen del Modelo de Adaptación

 

Así, el framework es capaz de detectar problemas de visión (tanto en la escala como en los colores, p.e. daltonismo), alterando el entorno para adaptarlo a estos problemas. Después, Idukay agrega al perfil del usuario básico del framework las preferencias y estilo de aprendizaje,obtenidas respondiendo a un test (Felder-Silverman: Learning and Teaching Styles in Engineering Education).

 

Esperamos tener pronto los resultados del protocolo de pruebas que valide si se mejora el rendimiento de los estudiantes con estos desarrollos.

Referencia: Luisa Fernanda Barrera, Nadia Alejandra Mejía-Molina, Angela Carrillo-Ramos, Leonardo Flórez-Valencia. Tukuchiy-Idukay: Generación Dinámica de Interfaces en Contextos Educativos

 

Sistema de Formación Adaptativa

Evaluación  del uso de un Sistema de Aprendizaje Adaptativo basado en estilos cognitivos dependientes/independientes con el modelo de las ocho dimensiones de Felder-Silverman. Tzu-Chi Yang, Gwo-Jen Hwang and Stephen Jen-Hwa Yang aplican el sistema sobre un grupo de 54 participantes asignados aleatoriamente, del cual se extrajo un grupo de control de estudiantes que no utilizó el sistema adaptativo para su aprendizaje, resultando diferencias significativas en favor del que sí  lo utilizó.

 

En este estudio los estilos de aprendizaje se aplican para proporcionar materiales personalizados y la disposición de las presentaciones, mientras que los estilos cognitivos se usan para personalizar el interface de los usuarios y las estrategias de navegación (véase la página de Objetivo del blog).

 

Se describe un Sistema Adaptativo Multidimensional (AMDPC) que consta de cuatro módulos (véase figura destacada del post): el de Generación de contenidos de aprendizaje , el de Presentación Adaptativa (APM), el Módulo de Contenido Adaptativo (ACM) y el módulo de Aprendizaje (LM).

Entorno AMDPC

Muy interesante ver las descripciones de los principales ajustes de que es capaz el ACM.

¿Por qué no se generaliza el uso de estos sistemas si ahorran tiempo a la persona que estudia? De momento nadie parece querer calcular el coste asociado a la formación que obliga a cada estudiante a realizar contenidos que no se adaptan a sus necesidades, multiplicado por el número de estudiantes (habitualmente elevado en eLearning).

Tutorización adaptativa

¿Cómo influyen las ayudas onLine en la forma de resolver problemas de los estudiantes? Las Redes de Interacción son la base para un buen diseño de tutorías automáticas y escaladas, que sientan las bases para el diseño de una tutorización adaptativa, en función del comportamiento del estudiante.

En esta interesante ponencia Michael Eagle and Tiffany Barnes resumen los resultados representando mediante mapas de interacción el uso de las tutorías automáticas por los alumnos, y les permite distinguir el comportamiento de los alumnos al resolver problemas de lógica. Esta técnica les permite una reducción significativa  del espacio necesario para describir una enorme cantidad de datos de la interacción tutor-estudiante.

MapasGuiadosPorDatos (2)

En las flechas se puede ver el número de estudiantes que aplicaron una regla para deducir la proposición siguiente en el problema de lógica. En tres de los enfoques se ve una predilección por resolver con razonamiento «hacia adelante», y no de fin a principio.

Entre las conclusiones, a destacar:

1) Establecen un método para analizar la influencia de las tutorías en la forma aplicar reglas para resolver problemas de lógica.

2) Demuestran que los alumnos que han utilizado determinadas tutorías, han adquirido hábitos al seguir resolviendo problemas sin las mismas.

3) Los alumnos del grupo de control -sin tutorías- demuestran que mantienen los malos hábitos al buscar soluciones en nuevos problemas.

Además, me parece un método ideal para diseñar una tutorización cada vez más adaptativa – y eficiente- orientada a cambiar los hábitos de resolución de problemas de los estudiantes.

Qué es la Minería de Datos Educativos

El aumento de entornos de aprendizaje on-line, incluidos los servicios de bibliotecas web, proporciona una magnífica fuente de datos sobre el comportamiento de los usuarios en este campo. La minería de datos (Web Mining) proporciona interesantes herramientas que permiten investigar patrones de uso de documentos y servicios web, para así mejorar no solo el diseño instruccional, sino la forma en que ponemos a disposición del estudiante web los recursos formativos, tanto formales (dentro de estándares de seguimiento de contenido, como el SCORM o el AICC) como informales (repositorios de contenidos en diversos formatos).

La mejor página web de Minería de Datos Educativos (está en inglés) es http://www.educationaldatamining.org/. He publicado un post que explica más en detalle cómo la minería de datos educativos puede mejorar la educación en el blog «A un clic de las TIC».

¡Anímate a «bajar a la mina de datos educativos» y prueba las herramientas!