Assessment “Plantas vs Zombies”

Para medir la competencia de resolución de problemas de los estudiantes, los autores de este estudio han utilizado un “diseño basado en la evidencia” con el famoso juego “Plantas contra Zombies 2”.

El proyecto del “assessmentt” comenzó desarrollando un modelo de una de las competencias  más importantes en el entorno profesional: la de Resolución de Problemas, uno de cuyos modelos responde a las siglas de IDEAL: Idenficar problemas y oportunidades, Definir  metas alternativas, Explorar posibles estrategias, Anticipar resultados y dificultades, y finalmente  “mirar atrás” y aprender (“Look back and learn”).

Los buenos juegos “enganchan”; y  esa capacidad de “enganchar” es vital en el aprendizaje. El proceso seguido en la aplicación del juego a este estudio es el siguiente:

Esquema_PlantasVsZombies

1) Los jugadores proporcionan un flujo continuo de datos en el fichero de registros. 2) estos son procesados con el modelo de evidencias de la competencia, 3) el resultado de este análisis son datos que se pasan al modelo de competencias que 4) finalmente proporcionan la estimación del nivel competencial de la persona.

 

(Ejemplos de evaluación basada en evidencias se han realizado también con juegos como Taiga Park , Oblivion, and World of Goo).

Dividieron la competencia en cuatro componentes:

  • análisis de hipótesis y restricciones
  • planificación de un camino hacia la solución
  • uso de herramientas y recursos con eficiencia
  • seguimiento y evaluación de resultados

Después seleccionaron indicadores en el juego que evidenciaran las cuatro componentes en base a su relevancia y viabilidad (32 indicadores), implementados junto al modelo de competencias mediante redes Bayesianas. El  juego “Plantas contra Zombies ”,  se aplicó en una versión 2 modificada: así pudieron contar con la colaboración de Glasslab, que tienen acceso al código fuente, y definir los indicadores a partir del fichero de registros de los jugadores  (Plants vs. Zombies 2 : Popcap Games and Electronic Arts). El resultado final fue comparado con una herramienta del mercado para medir la competencia de Resolución de Problemas (MicroDYN), y se validó el resultado con 10 estudiantes de licenciatura que jugaron durante 90 minutos en la aplicación. La correlación con MicroDYN obtenida fue significativa (r = .74, p = .03). El experimento se está realizando ahora con 200 sujetos para mejorar la significación, pero parece que la línea de investigación muestra la utilidad del modelo.

(Ponencia de SHUTE,V.,  MOORE, G,.  and WANG, L.: Measuring Problem Solving Skills in Plants vs. Zombies 2).

Este enfoque de evaluación  de competencias a través de un juego lo hemos visto en la literatura ( por ejemplo “el Juego de Ender”, de Orson Scott Card), donde a través de juegos van colocando a los estudiantes en situaciones de dificultad creciente, buscando desarrollar -y detectar- habilidades de resolución de problemas y liderazgo, entre otras (assessment). El problema es complejo en sí mismo,  ya que no se trata de entrenar en un entorno libre de riesgo mediante simuladores de una realidad  conocida y simplificada ( muy aplicado, por ejemplo, en formación de postgrado con los “simuladores de negocios”, conocidos como “tycoon” o “business game”), sino que hablamos de utilizar entornos ajenos a la realidad que contribuyan al desarrollo de la competencia.

Detrás de este enfoque, tenemos por otro lado, el problema de la confidencialidad: ¿Están evaluando mis competencias cuando estoy en un videojuego onLine? ¿y si publican o venden los resultados? Leamos la  letra pequeña de los videojuegos…

 

Buscando al “equipo A” de tutores

Un estudiante  retuerce el cable del ratón mientras observa con frustración la pantalla de su ordenador: está en un callejón sin salida en este ejercicio del curso online que realiza, y no está tutorizado!. Se va a la comunidad del curso y busca quien le ayude… Pero no conoce a nadie en esta edición.  En otros cursos ya le pasó: a veces contactas con gente que sabe menos que tú, pero con deseos de chatear. Otras, detectas un estudiante muy solicitado, pero tiene SU grupo, y fuera de él no ayuda. “¿Por qué iba a hacerlo?”-piensa . El hecho es que de todas las personas inscritas, suele haber un cierto número de ellas que están dispuestas a colaborar, bien porque reconocen que es una vía de aprendizaje más, porque creen que si das ejemplo siempre habrá un “quid pro quo”  y te devolverán el favor, por prestigio -karma digital-, o porque sencillamente se lo pasan bien respondiendo preguntas. ¿Pero cómo identificarlos? Le gustaría tener una lista… esa lista de personas dispuestas a ayudarte a salir del atasco, ese “equipo A” de tutores dispuesto a todo. De eso va esta ponencia.

Este equipo de la universidad de Craiova (MIHÂESCU, M.C. , POPESCU, P.S. , IONASCU,C.: “Intelligent Tutor Recommender System for On-Line Educational Environments”) presenta un método de clasificación basado en datos históricos que permitirá a los estudiantes encontrar a los colegas más adecuados que le pueden ayudar en caso de dudas de estudio, proponiéndoles una lista con las personas que están deseosas y disponibles para ayudar. El estudiante que busca la ayuda será consciente de su punto débil, sabrá su posición entre sus compañeros y tendrá una cierta idea de qué aspectos pueden provocarle más problemas de comprensión. Se trata pues de un mecanismo de recomendación.

Fig.1-Popescu_usecase

La figura 1 nos muestra el workflow de datos del mecanismo de recomendación: inicia con una fase de modelización de los estudiantes -que podrán ser también Tutores-, para después proceder a la clasificación por afinidad, basándose en una base de datos históricos de participación en otros cursos.

En cuanto a la tecnología, los autores han utilizado el conocido programa en java WEKA, con el algoritmo J45 de clasificación que genera un árbol de decisión (implementación del algoritmo 4.5 de Weka).

Tenemos pues una aplicación que permite proponer tutores personalizados a cada estudiante, teniendo en cuenta su edad y su conocimiento en las actividades donde necesita mejorar su nivel de aprendizaje, para así tener el feedback más adecuado posible. ¿Eres tú una de esas personas de la “Brigada A” de tutores?