Entradas

Assessment “Plantas vs Zombies”

Para medir la competencia de resolución de problemas de los estudiantes, los autores de este estudio han utilizado un «diseño basado en la evidencia» con el famoso juego “Plantas contra Zombies 2”.

El proyecto del «assessmentt» comenzó desarrollando un modelo de una de las competencias  más importantes en el entorno profesional: la de Resolución de Problemas, uno de cuyos modelos responde a las siglas de IDEAL: Idenficar problemas y oportunidades, Definir  metas alternativas, Explorar posibles estrategias, Anticipar resultados y dificultades, y finalmente  “mirar atrás” y aprender (“Look back and learn”).

Los buenos juegos “enganchan”; y  esa capacidad de “enganchar” es vital en el aprendizaje. El proceso seguido en la aplicación del juego a este estudio es el siguiente:

Esquema_PlantasVsZombies

1) Los jugadores proporcionan un flujo continuo de datos en el fichero de registros. 2) estos son procesados con el modelo de evidencias de la competencia, 3) el resultado de este análisis son datos que se pasan al modelo de competencias que 4) finalmente proporcionan la estimación del nivel competencial de la persona.

 

(Ejemplos de evaluación basada en evidencias se han realizado también con juegos como Taiga Park , Oblivion, and World of Goo).

Dividieron la competencia en cuatro componentes:

  • análisis de hipótesis y restricciones
  • planificación de un camino hacia la solución
  • uso de herramientas y recursos con eficiencia
  • seguimiento y evaluación de resultados

Después seleccionaron indicadores en el juego que evidenciaran las cuatro componentes en base a su relevancia y viabilidad (32 indicadores), implementados junto al modelo de competencias mediante redes Bayesianas. El  juego “Plantas contra Zombies ”,  se aplicó en una versión 2 modificada: así pudieron contar con la colaboración de Glasslab, que tienen acceso al código fuente, y definir los indicadores a partir del fichero de registros de los jugadores  (Plants vs. Zombies 2 : Popcap Games and Electronic Arts). El resultado final fue comparado con una herramienta del mercado para medir la competencia de Resolución de Problemas (MicroDYN), y se validó el resultado con 10 estudiantes de licenciatura que jugaron durante 90 minutos en la aplicación. La correlación con MicroDYN obtenida fue significativa (r = .74, p = .03). El experimento se está realizando ahora con 200 sujetos para mejorar la significación, pero parece que la línea de investigación muestra la utilidad del modelo.

(Ponencia de SHUTE,V.,  MOORE, G,.  and WANG, L.: Measuring Problem Solving Skills in Plants vs. Zombies 2).

Este enfoque de evaluación  de competencias a través de un juego lo hemos visto en la literatura ( por ejemplo «el Juego de Ender», de Orson Scott Card), donde a través de juegos van colocando a los estudiantes en situaciones de dificultad creciente, buscando desarrollar -y detectar- habilidades de resolución de problemas y liderazgo, entre otras (assessment). El problema es complejo en sí mismo,  ya que no se trata de entrenar en un entorno libre de riesgo mediante simuladores de una realidad  conocida y simplificada ( muy aplicado, por ejemplo, en formación de postgrado con los «simuladores de negocios», conocidos como «tycoon» o «business game»), sino que hablamos de utilizar entornos ajenos a la realidad que contribuyan al desarrollo de la competencia.

Detrás de este enfoque, tenemos por otro lado, el problema de la confidencialidad: ¿Están evaluando mis competencias cuando estoy en un videojuego onLine? ¿y si publican o venden los resultados? Leamos la  letra pequeña de los videojuegos…

 

¿Cuál es tu Elo en Historia?

 

¿Por qué la mayoría de las evaluaciones de los estudiantes no tienen en cuenta la secuencia temporal de sus calificaciones? En esta ponencia del EDM 2014 nos proponen dos alternativas para evaluar la evolución de la adquisición de habilidades de un estudiante en el tiempo: Tradicionalmente se suele considerar que la adquisición de habilidades sigue un ratio constante en el tiempo, sin embargo, la realidad es otra, y la pérdida de esta información nos impide poder aplicar estrategias pedagógicas diferentes en función de este parámetro.

Este investigador (Pelánek, Radek: Application of Time Decay Functions and the Elo System in Student Modeling) compara la aplicación de dos modelos diferentes a este fin, pero en ambos casos utilizados para medir la evolución: uno muy popular en el mundo del ajedrez de competición, la puntuación Elo, y otro, el uso de funciones decrecientes en el tiempo, ya que cuanto más antiguas son las calificaciones en la adquisición de conocimiento o habilidades, menos relevantes son.

Pero, ¿y el ratio del ajedrez? Este sistema de estimación de la habilidad de los jugadores de ajedrez no responde a ninguna sigla, sino al científico –y jugador de ajedrez- de origen húngaro que lo inveelo3ntó: Árpád Éló. La puntuación Elo de un jugador se calcula a partir de sus resultados contra otros jugadores. La diferencia de la puntuación Elo entre dos jugadores determina una probabilidad estimada de puntuación entre ellos, llamada «puntuación esperada» o expectativa. La puntuación esperada de un jugador es su probabilidad de ganar más la mitad de su probabilidad de hacer tablas.

En el caso del aprendizaje de una materia, se plantea como una partida del estudiante contra la respuesta a un problema de la materia en cuestión, de forma que cuantas más veces se enfrenta a la prueba, menos relevantes son los resultados más antiguos en el tiempo. El resultado se establece en dos estados: APTO/ NO APTO (Gana/ No gana la partida), similares a los del juego.

El sistema Elo incrementa o disminuye el “ratio Elo” de un estudiante dependiendo de que su puntuación obtenida sea superior o inferior a su puntuación esperada. La idea central de este sistema es un ajuste lineal proporcional a la diferencia entre la puntuación esperada y la obtenida por un jugador. El sistema por tanto requiere de un ajuste, llamado «factor K»:  si k es pequeño, la estimación converge muy lentamente, y si es elevado, el sistema es inestable y le da demasiado peso a los valores más recientes.

El estudio con el sistema Elo en el contexto de «respuestas correctas» se ha realizado sobre estudiantes de geografía (nombres de países) . El autor concluye que ambos métodos son flexibles, y sencillos de aplicar en sus ajustes debido a los pocos parámetros. La flexibilidad la proporciona la poca exigencia en cuanto al comportamiento de los estudiantes para la aplicación de los modelos. Las diferencias en la elección del parámetro k  más óptimo parecen tener cierta relación con la velocidad de aprendizaje (grado de conocimiento), aunque  no se puede aún afirmar que sea una relación directa.

La  modelización del aprendizaje del estudiante da así un paso más hacia una valoración  que tiene en cuenta la velocidad de aprendizaje de cada persona . «¿Cuál es tu Elo?», me preguntó un chaval de unos doce años en el Open de ajedrez que se celebra cada verano en Chipiona (Cádiz, España).  «Pues no lo sé, hace tiempo que dejé la federación. Solo vengo a pasarlo bien jugando al ajedrez» le respondí con una sonrisa, y algo inquieto por el tono serio de la pregunta. Me hizo tablas tras dos horas de partida.

«Assessment» basado en Juegos

A partir de la forma en que toman decisiones los alumnos durante un juego, los investigadores Chi, Min , Schwartz, Daniel L. , Pilner Blair,Kristen y Chin, Doris B. analizan en esta ponencia del EDM 2014 si puede ser un buen predictor de su desempeño en la asignatura de Matemáticas. La forma de jugar de los estudiantes, algunos sencillamente haciendo prueba y error, y otros buscando pautas escondidas que les pudieran proporcionar una táctica en el juego, lo asocian con el modo de estudio que posiblemente tienen estos estudiantes al abordar las Matemáticas. El juego, basado en un simulador de mezcla de colores, requiere sin duda competencias muy correlacionadas con el razonamiento, la capacidad de abstracción y la lógica, por lo que las conclusiones estadísticas son intuitivas.

AssessmentJuegos2

Lo más interesante son dos puntos:
– El dispositivo de toma de datos asociado al juego, que da pie a investigar más aplicaciones no tan evidentes.
– El alegato final cuestionando una práctica muy extendida de «predecir» el desempeño de las personas basándose en un assessment tipo test, no siempre bien calibrado debido al elevado coste, y proponiendo esta alternativa como una opción más eficiente (también requerirá el rigor de calibración de un test).