Antonio Matas's List: Evaluacion

• los beneficios que aporta la tecnología a la evaluación son varios, pero el más notable es la fácil admisión y rápido feedback que puede ofrecer al usuario, por tanto facilita el ejercicio de autoevaluaciones,
• dos de las experiencias
• alumnos que han cursado la asignatura de "Investigación Evaluativa"
• de Pedagogía
• En una de las experiencias se empleó un software específico de evaluación a través de Internet, Perception de Question Mark y en la otra manejamos el gestor de evaluación de una plataforma de acceso libre, Moodle
• hemos utilizado dos sistemas cuya diferencia primordial reside en que el primero ha sido creado para tareas eminentemente evaluativas, mientras que en el segundo
• su objetivo principal no es la evaluación, aunque contenga un módulo
• Perception,
• es un programa que permite crear test, encuestas para ser distribuidos por medio de la red,
• participaron 59
• comprobamos en qué manera los procedimientos formativos de evaluación sirven para preparar al estudiante en el aprendizaje autónomo que le permita aprender a aprender

  • Objetivo del estudio
• El objetivo formulado fue demostrar la eficacia de las TICs en la evaluación de los alumnos universitarios.

  • Objetivo del estudio ¿y entonces lo anterior no es un objetivo?
• metodología utilizada fue experimental (Campbel y Stanley, 1978) y el diseño intergrupos con un grupo de control, dos experimentales y un grupo residual, con medida pretest y postest; la composición de los grupos fue la siguiente: 25 sujetos en el grupo control, 16 en el grupo experimental 1 y 18 en el grupo experimental 2.

  • Me parece demasiado diseño para tan poca gente
• se diseñaron tres autoevaluaciones que se desarrollarían de distinta forma según la pertenencia a uno u otro grupo; es decir, los alumnos realizaron evaluaciones formativas periódicas donde recibieron el feedback o retroalimentación pertinente en cada caso, indicándoles el estado de su progreso, ayudándoles a subsanar los errores de aprendizaje, facilitándoles en todo momento la respuesta correcta y la posibilidad de obtener referencias bibliográficas que les ayudasen con sus lecturas a completar sus conocimientos.

  • Feedback:
    - respuesta correcta.
    - referencias bibliográficas para ayudar a corregir los errores.
    - estado de su progreso.
• Vista preliminar de una pregunta. Perception.

  • Se trata de preguntas tipo test.
    Entonces resulta que se trata de la evaluación de siempre, donde se busca identificar el nivel de conocimiento de la persona, pero haciéndola en soporte virtual (en internet)
• Ahora bien, entre los grupos experimentales hubo una clara diferencia en el sistema de autoevaluación, aunque el contenido fue el mismo, el procedimiento para llevarlas a cabo era notoriamente diferente; así, los sujetos del grupo experimental 1, realizaron las autoevaluaciones utilizando como soporte el programa "Perception"; mientras que el grupo experimental 2 desarrolló las autoevaluaciones en formato tradicional, en papel, de tal forma que una de las ventajas para los sujetos del grupo que utilizaba Perception como soporte era que podían repetir los ejercicios de autoevaluación tantas veces como estimasen oportuno, algo impensable para los sujetos del grupo 2 y mucho menos para los alumnos del grupo control que no realizaron ninguna de las autoevaluaciones, como parece obvio para poder comparar posteriormente resultados. Al final de la asignatura todos los alumnos, independientemente del grupo al que perteneciese, realizaron una prueba objetiva sumativa, en formato tradicional, que nos ayudó a contrastar resultados.
   
   Debemos comentar que en la fase inicial (fase pretest) de este estudio se analizaron una serie de variables personales y motivacionales, al igual que el estilo de aprendizaje de los alumnos y sus conocimientos previos, obteniendo como resultados en todas y cada una de ellas la no existencia de diferencia significativa entre los tres grupos de sujetos considerados.

  • ¡El diseño es cuasiexperimental, no experimental!

  • Diseño:
    
    G1: O1 X1 O2
    G2: O3 X2 O4
    GC: O5 -- O6
  • 1 more sticky notes...

  • • Diseño:
      G1: Autoevaluación en papel. No pueden repetir la autoevaluación.
      G2: Autoevaluación con Perception. Pueden repetir la autoevaluación tantas veces como quieran.
      GC: Evaluación final sin autoevaluación.
      Pretest: prueba de conocimiento inicial, más estilos de aprendizaje, motivacionales, y variables personales.
      Postest: evaluación sumativa de ¿conocimientos?
• el grupo experimental 2, (autoevaluaciones papel) pero en este caso influye que los alumnos respondían de forma conjunta ya que realizaron las autoevaluaciones sin ningún control externo que evitase la comunicación entre los alumnos.
   
   Tabla 1. Diferencia de medias en las autoevaluaciones entre los dos grupos experimentales
    

  imagen4

   
   
   Sin embargo, si observamos los datos obtenidos en la prueba objetiva final, la media más elevada se corresponde a los sujetos del grupo experimental 1 (Perception) con una media de 5,78; seguida de la media del grupo experimental 2 (4,93) y por último la media del grupo de control, (5,2). A pesar de estos datos las diferencias no son significativas entre los grupos.

  • Resultados:
    O1=O3=O5
    O2>O4
    O2>O4<O6
    O2>O6
• satisfacción
• el nivel de satisfacción es mayor en los sujetos que tuvieron acceso al software específico de evaluación, Perception.
• Si observamos los resultados de la prueba Scheffé comprobamos que hay diferencias sobre todo en los items 18 "Me he sentido satisfecho realizando esta experiencia" y item 20 "Recomendaría realizar repasos en otras materias" y se dan entre el grupo Exp1 y control. Así el grupo Exp1 se siente más satisfecho de haber realizado la experiencia, que el grupo control, quien afirma en algunos de sus cuestionarios haberse sentido en desventaja por no haber podido tener acceso al sistema Perception.

  • Existe otro ítem (19: creo que he aprendido más que si sólo hubiese estudiado por mi cuenta) que aparece en el anova pero no se ve bien y donde la media es superior al grupo experimental 2. Es curioso esta afirmación porque según entiendo en el texto, el grupo control no tuvo asistencia. Dicho de otra forma, la no autoevaluación ha generado un sentimiento más positivo que el haberlo realizado en papel, con relación a este ítem.
• Otra de las ventajas señaladas, unida a la anterior, es que este sistema aclara dudas a la hora de estudiar la materia y ofrece una explicación del porqué de los errores cometidos. Lógicamente en este aspecto juega un papel fundamental la labor del profesor-tutor que confecciona las pruebas con sus preguntas, respuestas y el feedback para cada una de las opciones planteadas, puesto que si el feedback no se elabora de forma adecuada, el sentido de este programa y de la realización de las autoevaluaciones se pierde. Otra de las ventajas señaladas del programa alude a la posibilidad de repetir las autoevaluaciones tantas veces como el sujeto considere conveniente,
• • Muy importante: El feedback es básico-> El tutor elaboró un feedback para cada opción de respuesta. Fue el feedback lo que garantizaba las orientaciones para el grupo experimental 1.
    El grupo experimental 2 se encontraba en la única desventaja de no repetir al autoevaluación, pero sí recibían las orientaciones adecuadas (feedback).
• • ¿no puede esta repetición generar un aprendizaje de la respuesta correcta pero sin usar las indicaciones en caso de error, ya que las pruebas son tipo test?
• 45 sujetos
• El objetivo planteado fue efectuar un modelo de evaluación formativa o de autoevaluación, con la ayuda del módulo de pruebas de evaluación dentro de una plataforma de docencia online libre (MOODLE)
• El diseño seguido en esta investigación ha sido cuasiexperimental con un grupo experimental y un grupo de control, con medida pretest y postest. El grupo experimental lo constituyeron 28 sujetos y el control 17.
  

  • Diseño.
• pruebas de autoevaluación creadas contienen los mismos ítems que las empleadas en el curso anterior con el software Perception
• tems, con cuatro opciones de respuesta cada uno, siendo tan sólo una de ellas válida.
• Tronco: La evaluación que se realiza de los sujetos a través del test de inteligencia, por ejemplo, sería de tipo:
   Opciones de respuesta:
   a) Criterial
   b) Normativa
   c) Interna
   d) Externa.
   La opción correcta es la b); es decir se trata de una evaluación normativa.
   Feedback que el sistema ofrece a los alumnos es el siguiente: Cuando se le puntúa a un sujeto en un test, se le compara con un grupo de sujetos (población de referencia) de sus mismas características o "grupo normativo", por lo tanto la referencia es normativa.
   

  • Ejemplo de ítem y de feedback para el ítem. El feedback no incorpora orientaciones sobre referencias bibliográficas tal como pensé al leer hasta aquí, sino una explicación de porqué es la opción correspondiente la correcta. Bueno, tampoco está nada mal hacerlo así
• Ejemplo de prueba de autoevaluación, tal y como se presenta a los alumnos

  • ¿Cómo se pone el feedback en la moodle?
• A pesar de observar la existencia de diferencias entre los grupos hemos de afirmar que esta diferencia no es significativa (t =1,016; p=0,316) tomando como referencia un nivel de significación de 0.05

  • ¡NO HAY DIFERENCIAS SIGNIFICATIVAS!. No es extraño, el cambio de soporte NO tiene porqué ser un factor en el proceso, y si antes no había diferencias tampoco las debería haber ahora. Ahora, eso sí, lo extraño y llamativo es que ¡EL GRUPO EXPERIMENTAL NO MEJORA SIGNIFICATIVAMENTE CON RELACIÓN AL GRUPO CONTROL -> ¡¡¡LA AUTOEVALUACIÓN NO MEJORA EL RENDIMIENTO!!!
• odemos añadir que la utilización de la prueba de autoevaluación a través de Internet, mejora los resultados en el rendimiento de los alumnos concretos

  • Sería interesante saber si estas personas son identificables o diferenciables a partir de algún perfil o de alguna variable personal de las utilizadas en el pretest.
• Gracias a estas pruebas de autoevaluación los alumnos confirman que aprender mejor y que dichos instrumentos de evaluación les facilita la comprensión de los conceptos de la materia a la vez que les ayuda a responsabilizarse de su propio aprendizaje, por lo que podemos concluir que estas autoevaluaciones informatizadas se consolidan como un importante instrumento de apoyo al estudio y aprendizaje de los alumnos universitarios.

  • Parece que la autoevaluación mejora la satisfacción, aunque no el rendimiento objetivo.

31 more annotations...

• Se trata de un estudio que trata de ver el potencial de la autoevaluación on-line con relación a la autoevaluación "tradicional" y la falta de autoevaluación.
  Propone dos actividades. En una de ellas utiliza el software Percepton y en el otro la Moodle.
  En ambos casos utiliza diseños cuasiexperimentales, pretest-postest. En el primer caso tiene dos grupos experimentales, el primero con autoeavluación on-line y el segundo en papel. El segundo estudio solamente tiene un grupo experimental y uno control.
  Los resultados principales para mí son los siguientes:
  - La autoevaluación no genera mejoras significativas en ninguno de los estudios y en ninguna de su modalidad.
  - Sólo parecen tener efecto en la satifacción del proceso de enseñanza.
  - Parece importante el proceso de feedback. - Antonio Matas on 2009-05-23