Areas Temáticas


     
Areas Temáticas > Docencia  
 
Tema Libre
 
Final Post-Degree Practice and Theory Evaluation through the Internet
Práctica y evaluación teórica final de posgrado a través de Internet
 
Anabel Rosa Merlini1,2 Armando Pacher1,2 Roberto Lombardo1,2 Raúl Ortego1,2,3.
1. Federación Argentina de Cardiología. CETIFAC. Secretaría de Informática Médica.
Paraná. Entre Ríos. Argentina
2. Facultad de Ingeniería - Bioingeniería. Univ. Nacional de Entre Ríos. D. Biológico - Fisiopatología.
Paraná. Entre Ríos. Argentina
3. Facultad de Ciencias Médicas. Univ. Nacional de Cuyo. Dto. de Medicina Interna - Area Cardiología.
Mendoza. Argentina
 
 

SUMMARY
Introduction: The Theory Stages (TS) of certification tests (CT) of medical specialties are usually made by multiple choice questions (MCQ), underusing standards in the methodologies used, which may interfere with the goals of these tests for results.
Objectives: To generate an MCQ system in the Moodle (M) platform for CT on cardiology that allows prior practicing (PP) on the Internet.
Material and methods: 70 questionnaires (Q) were prepared in M, configured in 12 thematic modules (TM) with 1.350 MCQ to study, each with positive and negative feedback (F) and to perform CT with PP. The bibliography mentioned for questions, F and support glossary were easily accessible texts. The innovation was a Q configured of 60 MCQ, randomly taken (R) from the set of 1.350, enabling in PP and CT a different Q in each attempt, with fixed ratios (FR) of TM: 23% risk factors and atheromatosis, 17% heart failure, 10% cardiomyopathies, 8% arrhythmias, 7% valvular heart diseases, 7% pulmonary hypertension, 7% pulmonary thromboembolism, 5% endocarditis, 6% cardiological interconsultations, 3% congenital heart disease in adults, 2% cardiovascular physiology. The PP allowed to leave the Q open and fulfill it over several sessions. The Q of the CT was randomized, automatically corrected and different for each applicant (A), and was approved with 60% of correct answers, in 60 min at most.
Results: There were 13,993 accesses with 7,216 entrances to the Q from the TM. 29 A for each CT made 327 PP of the CT with 11 attempts per A, average mark (AM) 77.4% (range 35-100), minimal duration (D) of PP approved, 11 min. The CT was made in person, online, as qualifying TS prior to a clinical test, with 27 A that underwent the test simultaneously; AM 85.7% (range 56.7%-100%; 1 failed, 2 with 100%), average D of 35 min (range 19-55).
Conclusions: This method in M, adding R MCQ from the TM with FR for PP and CT, was satisfactory since the AM of the CT was close to the upper limit of the training range and the average D was close to half of the limit time.

RESUMEN
Introducción: Las instancias teóricas (IT) de exámenes para certificación (EC) de especialidades médicas suelen realizarse con preguntas de respuestas múltiples (PRM) subutilizando estándares en las metodologías empleadas lo cual puede interferir con los objetivos de estos exámenes por resultados.
Objetivos: Generar un sistema de PRM en la plataforma Moodle (M) para EC de cardiología que permita prácticas previas (PP) por Internet.
Material y métodos: Se elaboraron en M 70 cuestionarios (C) configurados en 12 módulos temáticos (MT) con 1350 PRM para estudiar, c/u con realimentación (R) positiva y negativa y para realizar EC con PP. La bibliografía referida para preguntas, R y glosario de apoyo, fueron textos de amplio acceso. Se innovó configurando un C de 60 PRM tomadas aleatoriamente (AL) del total de 1350, lo que permitió en PP y EC un C diferente en cada intento, con proporciones fijas (PF) de los MT: 23% factores de riesgo y ateromatosis, 17% insuficiencia cardíaca, 10% miocardiopatías, 8% arritmias, 7% valvulopatías, 7% hipertensión pulmonar, 7% tromboembolismo pulmonar, 5% endocarditis, 6% interconsultas cardiológicas, 3% cardiopatía congénita en adultos, 2% fisiología cardiovascular. Las PP permitían dejar abierto el C y completarlo en varias sesiones. El C del EC, aleatorio, de corrección automática y diferente para cada aspirante (A), se aprobaba con 60% de respuestas correctas, en un máximo de 60 min.
Resultados: Hubo 13.993 accesos con 7.216 ingresos a C de los MT. 29 A para EC realizaron 327 PP del EC con 11 intentos por A, nota promedio (NP) 77.4% (rango 35-100), duración (D) mínima de PP aprobadas: 11 min. El EC se realizó presencial online, como IT eliminatoria previa a un examen clínico, con 27 A que rindieron en forma simultánea; NP 85.7% (rango 56.7%-100%; 1 reprobado, 2 con 100%), D media de 35 min (rango 19-55).
Conclusiones: Este método en M, incorporando AL PRM desde MT con PF para PP y EC, fue satisfactorio ya que la NP del EC se acercó al límite superior del rango del entrenamiento y la D media estuvo próxima a la mitad del tiempo límite..

 
 

INTRODUCCION
Las instancias teóricas de exámenes para certificación de especialidades médicas suelen realizarse con preguntas de respuestas múltiples. Con frecuencia se observa la subutilización de estándares en las metodologías empleadas para la redacción de las preguntas, lo cual puede interferir con los objetivos de estos exámenes por resultados. Además, la amplia dispersión de los enfoques pedagógicos hace que a menudo estas preguntas  sean difíciles de interpretar. Una manera de disminuir las dificultades inherentes a la metodología y no al nivel de conocimientos específicos de la especialidad podría ser el  permitir a los postulantes realizar prácticas previas a fin de familiarizarse con la forma en que están redactadas las preguntas, incluyendo la posibilidad de conocer y consultar las fuentes bibliográficas empleadas para su redacción. Existen plataformas educativas que funcionan a través de Internet que pueden ser empleadas con tal fin. Una de éstas es Moodle, acrónimo de Modular Object-Oriented Dynamic Learning Environment, sistema de gestión de cursos de aprendizaje en ambientes virtuales, que es empleado por la Federación Argentina de Cardiología - FAC a través de CETIFAC desde 2006 [1-6].


OBJETIVOS
Generar un sistema de preguntas de respuestas múltiples en Moodle para evaluación de conocimientos en cardiología que pueda ser utilizado como herramienta de práctica a distancia mediante autoevaluaciones tanto en forma libre como por parte de postulantes para exámenes de certificación de la especialidad y como plataforma para examen teórico presencial, que incluya las fuentes bibliográficas y glosario de temas.


MATERIAL Y METODOS
Se generó en el campus virtual de FAC www.fac.org.ar/campus un sector denominado “Autoevaluaciones en Fisiopatología y Clínica Cardiovascular” [7], que fue dividido en “Material de apoyo”, “Cuestionarios para reforzar el aprendizaje” y “Examen de Certificación”.

Para los “Cuestionarios para reforzar el aprendizaje” fueron generadas 1350 preguntas de respuesta múltiple que fueron distribuidas en 70 cuestionarios. Las preguntas correspondieron a 12 módulos temáticos, los que se muestran en el Cuadro I (se pueden ver en www.fac.org.ar/material/curso088/ los contenidos desglosados).

Cuadro I: Módulos temáticos
Recuerdos de Fisiología
Insuficiencia Cardíaca
Aterosclerosis
Miocardiopatías y Pericardiopatías
Valvulopatías
Endocarditis infecciosa
Hipertensión Arterial
Hipertensión Pulmonar
Tromboembolismo Pulmonar
Arritmias
Cardiopatías Congénitas en Adultos
Interconsultas a Cardiología

Estos cuestionarios se diseñaron utilizando rutinas de Moodle, permitiendo infinitos intentos de respuestas con evaluación inmediata. Para la mayoría de las opciones de respuestas, tanto correctas como incorrectas, se redactaron comentarios de realimentación, mediante los cuales se reafirman los conocimientos o se orienta para su corrección. Se tiene la opción disponible de visualizar una nota final de los cuestionarios, pero se desalienta en esta instancia el poner atención en una nota final, por cuanto se incentiva al cursante a analizar los comentarios de las opciones dudosas o erróneas.

Para los aspirantes a la acreditación como especialistas en cardiología se innovó en Moodle configurando cuestionarios con preguntas tomadas en forma aleatoria del total de 1350 con la característica de ser un conjunto diferente en cada intento. Los cuestionarios se generan con 60 preguntas cuya distribución mantiene proporciones fijas de los módulos temáticos (fig. 1).

f1

Fig. 1. Distribución porcentual de preguntas por área temática.

Un mes previo al examen referido se ofreció a los aspirantes el cuestionario de los aspectos teóricos que deberían rendir, con la metodología que tendrían en el examen real: 60 preguntas que debían contestarse en un máximo de 60 minutos y se aprobaba contestando correctamente un 60% de las preguntas (36 preguntas). La aleatoriedad de la construcción permitía que los cursantes pudieran rendir el examen tantas veces como quisiesen durante el lapso de su preparación; en cada ocasión se conformaba un examen diferente al previo, repitiéndose ocasionalmente alguna pregunta, pero con una probabilidad bajísima de que todo el examen fuese exactamente igual. La modalidad de construcción implicaba que cada aspirante tendría en el momento del examen final “su” propio examen.


RESULTADOS
Los intentos previos al examen final a los cuestionarios programados para aprendizaje con autoevaluación y retroalimentación (respuestas comentadas) fueron 100 con un promedio de 5 intentos / aspirante. Los intentos previos al examen con formato idéntico al que sería tomado como examen teórico para la acreditación fueron 327 con un promedio de 11 intentos por aspirante; con una nota promedio de todos los intentos de 77.4% y un rango de 35% a 100%. No fue calculada la duración promedio por cuanto fue frecuente que los aspirantes dejaban el examen “abierto” y lo completaban en varias sesiones (más de un día entre ingreso y finalización); el mínimo tiempo registrado para exámenes de  entrenamiento aprobados fue de 11 minutos.
 
El examen final, efectivo para la acreditación, se rindió a través de Moodle en forma presencial y simultánea, bajo la supervisión personal del Comité de Docencia de FAC y miembros de CETIFAC durante el XXXI Congreso Nacional de Cardiología de FAC, en el Area Multimedial. Se inscribieron 27 aspirantes, a quienes se invitó a a rendir con sus propias computadoras, previendo utilizar las computadoras del área para quienes no dispusiesen de ellas. Se citó a los aspirantes el día previo al examen para verificar la operatividad de las conexiones WiFi simultáneas, el acceso al Campus Virtual y al sector de los exámenes. El examen se realizó, conforme a lo programado, a las 12:30 hs del 31/05/2013.

La nota promedio fue de 85,7%, con un rango de 57,7% a 100%. Resultó reprobado un aspirante (56,7%) y dos obtuvieron un 100% (fig.2). La duración promedio del examen final fue 35 minutos con un rango de 19 a 55 minutos. Cuatro aspirantes debieron ingresar dos veces a rendir (conforme al diseño tuvieron 2 exámenes diferentes cada uno de ellos) por cuanto al momento de cerrar el examen para obtener la nota final su computador se desconectó de Internet. La conectividad mostró enlentecimiento al momento de las conexiones simultáneas dado que el horario elegido coincidió con el de máxima concurrencia al congreso.

f2

Fig. 2: Resultados del examen presencial, n=27.

CONCLUSIONES
La elaboración de un examen tipo “examen por resultados” en la plataforma Moodle incorporando aleatoriamente preguntas desde módulos temáticos con “categorías” y “subcategorías”, con posibilidades de ser empleado para prácticas y en el examen final satisfizo los objetivos planteados. El entrenamiento previo con el formato final se interpretó como satisfactorio dado que la nota promedio del examen final se acercó al límite superior del rango del entrenamiento, y que la duración del mismo se acercó al rango inferior de las prácticas.

 
BIBLIOGRAFIA
  1. Ortego, R; Pacher, A; Lombardo, R. La Implementación de la Plataforma Moodle en la Federación Argentina de Cardiología: Facilidades y Dificultades. XXV Congreso Nacional de Cardiología, abril 29-30, mayo 1, 2007. Mendoza, Argentina.
  2. Pacher, A; Ortego, R; Lombardo, R; Ceballos, M; Lell, G; Magariños, E. Adaptaciones de la plataforma educativa Moodle al Foro de Educación Continua de la Federación Argentina de Cardiología. XXV Congreso Nacional de Cardiología, abril 29-30, mayo 1, 2007. Mendoza, Argentina.
  3. Ortego, R; Pacher, A; Berman, S; Bertuzzi, T; Carli, A; Kennel, B; Lombardo, R; Luciardi, H; Nanfara, S. Ambientes Virtuales de Aprendizaje en la Federación Argentina de Cardiología: la Experiencia del Primer Año. XXV Congreso Nacional de Cardiología, abril 29-30, mayo 1, 2007. Mendoza, Argentina.
  4. A. Pacher, R. Lombardo, R. Ortego, E. Schapachnik, S. Eskenazi, S. Nanfara, J. Sanagua, M. Heñin, S. Berman. Continuous Activity in Telemedicine Focused on Teaching Cardiology. XVI World Congress of Cardiology. Buenos Aires, Argentina. Circulation Vol117 No19 May 13, 119. Circulation 2008 0: CIRCULATIONAHA.108.189874-
  5. R. Ortego, A. Pacher, S. Berman, T. Bertuzzi, A. Carli, B. Kennel, R. Lombardo, S. Nanfara. Postgraduate and Systematic Distance Learning Experience in Cardiology. XVI World Congress of Cardiology. Buenos Aires, Argentina. Circulation Vol117 No19 May 13, 118. Circulation 2008 0: CIRCULATIONAHA.108.189874-.
  6. Pacher A. Medical Informatics at Distance: Continuous Learning in Cardiology. Symposium: Medical Informatics: Applications in Cardiology. XVI World Congress of Cardiology. Buenos Aires, Argentina. 2008.
  7. Raúl Ortego, Armando Pacher. “Autoevaluaciones en Fisiopatología y Clínica Cardiovascular” www.fac.org.ar/moodle/course/view.php?id=88
 
 
Publicación: Septiembre 2013
 

 

Preguntas, aportes y comentarios serán respondidos
por los autoresés de la lista de Cardio-L.
Llene los campos del formulario y oprima el botón "Enviar".
Ver mensajes



Formulario desactivado

30/11/2013

Preguntas, aportes o comentarios
Nombre y apellido:

Direccion de email:
Confirmacion de email:

     
 
 
Publicidad
 
 
Congreso Libre
de Humo de Tabaco