Manual De Orientación De EHDI - Capítulo 6: Monitoreo Y Evaluación

2023 Autor: Stephanie Arnold | [email protected]. Última modificación: 2023-09-26 03:22

Objetivos del capítulo

Este capítulo te ayudará a

• Comprender la importancia de una evaluación EHDI-IS;
• Identificar los pasos clave para desarrollar e implementar planes de evaluación; y
• Comprender la diferencia entre monitoreo y evaluación.

El uso práctico de la evaluación de programas entre los programas EHDI

El objetivo de este capítulo es ayudar a fortalecer la comprensión sobre cómo el personal puede usar la evaluación para monitorear y evaluar el Sistema de Información EHDI de su programa (EHDI-IS) e integrar esto en la práctica rutinaria del programa. Este capítulo ilustrará cómo planificar las actividades de evaluación, independientemente del tipo y la etapa de desarrollo del sistema implementado. Está destinado a servir como un recurso para ayudar a aquellos que son responsables de llevar a cabo la evaluación y a todos los interesados que estén interesados en los resultados de la evaluación. Este capítulo se basa en el Marco de los CDC para la evaluación de programas y las Pautas actualizadas para evaluar los sistemas de vigilancia de salud pública.

¿Por qué evaluar su EHDI-IS?

La evaluación es esencial para la salud pública con el fin de mejorar los programas y proporcionar responsabilidad a los responsables políticos y otras partes interesadas. Las pautas completas para evaluar los sistemas de vigilancia de salud pública se publicaron en el Informe semanal de morbilidad y mortalidad (MMWR) de los CDC (27 de julio de 2001). Este MMWR fue desarrollado para promover el mejor uso de los recursos de salud pública mediante el desarrollo de sistemas de vigilancia de salud pública eficientes y efectivos.

La integración de la evaluación en las actividades de rutina para el EHDI-IS puede ayudar a garantizar que

• Los datos recopilados y documentados son de alta calidad y describen las verdaderas características de la evaluación auditiva, diagnóstico y estado de intervención temprana del recién nacido. Esto da como resultado datos que son precisos, completos, consistentes, puntuales , únicos y válidos.
• Cada EHDI-IS jurisdiccional tiene la aceptabilidad, flexibilidad, simplicidad y estabilidad necesarias para recopilar datos, y el sistema puede ser operado por usuarios y reporteros.
• Cada jurisdicción tiene un EHDI-IS útil para apoyar: (a) el seguimiento de bebés y niños pequeños durante todo el proceso de EHDI; y (b) conectar a los bebés y niños pequeños sordos y con problemas de audición con los servicios que necesitan.
• Los recursos para apoyar y mantener EHDI-IS se están utilizando de manera efectiva.

Evaluación

La evaluación del programa es "la recopilación sistemática de información sobre las actividades, características y resultados de los programas para emitir juicios sobre el programa, mejorar la efectividad del programa y / o informar decisiones sobre el desarrollo futuro del programa".

La evaluación puede tomar muchas direcciones diferentes, pero siempre responde a las necesidades del programa, así como a las de sus partes interesadas y recursos.

Propósito de la evaluación

A través de la evaluación, los miembros del equipo pueden identificar qué está funcionando bien o mal, si se están logrando los objetivos, y proporcionar evidencia para recomendaciones sobre qué se puede cambiar para ayudar al sistema a cumplir mejor sus objetivos. El uso de los resultados de la evaluación y el intercambio de lecciones aprendidas conducirán a los programas EHDI a mejorar su éxito.

Es un error común pensar que la evaluación es algo que usted planifica y realiza al final de un proyecto. Las evaluaciones están diseñadas para hacer una de dos cosas o una combinación de ambas: ya sea para mejorar aspectos de su sistema o para demostrar o demostrar que el sistema está alcanzando los resultados previstos. Establecer un propósito claro de la evaluación desde el principio reducirá los malentendidos y ayudará a considerar cómo se utilizarán los resultados de la evaluación.

A menudo, se realiza una evaluación porque las agencias de financiación lo requieren o por los intereses del personal del programa y de las partes interesadas de la jurisdicción. En ambos casos, el propósito de la evaluación puede incluir la siguiente información:

• ¿Qué se esfuerza por lograr esta evaluación?
• ¿Cuál es el propósito de esta evaluación?
• ¿Cómo se utilizarán los resultados de la evaluación?

Una guía práctica para el proceso de evaluación, que utiliza ejemplos del mundo real del EHDI-IS, se titula Planificación de la evaluación de su EHDI-IS. ícono de pdf [PDF - 518KB] Independientemente del propósito de la evaluación, hay pasos críticos a seguir para responder adecuadamente. En este capítulo, la evaluación de un EHDI-IS se divide en seis pasos:

1. Involucrar a los interesados
2. Describa el programa.
3. Enfocar el diseño de la evaluación.
4. Reúna evidencia creíble
5. Justificar conclusiones
6. Asegure el uso y comparta las lecciones aprendidas

1. Involucre a sus partes interesadas

Los pasos iniciales en la evaluación son la formación de un equipo de evaluación y la participación de las partes interesadas. Los interesados en la evaluación son aquellos que tienen un interés en la evaluación y pueden usar sus resultados de alguna manera (los involucrados, los afectados y los principales usuarios previstos de la evaluación). La realización de una evaluación de un EHDI-IS requiere tanto el conocimiento de la evaluación como una comprensión profunda de los programas de EHDI. El personal y los evaluadores jurisdiccionales del programa EHDI trabajarán juntos para producir evaluaciones que mejor se adapten a su programa y responder a las preguntas de evaluación con evidencia creíble.

El enfoque preferido es que el equipo de evaluación incluya personal interno de EHDI, partes interesadas externas y posiblemente consultores o contratistas con experiencia en evaluación. Un líder de evaluación debe involucrar a las partes interesadas, coordinar el equipo y mantener la continuidad durante todo el proceso.

¿Por qué los interesados?

Las partes interesadas pueden ser extremadamente valiosas durante todo el proceso de evaluación y es importante involucrarlas temprano y con frecuencia, especialmente en las etapas de planificación de la evaluación. Los malentendidos sobre la evaluación y las barreras para el uso productivo de los resultados de la evaluación pueden evitarse o reducirse cuando las partes interesadas del programa se incluyen en discusiones clave en varios puntos a lo largo del ciclo de vida de la evaluación.

La participación de los interesados también es importante para una evaluación porque esto

• Asegura la transparencia;
• Aumenta la calidad, el alcance y la profundidad de las preguntas;
• Facilita el proceso de evaluación;
• Reconoce el contexto político de la evaluación;
• Desarrolla la capacidad de evaluación; y
• Fomenta las relaciones y la colaboración.

El sistema EHDI involucra a múltiples partes interesadas, incluidos hospitales, audiólogos, hogares médicos, programas de intervención temprana, departamentos de salud estatales y otros. Algunos de los interesados pueden ser relevantes para la evaluación del EHDI-IS en su jurisdicción y otros pueden no serlo. Solo usted y el personal de su programa pueden decidir qué partes interesadas deberían participar, según el tipo y la etapa de la evaluación.

¿Cómo involucrar a las partes interesadas en la evaluación?

• Invite a las partes interesadas a discutir preguntas de evaluación y el propósito de la evaluación.
• Discuta con las partes interesadas qué evidencia se consideraría creíble y cualquier posible limitación de la evaluación.
• Involucrar a las partes interesadas (por ejemplo, a través de reuniones, teleconferencias, llamadas telefónicas y correos electrónicos).
• Mantenga a los interesados informados sobre el progreso de la evaluación.
• Incluya a las partes interesadas en el desarrollo de recomendaciones para su programa basadas en los resultados de la evaluación.

¿Los miembros del equipo y las partes interesadas están demasiado ocupados para la evaluación?

Una buena evaluación requiere una combinación de habilidades que rara vez se encuentran en una sola persona. La buena noticia es que no será necesario que todos cometan la misma cantidad de tiempo. Puede invitar a las partes interesadas a discusiones clave en varios puntos a lo largo del ciclo de vida de una evaluación. A menudo, un pequeño equipo de evaluación involucrado y comprometido en el proceso de evaluación puede ser una forma efectiva de mantener el proceso en funcionamiento

Cuando se han identificado las partes interesadas clave, el siguiente paso es proporcionarles una descripción del Sistema de Información de EHDI que se está evaluando que incluya todos los componentes del sistema.

2. Describa su EHDI-IS

El segundo paso en el marco de evaluación de los CDC es describir su EHDI-IS. Este paso muy importante garantiza que el personal del programa, el evaluador y otras partes interesadas compartan una comprensión clara de lo que implica el EHDI-IS y cómo se supone que debe funcionar el sistema.

Tienes la oportunidad de describir

• La necesidad del EHDI-IS;
• La etapa de desarrollo;
• Los recursos utilizados para operarlo;
• Las estrategias y actividades que usted cree conducen a su desarrollo y mantenimiento; y
• El contexto social y político en el que se implementa el sistema.

Una vez que se han identificado todos los componentes del sistema, una representación gráfica puede ayudar a resumir las relaciones entre esos componentes.

Describiendo su sistema de información utilizando modelos lógicos

Un modelo lógico es una representación gráfica simplificada de su sistema. Los modelos lógicos son herramientas comunes que el personal de EHDI puede usar para fines de planificación, implementación, evaluación y comunicación. El desarrollo de un modelo lógico puede ayudar a obtener claridad sobre la relación entre las actividades y sus resultados previstos. Un modelo lógico incluye cuatro componentes: entradas, estrategias o actividades, productos y resultados.

Entradas

Los insumos son los recursos que ingresan al sistema y ayudan a determinar la cantidad y el tipo de actividades que pueden implementarse razonablemente durante el proyecto. Estas son las personas (generalmente dentro y fuera del programa), presupuesto, infraestructura e información necesaria. Durante la etapa de planificación, las listas de recursos son esenciales para decidir el tipo de actividades y estrategias que el programa podrá implementar.

Ocupaciones

Las actividades son los eventos o acciones reales que tienen lugar como parte del EHDI-IS, tales como:

• Desarrollar, mantener y actualizar el sistema de datos;
• Brindar asistencia técnica a las fuentes de informes de datos;
• Recopilación de datos de fuentes de datos;
• Promover y apoyar la coordinación en torno a las actividades de seguimiento y vigilancia;
• Apoyar la difusión selectiva de datos de vigilancia; y
• Desarrollo y realización de actividades de evaluación.

Salidas

Los resultados son los productos directos de las actividades de los componentes del programa, tales como:

• Informes de datos;
• Protocolos en el lugar;
• Número de capacitaciones dirigidas a fuentes de informes de datos;
• Número de reuniones con socios; y
• Acuerdos de intercambio de datos vigentes.

Resultados

Los resultados son los efectos previstos de las actividades del programa. Son los cambios que desea que ocurran o las cosas que desea mantener en su sistema de vigilancia. Estos cambios pueden expresarse como resultados a corto e intermedio y a largo plazo. Todos los resultados deben indicar la dirección del cambio deseado (es decir, aumentar, disminuir y mantener).

Resultados a corto plazo

Los resultados a corto plazo son los efectos inmediatos del componente de su programa, tales como:

• Mayor conocimiento entre los tomadores de decisiones después de la difusión de información clave;
• Aumento de las habilidades entre los reporteros de datos después de la implementación de la capacitación; y
• Número reducido de errores después de examinar las consultas de datos.

Resultados a medio plazo

Estos son los efectos previstos de los componentes de su programa que tardan más en ocurrir. Ejemplos incluyen,

• Mejora de la puntualidad en la recopilación de datos de detección después de la implementación de un nuevo sistema de informes de datos web;
• Intercambio electrónico mejorado de datos con Registros vitales después de los acuerdos de intercambio de datos en vigor;
• Aumento de las colaboraciones e informes de los proveedores después de las reuniones y capacitaciones; y
• Mejora de la planificación del programa después de la difusión de los resultados de la evaluación

Resultados a largo plazo

Los resultados a largo plazo son los efectos previstos del componente de su programa que pueden tardar varios años en alcanzarse. Ejemplos incluyen,

• Mejor vigilancia de bebés y niños pequeños durante todo el proceso de EHDI;
• Documentación mejorada de los resultados de los servicios de intervención temprana;
• Desarrollo e implementación de políticas revisadas o nuevas; y
• Implementación de un EHDI-IS útil que cumple con los Estándares Funcionales EHDI de los CDC y sirve como una herramienta para ayudar a los programas a garantizar que todos los bebés sordos y con problemas de audición sean identificados temprano y puedan recibir servicios de intervención.

Después de que haya decidido sobre los diversos componentes de su modelo lógico, organícelos de una manera que refleje cómo funciona su programa. Examina el modelo cuidadosamente. ¿Cada paso se relaciona lógicamente con el otro? ¿Faltan pasos que interrumpan la lógica del modelo? Es importante recordar que los modelos lógicos son documentos vivos, que pueden cambiar con el tiempo con mejoras en el sistema, cambios en los recursos o modificaciones realizadas al programa.

Mejora del rendimiento de EHDI-IS con modelos lógicos

ENTRADAS: infraestructura, financiación, personal, orientación y apoyo, partes interesadas, sistema de información

Ver versión de texto

Ver imagen más grande

¿Qué atributos se deben considerar al evaluar el EHDI-IS?

La evaluación de los sistemas de vigilancia de salud pública implica una evaluación de los atributos del sistema. Como se señaló en azul en el modelo lógico en la página 9, los atributos más importantes para el EHDI-IS son: calidad de los datos, oportunidad, aceptabilidad, simplicidad, flexibilidad, sensibilidad, estabilidad y utilidad.

El gráfico a continuación proporciona una lista de atributos de calidad de datos (dimensiones) que los programas estatales de EHDI pueden elegir adoptar al evaluar la calidad de los datos en el EHDI-IS. No es una lista rígida. El uso de las dimensiones variará según los requisitos de las jurisdicciones individuales de EHDI.

cambiar el tamaño del iconoVer más grande Cerrar

icono de descargaDescargar icono de imagen de imagen [JPG, NAN]

Haga clic aquí para ver la versión de texto.

Se puede encontrar una descripción completa de las dimensiones de la Evaluación de la calidad de los datos del EHDI en el documento titulado Las seis dimensiones de la Evaluación de la calidad de los datos del EHDI. Pdf icon [PDF - 195 KB] ⁴

Al evaluar la calidad de los datos, considere incluir las siguientes preguntas de evaluación:

• ¿El EHDI-IS es capaz de documentar datos de detección y diagnóstico completos, precisos, únicos, consistentes y válidos de todos los nacimientos ocurridos en el estado?
• ¿Qué factores están afectando la calidad de los datos?
• ¿El sistema puede identificar y monitorear los errores del sistema?
• ¿Qué cambios en el sistema deben implementarse?

Este gráfico proporciona una lista de atributos que los programas de jurisdicción EHDI pueden elegir adoptar al evaluar el EHDI-IS y las posibles preguntas de evaluación por atributo.

ATRIBUTOS PARA EL EHDI-IS

Atributos para el EHDI-IS

Aceptabilidad	La disposición de las personas y organizaciones a participar en el sistema de información EHDI.	¿En qué medida los audiólogos en el estado saben sobre el programa jurisdiccional de EHDI y usan el sistema de módulo de informe de datos de EHDI? ¿Qué barreras impiden al audiólogo informar los datos de diagnóstico?
Flexibilidad	EHDI-IS puede adaptarse a las cambiantes necesidades de información o condiciones de operación con poco tiempo adicional, personal o fondos asignados.	¿Qué tan flexible es el EHDI-IS para intercambiar electrónicamente datos con otros sistemas de datos con poco tiempo adicional, personal o fondos asignados?
Sencillez	Se refiere tanto a su estructura como a su facilidad de operación. EHDI-IS debe ser lo más simple posible y cumplir con sus objetivos.	¿Qué tan fácil es usar el EHDI-IS para administrar datos y generar informes?
Estabilidad	Fiabilidad (es decir, la capacidad de recopilar, administrar y proporcionar datos correctamente sin fallas) y disponibilidad (para estar operativo cuando sea necesario).	¿Qué tan bien funciona el EHDI-IS de manera consistente? ¿Cuál es la frecuencia de los cortes?
Utilidad	EHDI-IS contribuye a la identificación temprana de la pérdida auditiva y conecta a los bebés sordos y con dificultades auditivas con los servicios deseados; proporciona comprensión de las implicaciones de la pérdida auditiva; contribuye con medidas de desempeño para la rendición de cuentas.	¿Cómo contribuye el EHDI-IS a la identificación temprana de la pérdida auditiva y conecta a los bebés sordos y con dificultades auditivas y a los niños muy pequeños con los servicios necesarios?

Las siguientes preguntas de evaluación pueden considerarse al evaluar

Aceptabilidad

• ¿En qué medida el personal de detección del hospital cumple con los protocolos establecidos?

  • ¿Qué entrenamientos adicionales son necesarios?
  • ¿La capacitación satisfizo las necesidades de los asistentes?
• ¿En qué medida los audiólogos del estado saben sobre el programa EHDI y usan el sistema EHDI-IS?
• ¿Cómo podría el programa EHDI educar mejor a los audiólogos sobre el uso del sistema EHDI-IS?
• ¿Qué barreras impiden a los audiólogos informar datos de diagnóstico?
• ¿Cómo podría el programa EHDI aumentar la conciencia entre los audiólogos sobre la importancia de documentar y comunicar los resultados?
• ¿Qué partes interesadas adicionales debería participar el programa EHDI para mejorar la documentación de los datos de diagnóstico e intervención temprana?

Flexibilidad

• ¿Qué tan flexible es el EHDI-IS para intercambiar datos electrónicamente con otros sistemas de datos?
• ¿El EHDI-IS tiene la capacidad de pasar del seguimiento de la pérdida de audición a la vigilancia (se explica a continuación).

• ¿Puede su sistema satisfacer las cambiantes necesidades de detección?

  • ¿Puede agregar datos únicos?
  • ¿Puede capturar otros datos relevantes?
  • ¿Puede agregar proveedores / usuarios para aumentar la capacidad?

Sencillez

• ¿Qué tan fácil es usar el EHDI-IS para administrar datos y generar informes?
• ¿Tiene la capacidad de generar nuevos informes con un mínimo esfuerzo (por ejemplo, sin tener que enviar una solicitud a un proveedor o su departamento de TI)?
• ¿Qué tiempo de inactividad se necesita para el servicio / actualización?

Estabilidad

• ¿El EHDI-IS está funcionando constantemente?
• ¿Cuál es la frecuencia de los cortes?

Utilidad: ¿Los datos recopilados de EHDI condujeron a acciones estratégicas que beneficiaron al programa oa las partes interesadas?

• ¿El EHDI-IS contribuyó a la identificación temprana de niños sordos y con problemas de audición y a conectarlos con los servicios de intervención?
• ¿El EHDI-IS apoya el desarrollo de políticas, la planificación de programas y la prestación de servicios?

3. Enfoca tu diseño de evaluación

Después de completar los Pasos 1 y 2, usted y sus partes interesadas deben tener una comprensión clara de su EHDI-IS. Luego, el equipo de evaluación decide el diseño de la evaluación, que estará determinado por varios elementos: el tipo de evaluación (es decir, la evaluación del proceso o la evaluación del resultado), las preguntas que desea responder y el propósito de la evaluación.

Evaluación de proceso o evaluación de resultados

Hay dos tipos básicos de evaluación: evaluación de procesos y evaluación de resultados. La evaluación del proceso se enfoca en examinar la implementación del sistema, determinar si las actividades se implementan según lo planeado y si los insumos y recursos se usan de manera efectiva. La evaluación de resultados se centra en mostrar si un componente del programa está logrando o no los cambios deseados.

Los ejemplos de preguntas de evaluación del proceso incluyen

• ¿En qué medida están todos los reporteros de datos dispuestos a participar e informar los datos de manera oportuna al EHDI-IS?
• ¿De qué maneras se puede mejorar la infraestructura existente de Tecnología de la Información (TI) para una mejor recopilación y gestión de datos?
• ¿En qué medida el personal de detección de los hospitales cumple con los protocolos establecidos?

• ¿Qué entrenamientos adicionales son necesarios?

  ¿La capacitación satisfizo las necesidades de los asistentes?

• ¿Cuáles son las causas más importantes de pérdidas durante el seguimiento en el estado?

Los ejemplos de preguntas de evaluación de resultados incluyen

• ¿Aumenta el número de usuarios activos con el tiempo a medida que se capacitan más instalaciones?
• ¿Los datos de vigilancia difundidos condujeron a acciones estratégicas que beneficiaron a las partes interesadas del programa?
• ¿Los datos de vigilancia difundidos condujeron a acciones estratégicas que beneficiaron a los usuarios de datos que conectaban a los bebés sordos y con problemas de audición con los servicios que necesitan?

Cuando examinamos nuestros programas, la percepción de que cada componente y proceso es necesario para el conjunto más amplio puede dificultar la decisión de qué evaluar. Sin embargo, los recursos rara vez están disponibles para abordar todos los aspectos de un programa. Por lo tanto, es necesario establecer prioridades para tomar decisiones finales sobre qué preguntas específicas de evaluación responderá el equipo de evaluación y cómo.

Existen muchos métodos, estrategias y herramientas que pueden ayudar a priorizar las preguntas de evaluación. Independientemente del método seleccionado, la utilidad y la viabilidad son dos estándares de evaluación importantes a tener en cuenta. Puede encontrar un ejemplo de priorización en el documento: Planificación de una evaluación de un sistema de información EHDI, página 2 icono de pdf [PDF - 519 KB].

El equipo de evaluación puede considerar hacer las siguientes preguntas y sentirse cómodo con las respuestas antes de comenzar la evaluación.

• ¿Quién usará los resultados de la evaluación?
• ¿Cómo se usarán los hallazgos?
• ¿Qué tan factible es esta evaluación?
• ¿Se puede hacer con los recursos disponibles y dentro del plazo disponible?

Diseño de evaluación

Ahora que ha seleccionado las preguntas de evaluación para responder y tiene un propósito de evaluación claro, es hora de pensar en el diseño de la evaluación. El diseño de la evaluación depende del propósito de la evaluación. Se utiliza un diseño (indicadores, métodos de recopilación de datos, fuentes de recopilación de datos) para estructurar la evaluación y mostrar cómo todas las partes principales del proyecto de evaluación trabajan juntas para abordar las preguntas de evaluación.

Hay tres tipos generales de diseños de evaluación: experimental, cuasiexperimental y no experimental. Para muchas evaluaciones de vigilancia, encontrará que un diseño simple y no experimental es un diseño de evaluación apropiado. Sin embargo, se pueden usar otros diseños de evaluación dependiendo de la pregunta que intente responder. En este capítulo, enfatizamos los diseños no experimentales y algunos diseños cuasiexperimentales.

Diseños no experimentales, también conocidos como diseños observacionales o descriptivos

Los diseños no experimentales incluyen estudios de casos y diseños posteriores a la prueba. En estos diseños, no hay aleatorización de los participantes a las condiciones, no hay grupo de comparación y no hay mediciones múltiples de los mismos factores a lo largo del tiempo. Por ejemplo,

• Los equipos de evaluación pueden usar encuestas para evaluar el nivel de satisfacción de los interesados con los datos y la difusión de datos.
• Los equipos de evaluación pueden entrevistar a los audiólogos para evaluar si el proceso de informes electrónicos o el formulario de informes en papel son fáciles de usar.

Diseño cuasiexperimental

Los diseños cuasiexperimentales se caracterizan por el uso de uno o ambos de los siguientes: 1) la recopilación de los mismos datos en múltiples puntos en el tiempo, o 2) el uso de un grupo de comparación. Muchos diseños se incluyen en este encabezado, incluidos, entre otros, los siguientes:

• Pruebas previas y posteriores sin un grupo de comparación;
• Un diseño de grupo de comparación no equivalente con una prueba previa o posterior solamente;
• Series temporales interrumpidas; y
• Regresión discontinuidad.

Por ejemplo,

• Los equipos de evaluación pueden usar informes de datos para determinar si el número de audiólogos que informan datos de EHDI está aumentando con el tiempo después de la implementación de la capacitación (series de tiempo interrumpidas antes y después de la capacitación).
• Los equipos de evaluación pueden usar antes y después de la prueba para evaluar qué tan efectiva fue la capacitación para aumentar el conocimiento del proceso de informe de datos.

Indicadores y medidas de desempeño

Los indicadores y las medidas de desempeño son características o cambios específicos, observables y medibles que muestran el progreso del programa hacia el logro de un objetivo o resultado específico. Los indicadores están vinculados a los objetivos identificados en la descripción del programa, el modelo lógico y / o las preguntas de evaluación. El indicador debe ser claro y específico sobre lo que medirá.

cambiar el tamaño del iconoVer más grande Cerrar

icono de descargaDescargar icono de imagen de imagen [JPG, NAN]

El personal de evaluación debe decidir qué estrategias de recopilación, gestión y análisis de datos son más apropiadas para cada indicador y si la asistencia técnica necesaria para la implementación está disponible y es asequible.

Al realizar evaluaciones de resultados, existen algunos indicadores estándar comunes para los programas de EHDI (es decir, LFU / LTD para diagnóstico, etc.). Considere incluir algunos de ellos para mostrar el progreso hacia el logro de resultados específicos.

4. Reúna evidencia creíble

La información que recopile en su evaluación debe ser confiable y creíble para quienes utilizarán los resultados de la evaluación. En este paso, trabajará con sus partes interesadas para identificar los métodos y las fuentes de recopilación de datos que utilizará para responder sus preguntas de evaluación.

A continuación se define lo que constituye "evidencia creíble" para que las partes interesadas especifiquen:

• Cantidad: ¿Qué cantidad de información es suficiente?
• Calidad: ¿La información es confiable (es decir, confiable, válida e informativa para los usos previstos) ?; y
• Contexto: ¿Qué información se considera válida y confiable por las partes interesadas?

Para un pequeño grupo de participantes o una breve encuesta, los datos pueden analizarse manualmente o puede usar varias herramientas gratuitas que están disponibles en línea. Cuando recopila una gran cantidad de datos cualitativos, es probable que necesite utilizar una herramienta o un software especializado para respaldar el análisis y la gestión de esta información.

Se utilizan diferentes técnicas para analizar datos cualitativos, pero todas requieren habilidades y conocimientos. Esencialmente, los datos recopilados se clasificarán por categorías y temas, y se deben crear códigos para facilitar el análisis.

Si planea recopilar una gran cantidad de datos cualitativos, es útil contar con el apoyo de expertos con experiencia en evaluación y ciencias sociales y del comportamiento o que tengan conocimiento en estas áreas.

5. Justificar conclusiones

Después de analizar sus datos, el siguiente paso es examinar sus resultados y determinar qué "dicen" los resultados de la evaluación acerca de su EHDI-IS. Esto implica vincular todos los hallazgos a las preguntas de evaluación y contar la historia de su programa. Tenga en cuenta a su audiencia cuando prepare el informe. ¿Qué necesitan y quieren saber? Además, tenga en cuenta que los resultados son la base para desarrollar recomendaciones para la mejora del programa.

Los elementos recomendados para el informe de evaluación incluyen

• Comparación de los resultados reales con los previstos;
• Comparación de los resultados del programa con los de años anteriores. Utilice los estándares existentes como punto de partida para las comparaciones; y

• Limitaciones de la evaluación, como

  • Posibles sesgos;
  • Validez de resultados;
  • Fiabilidad de los resultados; y
  • Generalizabilidad de resultados.

Aunque un informe de evaluación final es importante, no es la única forma de distribuir los resultados. Dependiendo de su audiencia y presupuesto, puede considerar diferentes formas de entregar los resultados de la evaluación. Se puede encontrar información adicional sobre los resultados de la evaluación de informes en el documento titulado Informe de evaluación: una guía para ayudar a garantizar el uso de los resultados de la evaluación. icono de pdf [PDF - 550KB]

6. Asegure el uso y comparta las lecciones aprendidas

Siempre haga la pregunta "¿y qué?" al final de la evaluación. Esto es importante porque el propósito de la evaluación del programa es mejorar los programas. Por lo tanto, los resultados de la evaluación pueden ayudar a modificar aspectos de su EHDI-IS, fortalecer las actividades actuales y / o cambiar elementos que pueden no funcionar.

Una parte importante de este proceso es cuando las personas en el mundo real, como usted, aplican los resultados de la evaluación y las experiencias a su trabajo. Este es también el momento de compartir las lecciones aprendidas con todas las partes interesadas que tienen un interés personal en lograr los objetivos de EHDI.

Monitoreo versus evaluación

Esta sección final describe la diferencia entre el proceso de monitoreo y la evaluación del programa. Si bien estos son componentes complementarios e interrelacionados de la evaluación del programa, difieren en estructura y resultados.

Supervisión

El monitoreo del programa es parte del proceso de evaluación y proporciona una fuente de datos básicos para construir una evaluación del programa. Mientras que el seguimiento sigue el progreso de la implementación, la evaluación examina los factores que contribuyen al éxito o la falta de comprensión de por qué un programa puede o no funcionar. Las actividades de evaluación se basan en los datos recopilados de manera rutinaria en actividades de monitoreo continuo.

Podemos definir el proceso de monitoreo como la observación y registro de múltiples actividades dentro del sistema para ayudar al personal a identificar problemas con la operación del programa. El personal del programa EHDI puede implementar procesos de monitoreo utilizando su EHDI-IS como un "sistema de alerta temprana" para identificar y abordar problemas de datos en varios pasos (evaluación auditiva, evaluación de diagnóstico e inscripción en intervención temprana) en el proceso EHDI1-3-6.

El número y la frecuencia de las actividades del proceso de monitoreo son algo que decide la jurisdicción y depende del área de la evaluación. Por ejemplo, los procesos de monitoreo realizados para evaluar la integridad de los datos enviados por los hospitales pueden realizarse diariamente o semanalmente. Mientras que otros procesos para identificar entradas duplicadas en registros, errores de datos o datos faltantes pueden realizarse mensualmente. Cada EHDI-IS tiene la capacidad de ser consultado y proporcionar informes ad hoc, que son útiles al desarrollar procesos de monitoreo, y viceversa.

Los gerentes de programa pueden considerar asignar a la persona a cargo de la evaluación (por ejemplo, gerentes de datos, epidemiólogos o alguien contratado externamente) para ejecutar esos informes y estar preparados para manejar de manera efectiva cualquier situación inesperada con la recopilación y documentación de datos de EHDI.

Por ejemplo: un programa estatal de EHDI implementa un proceso de monitoreo que examina informes hospitalarios ad hoc en los últimos 6 meses, y observa que el desempeño de un hospital en particular parece ser consistentemente peor que el resto. De enero a junio, la tasa de fallas hospitalarias xyz varía de 8% a 10%, cuando el promedio debe ser de 3% a 5%. Este proceso de monitoreo proporciona una fuente de datos central para construir una evaluación del programa. Más tarde, el personal puede enmarcar las observaciones en preguntas de evaluación, como por qué el proceso del hospital xyz es diferente de otros hospitales. ¿El alto índice de faltas es contribuido en gran medida por la unidad de cuidados intensivos del hospital o la unidad de bienestar del bebé?

Resumen

Al utilizar la información de este capítulo, podrá planificar, realizar e integrar actividades para evaluar el EHDI-IS de su programa. Los resultados de la evaluación se pueden usar para garantizar que su EHDI-IS sirva como una herramienta eficaz para identificar y proporcionar servicios a bebés y niños sordos y con problemas de audición.

Calidad de datos

EXACTITUD

La medida en que los datos son correctos, confiables y certificados gratis

de error

LO COMPLETO

La proporción de datos almacenados frente al potencial de "100% completado".

CONSISTENCIA

La ausencia de diferencia, al comparar dos o más representaciones de una cosa con una definición.

UNICIDAD

Nada se grabará más de una vez en función de cómo se identifica esa cosa.

VALIDEZ

Los datos son válidos si se ajustan a la sintaxis (formato, tipo, rango) de su definición.

Cerca