Evaluación
Una evaluación es una manera esencial de utilizar los datos de seguimiento para medir si la comunicación del riesgo de desastres ha alcanzado sus metas y objetivos generales, que normalmente se lleva a cabo al término de la iniciativa.
Las evaluaciones también proporcionan información para el aprendizaje y la mejora —por ejemplo, en relación con los puntos fuertes y débiles de su proyecto y las mejores prácticas—; asimismo, garantizan la transparencia y la rendición de cuentas de las partes interesadas, y la mejora continua de su comunicación del riesgo de desastres y de la de otros, de cara al futuro.
¿Cumplió el proyecto sus objetivos?
Las siguientes preguntas de investigación pueden adaptarse a distintos proyectos de comunicación.
- Alcance ¿A cuántas personas o a qué porcentaje del público destinatario llegó el contenido? ¿A quién no llegó y por qué?
- Comprender: ¿Comprendieron las personas el contenido de la manera prevista?
- Pertinencia: ¿El contenido fue pertinente, oportuno y útil?• Interés: ¿Las personas se interesaron en ver, leer o escuchar el contenido? ¿Lo siguieron con regularidad? ¿Por qué sí o por qué no?
- Confianza: ¿Confiaron las personas en el contenido? ¿Por qué sí o por qué no?
- Eficacia e impacto: ¿Fue eficaz el contenido? Esto dependerá de sus metas, pero podría incluir:
- ¿Ayudó el contenido a que las personas se sintieran mejor informadas? ¿Les ayudó a comprender la información clave sobre riesgos, incluidas las predicciones meteorológicas?
- ¿Ayudó a aumentar sus conocimientos? ¿Qué aprendieron las personas sobre cómo prepararse frente a las amenazas?
- ¿Reforzó la percepción de las personas de que existe un riesgo real?
- ¿Dio lugar a discusiones relacionadas con el riesgo? ¿Compartieron las personas la información de los contenidos con otros?
- ¿Se adoptaron medidas preparatorias a raíz del contenido?
- ¿Tuvo el contenido repercusiones imprevistas a nivel individual o poblacional?
Las evaluaciones pueden utilizar diversos métodos de investigación cuantitativos o cualitativos. Elija el método de investigación que mejor responda a su pregunta de investigación y mida los avances en función de sus indicadores. Tenga también en cuenta el tiempo disponible para realizar y analizar la investigación, su presupuesto y la complejidad de la investigación (¿quién tiene los conocimientos especializados o competencias para llevarla a cabo: una agencia de investigación, un miembro del mundo académico o un investigador?).
Es de utilidad examinar la bibliografía existente en el país y el contexto en el que usted se encuentra, para saber qué datos existen ya sobre la comunicación del riesgo de desastres. Ver cómo otros investigadores han formulado las preguntas de la investigación y de la encuesta, así como sus conclusiones y lecciones extraídas, puede ayudarle a formular su evaluación. A su vez, constituye una buena práctica compartir los resultados y análisis de su evaluación para ayudar a orientar a otras personas.
Investigación cuantitativa
Los ensayos controlados aleatorizados (ECA) son estudios que miden la eficacia de una nueva intervención o tratamiento. Los participantes se asignan de forma aleatoria a un grupo de control (sin tratamiento) y a un grupo de tratamiento (que puede exponerse al contenido de los medios de comunicación). A continuación, se puede entrevistar a ambos grupos para medir las diferencias en los resultados.
Aunque ningún estudio puede demostrar definitivamente la causalidad, la aleatorización reduce el sesgo y ofrece un método riguroso para analizar las relaciones de causa y efecto entre una intervención y su resultado.
Las encuestas cuantitativas son la mejor manera de saber a qué porcentaje de su público destinatario ha llegado su contenido. Realizar una encuesta a una muestra representativa de la población también permite comparar las reacciones de las personas a las que llegó el contenido (expuestas) y de las que no (no expuestas). Las técnicas estadísticas como la regresión múltiple permiten controlar otras influencias de terceras variables (medidas), como las características demográficas, así como respaldar afirmaciones más sólidas respecto a la relación entre la exposición y el cambio en los resultados. También puede desglosar los datos de una muestra de gran tamaño por sexo, edad, etnia o cualquier otra categoría pertinente. Tal vez descubra que cada grupo entiende la información de forma muy diferente y que prefieren medios de comunicación distintos.
Estudio de referencia, intermedio y final: estos métodos cuantitativos le ayudarán a comparar sus resultados (por ejemplo, el nivel de comprensión del público) a lo largo del tiempo.
Diseños longitudinales: consisten en medir repetidamente los resultados en las mismas personas para analizar su evolución a lo largo del tiempo.
Investigación cualitativa
Las entrevistas cualitativas exhaustivas y los grupos focales de discusión son útiles para recopilar perspectivas detalladas del público destinatario. Le proporcionarán datos muy valiosos sobre lo que el público piensa del contenido, lo que le atrajo, lo que recordó y aprendió, y lo que lo animó a actuar. Todo ello le ayudará a complementar los resultados de los datos cuantitativos.
Las entrevistas cualitativas a informantes clave permiten obtener conocimientos especializados sobre un determinado ámbito o tema de interés, y proporcionan una perspectiva más completa respecto a la eficacia de los contenidos mediáticos y de comunicación. Además, permiten obtener una visión más detallada de la comunidad y de los problemas a los que se enfrentan las personas, lo cual puede brindar reflexiones valiosas sobre la eficacia de los contenidos.
Existen diferentes metodologías cualitativas de evaluación del impacto que pueden valorarse, como el seguimiento de procesos, el análisis de contribuciones y el protocolo de evaluación del impacto cualitativo (QuIP, por sus siglas en inglés).
Los métodos de investigación citados pueden realizarse en colaboración con una institución académica, un organismo de investigación o con investigadores que tengan experiencia en estos ámbitos.
Consideraciones éticas a la hora de llevar a cabo la investigación
- No hacer daño: dar prioridad a la seguridad tanto de los investigadores como de los participantes. No siga adelante con la investigación si alguien corre el riesgo de salir perjudicado por participar.
- Colaborar con terceros: para evitar someter a las poblaciones afectadas por las crisis a demasiados estudios, considere la posibilidad de asociarse con otras organizaciones o añadir sus preguntas a estudios de investigación ya existentes.
- Prepararse: piense qué hay disponible en la zona afectada y qué necesitará llevar consigo con el objetivo de evitar ser una carga para los recursos, que ya de por sí son limitados. Si es posible, lleve una lista de servicios de los que pueda informar a los participantes si los necesitan.