¿PARA QUE SIRVE ESTA APLICACIÓN?

Esta aplicación sirve para contrastar nuestra visión o la de los participantes en un proyecto de lectura con los posibles beneficios que tiene respecto a una serie de objetivos de naturaleza cultural, educativa o social en términos generales.

Utiliza como fuente de información las opiniones sobre el posible impacto positivo de proyectos de lectura que tienen los mediadores de la lectura y la ciudadanía que participa en ellos. La aplicación relaciona los proyectos con una serie de beneficios para las personas o para la sociedad, ofreciendo una estimación sobre el grado de incidencia que tienen en cada uno de los ámbitos de mejora que se han identificado.

La herramienta dispone de un método de cálculo, basado en ponderaciones que se han automatizado para calcular, a partir de las puntuaciones que otorgan las personas encuestadas, la intensidad de la relación de cualquier proyecto de lectura con una serie de objetivos (mejoras educativas, emocionales, sociales, económicas, etc.). Aporta por tanto una información cualitativa y basada en las opiniones de quienes contestan al formulario.

Esta aplicación sirve para lo siguiente:

Puede usarse como pre-test para ayudar al diseño de proyectos. Antes de lanzar un proyecto de lectura, la persona que lo lidera puede hacer una valoración de los posibles efectos del proyecto sobre una serie de objetivos beneficiosos para la comunidad. De esta forma, contará con la oportunidad de reformular o modificar algún elemento para mejorar la relación del proyecto con un ámbito determinado de objetivos, antes de empezar a ejecutarlo.

Puede usarse como un post-test para demostrar sus efectos, para usarlo como instrumento de comunicación o para mejorar su impacto en el futuro. Una vez ejecutado el proyecto de lectura, tanto la persona que lo lidera como todos las personas participantes pueden dar su opinión sobre los efectos positivos del proyecto en torno a una serie de objetivos beneficiosos para la comunidad. De esta forma obtendremos un instrumento de comunicación para demostrar el interés del proyecto a posibles financiadores (por ejemplo, responsables políticos), para promocionarlo en medios (por ejemplo, emisoras de radio locales), o para compartir con otros profesionales las lecciones aprendidas (por ejemplo, en cursos o congresos). Así mismo, nos da la oportunidad de reformular o modificar algún elemento para incrementar la relación del proyecto con un ámbito determinado de objetivos, cuando se vaya a volver a ejecutar en el futuro.

RECURSOS PARA MEJORAR LOS EFECTOS EN CADA ÁMBITO

UN PASO MÁS ALLÁ: HACIA UNA EVALUACIÓN DEL IMPACTO

Evaluar supone comparar la situación que existía con la que -de forma indubitada- ha provocado nuestro proyecto y, por lo tanto, implica también determinar si se han logrado los objetivos que se habían propuesto. Esta aplicación no proporciona semejante análisis, pues no parece fácil automatizar un proceso de esta naturaleza. Lemétrika es un recurso que se orienta hacia:

1. El contraste previo de la relación entre nuestro diseño y los posibles ámbitos de impacto positivo de los proyectos de lectura.
2. La transformación de las opiniones y percepciones de los participantes en el proyecto en un breve informe sobre el posible impacto de nuestro proyecto sobre ciertos ámbitos.
3. La obtención de un recurso de comunicación para defender nuestro proyecto ante la comunidad o nuestros superiores, que potencie su continuidad futura, la dotación presupuestaria o el incremento de participantes.
4. La consolidación de un mapa de posibles impactos de nuestra actividad global, a través de la valoración de la totalidad de nuestros proyectos (mediante la aplicación de los cuestionarios de la aplicación a cada uno de los que hemos ejecutado).

No obstante, Lemétrika no tiene porqué limitarse a esas cuatro aportaciones, sino que puede servir también para iniciar un proceso de evaluación más ambicioso, que se dirija a determinar el impacto positivo de nuestros proyectos sobre los objetivos que se hayan planteado.

Si hablamos de evaluación de proyectos, en la mayoría de los casos nos estaremos refiriendo a dos tipos de evaluación diferentes: en el primer caso estaríamos hablando de una evaluación del impacto del proyecto, mientras que en el segundo se trataría de una evaluación más centrada en los resultados concretos de la actividad.

Por lo tanto, una primera conclusión que podemos asumir es que hay diversos tipos de evaluación. No sólo esas dos clases de evaluación principales, sino otras modalidades que se dirigen a valorar aspectos tan variados como la calidad de la implementación o el grado de conocimiento público de un proyecto.

Evaluación de impacto

El principal objetivo del tipo de evaluación que aquí se plantea es medir y demostrar el impacto social que se ha derivado de la aplicación de los proyectos de lectura sobre unos objetivos de mejora para las personas o la sociedad en su conjunto.

Una vez que hemos recordada esta finalidad primordial, puede ser útil que aportemos alguna información respecto a las diversas vertientes en las que ese objetivo puede manifestarse cuando lo ponemos en relación con la, a su vez, diversa relación de ámbitos en los que se opera:

1. Demostrar al financiador la rentabilidad social de la inversión (como recurso para la “advocacy”).
2. Maximizar y mejorar el impacto en el futuro (introduciendo correcciones en nuestro proyecto).
3. Diseminar información para que se multipliquen en otros ámbitos los posibles efectos positivos de nuestro proyecto (a través de la emulación).

Si se quiere obtener un pleno sentido y aprovechar la potencia de este planteamiento para la medición de impacto, es necesario partir de una concepción que mira hacia el exterior de nuestra organización para centrar la mayor parte de nuestros esfuerzos en:

• Definir una oferta que mejore la vida de los ciudadanos o resuelva algunos de sus problemas (propuesta de valor).
• Decidir a qué grupos de ciudadanos se va a dirigir prioritariamente (segmentos).
• Establecer los medios para hacer llegar la nueva propuesta o para atraer a nuevas audiencias y consolidar las tradicionales (canales).
• Optar por el tipo de interacciones que se van a mantener con los usuarios, qué clase de intervención se les va a solicitar, en qué fase comienza esta interacción y de qué modo va a estar posicionada la biblioteca en el entorno (relación con clientes).
• Fijar cuál va a ser la rentabilidad para la comunidad y para el interés público (fuentes de ingresos).

Asimismo se maneja un correlato en cuanto a los elementos de orden interno u organizativo que marcan la dinámica sobre la cual se va a implementar la evaluación:

• Definición de lo que se necesita para poner en marcha el proyecto de lectura, como puede ser la colección de la biblioteca pública o escolar, el sistema de comunicación, el equipo humano, las salas para las actividades (recursos clave).
• Selección de las actividades que conforman el núcleo de la función que cumple nuestra organización (biblioteca, centro social, escuela, museo, etc.) como centro cultural y espacio de servicios públicos a la ciudadanía (actividades clave).
• Diagnóstico y decisión sobre los contactos y los actores con los que es necesario trabajar para poner en marcha la propuesta de valor, como serían las asociaciones de la comunidad o los mismos proveedores de servicios informáticos o la imprenta local (socios clave).
• Previsión de los costes que tiene nuestra organización, tales como los salarios del equipo, la colección, los gastos generales y los específicos de la nueva propuesta de valor (estructura de costes).

Si recapitulamos, los cinco elementos para construir la ecuación de la Red de Valor del Impacto (RVI) son:

1. Insumos: son los recursos humanos y financieros invertidos en nuestro proyecto.
2. Actividad del proyecto (output): son las operaciones concretas que están contempladas en la programación del proyecto de lectura.
3. Productos: es la oferta en torno a la lectura que se aporta a los participantes.
4. Resultados: son los beneficios sociales, aprendizajes, transformaciones personales concretas en los ciudadanos a los cuales se dirige el proyecto de lectura, que derivan de las actividades (outcome).
5. Impacto: son efectos más a largo plazo y de mayor alcance que provocan una transformación en la comunidad y en las personas.

La importancia de comprender cuáles son nuestros objetivos

La visión correcta de los objetivos es básica para que la evaluación sea útil para potenciar el papel de la lectura en la sociedad y el nivel de compromiso de los participantes potenciales y de las entidades financiadoras, que habitualmente son administraciones públicas.

Un desafío de la cultura de la evaluación es que la mayor parte de las administraciones públicas no se muestran interesadas, ni dedican esfuerzos, ni rentabilizan los escasos ejercicios que llevan a cabo en identificar los objetivos de impacto y la razón de ser de la evaluación de impacto. Sin duda, esto es un problema para el papel de la lectura en nuestra sociedad desde diferentes puntos de vista:

• Dificulta la toma de decisiones sobre la conveniencia de lanzar o no ciertos proyectos o iniciativas generales (por ejemplo, un plan plurianual de fomento de la lectura).
• Inhabilita a los profesionales de la lectura para diseminar las nuevas lecciones aprendidas en la ejecución de proyectos por no poder demostrar sus efectos.
• Dificulta a las autoridades la toma de decisiones sobre la priorización de las inversiones o la dotación de recursos.
• Impide a los profesionales de las mediaciones lectoras el llevar a cabo una defensa eficaz de las inversiones (advocacy) ante la sociedad y las autoridades.

Esta es en parte la razón por la que aquí se plantea un criterio realista e híbrido (nuestro enfoque es atípico) en el sentido de que se propone una mirada conjunta a dos planos diferentes de los proyectos y su evaluación:

• La perspectiva del equipo profesional encargado del diseño, ejecución y evaluación de proyectos de lectura.
• La perspectiva de la administración financiadora de la biblioteca, escuela, centro cultural o de la entidad financiadora del proyecto de lectura concreto que se pone en marcha.

¿Por qué nos interesa evaluar?

El ejercicio evaluador puede ser muy rentable si se consigue diseñar un mecanismo para obtener una diversidad de piezas con una misma operación:

• Datos para la mejora del diseño de nuestras iniciativas.
• Argumentos para la motivación de todo el equipo de la biblioteca.
• Mensajes para el compromiso y la participación de los ciudadanos en una empresa dotada de claridad en los logros y rematada con el éxito que se comparte entre todos.
• Piezas, testimonios y datos para la convicción de la entidad financiadora.
• Información para estimular la emulación por parte de la profesión.
• Información para estimular la implicación de otros nuevos financiadores.

La formulación de los resultados esperados del proyecto consiste en traducir los objetivos en resultados (outcomes). Esta traducción suele implicar una reconducción a datos numéricos porque se busca algo tangible y demostrable; pero, a diferencia de la mirada centrada en la actividad (p.ej. número de sesiones de asesoría para la inserción laboral de adolescentes en el mercado laboral) se centra en la idea de cambio sobre la situación o las personas (p.ej. número de participantes que han encontrado un puesto de trabajo gracias a la mejora de destrezas lectoras).

Los resultados refieren siempre a la relación con los objetivos, pero pueden formularse de varias maneras:

• Pueden orientarse a la constatación de unos niveles de logro determinados (que el 75% de las adolescentes gestantes sigan las pautas sanitarias que han sido establecidas en las sesiones de formación en la biblioteca).
• También pueden expresarse como la demostración de las transformaciones en las conductas en la población destinataria (que un porcentaje determinado de la población sin hogar del distrito comience a acudir a la biblioteca a recibir información y ofertas de ocio en torno a la lectura; que los adolescentes mejoren las calificaciones en la escuela después de acudir a un programa de formación).
• Por otra parte, los resultados se enuncian también en términos de comparación entre un escenario tendencial y otro más favorable (evolución más positiva de lo que marcaba la tendencia natural) o entre un grupo de personas que han participado en la experiencia y un grupo de control al cual no se le han aplicado las acciones del proyecto (mayor comprensión lectora de los participantes en los clubes de lectura que los del grupo de control que leían de forma independiente).

Por lo tanto, la cuestión de la determinación de los resultados que serán objeto de valoración es completamente crucial: deben identificarse unos resultados que sean concretos y vinculados estrechamente al objetivo de la evaluación del impacto. Desde esta perspectiva es importante repasar una serie de criterios de elección de los resultados:

1. Deben ser concretos: transformaciones reales para los destinatarios, para el ecosistema de la comunidad en la que se opera y, en otro sentido, para el ente financiador.
2. Deben ser alcanzables: cambios en conductas, apreciaciones, competencias o condiciones sociales que puedan llegar a conseguirse realmente con el tiempo y los recursos utilizables.
3. Deben estar directamente vinculados al objetivo principal del proyecto: ser útiles para la toma de decisiones sobre la rentabilidad social de la inversión (financiador), para la priorización de proyectos de lectura o para la promoción (advocacy) del papel de la lectura en la sociedad.
4. Deben ser estratégicos: debería optarse por resultados que se relacionen directamente con la función más estratégica y principal de la lectura en la sociedad.

La evaluación del impacto social de los proyectos de lectura debe observar el balance de los resultados que tengan consecuencias educativas, económicas y sociales, que sean apreciables y relevantes para los financiadores, para los medios de comunicación y, sobre todo, para los destinatarios finales y futuros participantes. Por este motivo es fundamental incorporar en la tarea de la formulación de los resultados a todos los actores implicados, ya que tenemos que dirigir la evaluación hacia las áreas que son de interés para todos ellos.

Los indicadores

Los indicadores son pieza básica para medir el cambio o transformación que se haya producido a causa de la implementación del proyecto de innovación en la biblioteca. Esto opera en dos planos:

• Un terreno instrumental que está constituido por los servicios que se implantan (actividad: outputs).
• El ámbito fundamental de evaluación sobre la transformación (resultados).

Esta diferenciación es interesante como forma de deslindar esos terrenos y desde la individualización de la idea de resultados, una vez más, subrayar la necesidad de que la evaluación en el ámbito bibliotecario no se reduzca a la medición del ‘activismo’. Pero es cierto que hay muchos casos en los que un mismo indicador es relevante para la medición de ambas magnitudes.

Una de las labores fundamentales para el diseño de un plan de evaluación es siempre la selección de los indicadores que se van a utilizar para medir el impacto.

Lo habitual es que el proyecto que queremos evaluar se dirija a mejorar una situación: promover un cambio de un escenario de partida hacia otro más positivo desde el punto de vista social. El punto de partida debe ser ajeno al propio proyecto, ya que lo que pretendemos es demostrar que la comunidad ha cambiado para mejorar la situación de partida.

Por lo tanto, un primer desafío es el de caracterizar la situación de partida y esto implica que tiene que existir algún medio de verificación de la misma. Necesitamos tener una buena información sobre la situación que queremos mejorar para que sea posible la evaluación del éxito mediante la comparación entre aquella y la situación que se constata tras la ejecución del proyecto. Si un proyecto se dirige a mejorar los resultados académicos de grupos excluidos de niños en comunidades muy desfavorecidas, necesitaremos apoyarnos en evidencias estadísticas que describan el problema de partida. Esta labor suele orientarse hacia la búsqueda de datos oficiales y un trabajo de documentación, pero el peligro de esta fase es que drene una cantidad de tiempo excesiva y que el equipo acabe por perder el contacto con la realidad concreta sobre la que se opera.

Por lo tanto, el consejo sería evitar convertir esta operación en un denso trabajo documental. Destacado de este epígrafe: El diseño de la cartera de indicadores debe orientarse hacia la demostración del impacto en lugar de la medición de la actividad

Los criterios metodológicos más básicos para la elección de indicadores serían:

1. Hay que buscar indicadores que cumplan el criterio de SMART, que son las siglas de las palabras inglesas specific: concreto, measurable: medible, achievable: alcanzable, relevant: relevante, time-bound: con un plazo.
2. Deben ser coherentes con la ética pública y con los fines más estratégicos de la administración en la que se encuadre la biblioteca o la escuela, por ejemplo.
3. Deben ser cuantificables de un modo fiable y contrastado.
4. Deben ser elegidos con carácter previo a la identificación de la existencia de una posible base de datos a la cual acceder.
5. Deben incluirse indicadores que sean determinados por fuentes de información o evaluación ajenas a nuestro propio equipo.
6. Deben ser múltiples para que la visión no quede limitada a una única dimensión del resultado y del impacto del proyecto.
7. Deben ser comprensibles y fácilmente comparables en un marco multi-organizacional y multi-territorial.

Por otra parte, desde el punto de vista de la doble perspectiva -financiador y responsable del proyecto- es necesario que la selección de indicadores tenga en cuenta estas dos capas de medición de impacto a la hora de:

• Buscar también indicadores que sean coherentes con el sistema de indicadores que el financiador utilice en la generalidad de sus actuaciones.
• Llegar a un consenso respecto a los indicadores que son más elocuentes para ambas perspectivas de valoración.

Desde esta última perspectiva, la entidad financiadora tendrá que poner en juego una combinación de indicadores de ouput con indicadores de resultados e impacto, porque uno de los objetivos de la medición de impacto puede estar perfectamente dirigido a la valoración que la Administración Pública hace de la calidad de nuestros proyectos con los presupuestos que les asigna. Por esta razón deberán seleccionarse algunos indicadores, relacionados directamente con las actividades (output). Sin embargo hemos hablado de la conveniencia de combinar ese tipo con los indicadores de outcome, porque los primeros no van a dar una información suficiente sobre si el proyecto está realmente aportando al logro de los resultados previstos.

El esquema de la evaluación

Lo habitual es que nuestra capacidad de medir el impacto de un proyecto sea limitada, en la mayoría de las ocasiones, porque tiene un alcance bastante técnico y exige un tiempo importante de dedicación y la aplicación de recursos no desdeñables.

El planteamiento de Lemétrika es proporcionar un primer paso, modesto pero accesible en este camino. Es cierto que la forma de evaluar el impacto social de sus proyectos es a través de sus resultados (outcomes), pero un primer acercamiento en la valoración de los participantes.

La medición del impacto sirve para verificar si se está produciendo o no un impacto positivo y en qué medida se da, es decir, qué valor tiene. Este paso también ayuda a identificar los impactos de mayor valor desde el punto de vista social y puede ayudarnos a priorizar sus recursos en iniciativas de mayor impacto social.

El financiador debe verificar periódicamente el cumplimiento de las expectativas de los actores involucrados con el objetivo de poder ir corrigiendo a tiempo los posibles fallos. Podríamos simplificar la cuestión afirmando que hay tres grandes sistemas que se utilizan para verificar el impacto de los proyectos:

• Investigación con fuentes secundarias: confirmando si los resultados identificados se pueden contrastar con otros datos (otras investigaciones, bases de datos, estadísticas públicas, etc.).
• Análisis comparativo: comparando los resultados hallados con otras investigaciones llevadas a cabo en proyectos u organizaciones similares en términos de temática, territorio u objetivos.
• Entrevistas y grupos de discusión / focus groups: haciendo preguntas neutras a una muestra representativa de agentes involucrados.

Lemétrika es un paso previo o una forma rápida, escalable y accesible para incidir en el tercer ámbito citado: la propia opinión de los participantes. Un modo más ambicioso y con mayor alcance sería partir del informe de la aplicación para plantearse una dinámica de entrevistas y grupos de discusión.

Efectivamente, una técnica muy interesante para cotejar las previsiones con los resultados consiste en trabajar con herramientas cualitativas dirigidas a los destinatarios o participantes, a través de grupos de discusión (Focus Group) o mediante entrevistas. Con esta herramienta se construye una información completamente subjetiva que debería contrastarse con datos que se obtengan con otros procedimientos y aporta, precisamente, un punto de vista muy cercano al terreno que nos habla de la vertiente experiencial.

Desde la experiencia de las evaluaciones realizadas por la Fundación Germán Sánchez Ruipérez, la técnica de los Focus Group es de una gran utilidad práctica. Conviene conocer los elementos básicos de la preparación y realización de una experiencia de este tipo.

Se trata de una mecánica centrada en seis fases, que no en todas las ocasiones funciona con una estructura secuencial (puede haber ajustes en las etapas precedentes en función de lo que va ocurriendo en las ulteriores):

1. Establecer los objetivos y compilar documentación previa sobre el asunto.
   Es necesario establecer desde un principio el producto final que queremos obtener, tanto en cuanto a su finalidad como en cuanto al formato que tendrá. Asimismo es conveniente contar con mucha información de partida: hay que estudiar el asunto porque esto permitirá preparar las sesiones dotándolas de una estructura que sea comprensible para todos (participantes y analistas).
2. Selección de los participantes.
   Como ya se sabe el tipo de información que se necesita (fase anterior) es necesario encontrar unos participantes que conozcan el proyecto de primera mano -porque han sido sus destinatarios- y estén dispuestos a colaborar compartiendo sus opiniones con los demás.
3. Diseño de la sesión.
   Aunque la apariencia de la sesión para los participantes debe ser de una gran espontaneidad, el equipo evaluador debe haber fijado la estructura temática con unas preguntas básicas y con el desarrollo de un segundo nivel para cada una de ellas.
4. Gestión de la sesión.
   Es fundamental apoyarse en la estructura y tenerla muy interiorizada porque esto se complementa con una gran flexibilidad para ir de unos asuntos a otros, escuchando, dejando fluir el diálogo informal y espontáneo, pero obteniendo información suficiente sobre cada uno de los ejes temáticos de la estructura.
5. Elaboración de informe.
   Con los materiales obtenidos de las notas y de las grabaciones se lleva a cabo un análisis, una valoración y -esto es fundamental- una síntesis de la información obtenida.
6. Edición y presentación del informe.
   Una vez que se ha redactado el informe es muy importante elaborar un resumen ejecutivo y ser capaces de articular una presentación muy convincente que aporte la información más directamente relacionada con el impacto del proyecto.

Una recomendación para profundizar en la información que aporta Lemétrika es recurrir a la recogida de testimonios más completos de los participantes. A estos testimonios sobre el impacto percibido en las vidas de los destinatarios de los proyectos se les ha denominado como “Historias de cambio”. La FGSR empezó a utilizar esta metodología a partir de su trabajo (en colaboración con el Cerlalc) en el programa Global Libraries de la Fundación Bill & Melinda. Se trata de la narración de historias como método estructurado que describe los resultados y el impacto de un proyecto desde el punto de vista de los destinatarios del mismo, por ejemplo, desde la historia que cuente la bibliotecaria que ha participado en un programa de formación en innovación o desde el testimonio de un ciudadano que ha participado en un taller de creatividad digital.

Cuando decimos que es un método estructurado es porque se lleva a cabo utilizando un protocolo de entrevista con estructura marcada desde el diseño de la evaluación, en la que cada una de las entrevistas ha de seguir una misma ruta en forma de cuestionario.

El objetivo es que los participantes ofrezcan una historia que refleje la experiencia y el cambio que esa persona ha experimentado. Las historias de cambio son muy interesantes porque nos permiten construir algunas conclusiones más cercanas a la ‘contribución’ que el proyecto ha supuesto para el sistema sobre el que actúa que a una ‘atribución’ directa de la totalidad de los cambios provocados.

Esta herramienta tiene dos ventajas evidentes:

• En cierto sentido, esta forma de entender la evaluación de impacto, sin ser la única, ni mucho menos, nos sitúa como evaluadores en un contexto de menor tensión y también de una complejidad técnica y costes inferiores a los de otras herramientas.
• La otra ventaja es que proporciona una materia prima óptima para la generación de piezas de comunicación que puedan ser usadas para la promoción del proyecto y la defensa del papel de la lectura en la sociedad.

Sin embargo, debemos reconocer que la desventaja general de esta herramienta es que no dota de una representatividad a la muestra porque no es habitual que se especifique si la visión aportada es compartida por todos los destinatarios y resulta muy difícil extraer conclusiones de este tipo; por este motivo lo ideal es completar el uso de esta herramienta con otra técnica.