Adaptado del publicado en https://evalparticipativa.net/ el 19 de abril de 2021
____________________________________________________

Introducción

Como expresé en mi breve comentario sobre la nota publicada en EvalParticipativa el 22 de marzo pasado: “Sistematización de experiencias y evaluación: cercanías y diferencias”, por Oscar Jara Holliday, mi primera reacción al leerlo fue la sorpresa. Sentí que era paradójico que ciertos argumentos sobre la evaluación aparecieran en el blog de Evaluación Participativa, me pareció algo así como un oxímoron, como una contradicción en sí misma.

Conozco los trabajos publicados por el autor de la nota, OJH, ampliamente difundidos y que han tenido gran influencia entre quienes nos dedicamos a la evaluación en los países de Hispanoamérica. E incluso he tenido la oportunidad de debatir directamente con él acerca del parentesco entre sistematización y evaluación. Nuestra conversación tuvo importancia para mí, tanto que en el libro que publiqué poco tiempo después (Nirenberg, O. 2013a), incluí un capítulo (el octavo) casi enteramente dedicado a la sistematización de experiencias, donde destaqué sus puntos de contacto con los enfoques de evaluación no tradicionales.

Aunque me he interiorizado sobre el enfoque y las metodologías de sistematización de experiencias y también las he puesto en práctica en varias ocasiones, acá me focalizaré en las referencias a la evaluación que contiene la citada nota, ya que, desde hace más años de los que me gustaría reconocer, ha venido siendo ése mi principal campo de actuación profesional. Confieso sentir un gran orgullo de que el campo de la evaluación se haya profesionalizado en los años transcurridos desde comienzos de la última década del siglo pasado hasta acá, o sea, un proceso que ya lleva más de 30 intensos años y que impregnó a los países de la región de Latinoamérica y Caribe (LAC).

Agradezco mucho a mis colegas coordinadores de EvalParticipativa, Pablo Rodriguez-Bilella y Esteban Tapella (PETAS/Universidad Nacional de San Juan) y Juan Carlos Sanz (Deval, Alemania), por darme la oportunidad de ampliar y enriquecer este debate.

La evaluación, sus finalidades y utilidades

La evaluación es una reflexión sistemática y programada, que se lleva a cabo utilizando información de calidad (confiable, relevante, actualizada), para emitir, mediante comparaciones y juicios valorativos fundamentados, recomendaciones útiles y viables para mejorar la acción y por ende sus resultados. Esas reflexiones se refieren a la acción que ya fue realizada, a la que está en curso o a la que se espera realizar (Nirenberg, O. 2013, a).

Quiero reiterar lo que en varias ocasiones he publicado, respaldándome en muchos otros colegas, acerca de que la evaluación no tiene una sola, sino al menos tres finalidades principales:

• • aprender desde la práctica,
  • mejorar la programación y la gestión de intervenciones, y
  • transparentar la gestión de intervenciones.

De modo que planteo mi discrepancia con la afirmación de la nota acerca de que la finalidad de aprendizaje es propia de la sistematización y que eso la diferencia de la evaluación. Por el contrario, según mi punto de vista, esa finalidad es compartida con la evaluación. En este punto adelanto mi opinión acerca del parentesco entre las utilidades de la evaluación y la sistematización: ambas contribuyen al propósito de conocer para transformar las situaciones de la realidad que son problemáticas o insatisfactorias. O sea, las dos plantean el conocimiento para la acción transformadora.

Evaluación según momentos, focos y según quienes la realizan

Recordemos que la evaluación considera diversos momentos y focos, los cuales a veces se pueden distinguir propiamente como tales, en forma de secuencia temporal, pero más a menudo como momentos conceptuales, en forma de secuencia lógica, de modo que los focos pueden superponerse, por ejemplo, en la evaluación ex post, donde también se presta atención a otros momentos o focos. Sintéticamente, son:

• • Evaluación diagnóstica o línea de base, con foco en la situación problemática inicial y su contexto.
  • Evaluación ex ante, con foco en la formulación o diseño de la intervención.
  • Evaluación concurrente, durante la implementación y con foco en los procesos (actividades).
  • Evaluación final o ex post, con foco en los resultados o efectos (esperados o no).

Esos momentos se vinculan, inciden entre sí y pueden superponerse, como se anticipó, sirviendo en muchas ocasiones como insumos unos de otros. En la nota de referencia, sólo se menciona la evaluación con foco en resultados y de éstos sólo considera aquellos que fueron programados, como si la evaluación no tuviera la obligación de indagar por aquellos efectos no esperados ni programados, sean positivos o negativos. Insisto, aunque sólo se realice evaluación al finalizar una intervención, se recurre a los restantes momentos (el diagnóstico, el diseño, los registros que reflejan la implementación) para dar mayor potencia explicativa a las conclusiones (juicios) y sostén a las recomendaciones evaluativas (Nirenberg, O. 2013, b).

La nota sobre la sistematización tampoco distingue entre tipos de evaluación según quien/es la realiza/n: externa, interna, autoevaluación, evaluación participativa. Cada uno de esos tipos o modalidades tiene ventajas y desventajas, por eso siempre aconsejo combinaciones sinérgicas, lo cual introduciría un quinto tipo de evaluación, como bien me observó mi colega y amigo Mario Robirosa, recientemente fallecido: la que él llamó “mixta”. En muchas ocasiones he aconsejado combinar momentos de autoevaluación con otros de evaluación externa, donde esta última tome como insumos relevantes los hallazgos que brinda la primera. Lo mismo puede suceder con la sistematización.

En relación con la autoevaluación (modalidad en la que estuve trabajando durante una década), aunque suele criticársele que allí se ejerce como juez y parte, quiero resaltar que sus ventajas derivan, justamente, de que son los protagonistas de la acción quienes llevan a cabo las reflexiones metódicas y sistemáticas, acerca de sus propios desempeños y resultados, para así alcanzar aprendizajes a partir de sus logros y fracasos, tal que les permitan proponer mejoras. Éstas posiblemente serán más viables y efectivas que aquellas que se soliciten o impongan desde niveles centrales o de parte de evaluadores externos.

Por lo dicho, para mí es evidente la familiaridad entre autoevaluación y evaluación participativa, donde los protagonistas en las diferentes fases del proceso evaluativo son sobre todo aquellos que se han involucrado, de un modo u otro, en la formulación e implementación, especialmente los destinatarios. Y me atrevo a afirmar que la autoevaluación y la evaluación participativa son las que más puntos de contacto tienen con la sistematización. Es por esto por lo que entiendo que las afirmaciones de la nota de OJH son una invitación al debate sobre qué es la evaluación y qué la emparenta o la distingue de la sistematización. Con ese ánimo, me permito analizar otros puntos polémicos de la nota en cuestión.

Juicios, comparaciones, recomendaciones y turbulencias

Acuerdo en que la evaluación siempre formula juicios valorativos fundamentados, y que eso quizás podría ser una diferencia con la sistematización; pero no coincido con la afirmación acerca de que esos juicios sólo se relacionen con los resultados. Por más que a la evaluación le importa mucho la cuestión de la eficacia (en qué medida se alcanzan los resultados deseados), también indaga sobre otros efectos no programados y considera otras dimensiones, particularmente los procesos desplegados en el marco de una intervención, puesto que permiten comprender, explicar, los resultados alcanzados (sean o no programados).

Esos juicios se formulan como respuestas a preguntas evaluativas. En ese sentido, la evaluación sigue el método socrático, que se remonta al siglo IV a.C. y que consiste en formular las preguntas adecuadas acerca de algo y luego debatir las respuestas por medio de fundamentos, evidencias y razonamientos. Es a través del debate (hoy diríamos, de la intersubjetividad) que se llega a construir nuevo conocimiento, para dar respuesta a los interrogantes planteados y así poder actuar mejor. Eso no significa que desconozca que el conocimiento es necesario pero no suficiente para actuar bien, como sí afirmaba Sócrates; hoy día tengo claro que para actuar bien se necesita además de un marco teórico y axiológico, así como de motivación.

Es válido lo que dice OJH acerca de que para emitir juicios valorativos fundamentados es necesario hacer comparaciones y que eso caracteriza a la evaluación. Pero, ante esta afirmación, yo añadiría que éstas no se realizan exclusivamente respecto de los objetivos y metas planteadas en la programación, sino y principalmente respecto del diagnóstico o línea de base y las situaciones problemáticas que fueron detectadas y priorizadas, apoyándose en una teoría del cambio (marco teórico).

En la evaluación de resultados las comparaciones se realizan respecto de diferentes parámetros (Nirenberg, O. 2013 a):

• • Situación inicial = línea basal = contra sí mismo a través del tiempo = “antes-después”.
  • Objetivos y metas que se plantearon.
  • Normas o estándares en otros contextos (promedio nacional, protocolos…)
  • Otras intervenciones similares en el propio o en otro contexto similar.
  • Grupo control similar pero donde no se realizó la intervención.

En la evaluación con foco en procesos se consideran principalmente el desarrollo de las actividades, sus modalidades, los tiempos destinados, las secuencias, los insumos utilizados, los productos y las coberturas que se obtuvieron, así como los avances en la sustentabilidad (institucionalización y expansión) de los procesos desarrollados. Se analizan los factores intrínsecos y contextuales que favorecen la gestión, así como los que la obstaculizan y que plantean necesidades de reprogramación. Aunque esos sean los énfasis, no se deja de lado la indagación sobre los efectos que se van consiguiendo a lo largo de la acción. En este momento evaluativo las comparaciones principales se realizan contrastando con:

• • La teoría del cambio o estrategia formulada.
  • Las corrientes teóricas actuales y vigentes acerca de la temática específica.
  • La consideración de cuestiones éticas y axiológicas generales y específicas sobre la temática.
  • Lo planteado en el plan de trabajo (actividades, responsables, tiempos previstos, metas de cobertura y producción, recursos asignados…).
  • La situación inicial y su contexto reflejados en el diagnóstico, incluyendo el mapeo de actores y recursos.
  • Los cambios en la situación inicial y su contexto ocurridos durante la implementación, que motivaron reprogramaciones.
  • Otras intervenciones similares o de la misma “familia” (por ejemplo, clusters o políticas o programas nacionales que se implementan en diferentes localizaciones).

También tengo discrepancias con la afirmación acerca de que la evaluación finaliza con los juicios valorativos fundamentados. Aunque éstos sí son un meollo, siempre he insistido que toda evaluación debe finalizar con recomendaciones para la acción futura con base en tales juicios. Los juicios evaluativos se asemejan a las conclusiones en el campo de la investigación y reitero que suelen ser respuestas a preguntas (o verificaciones de hipótesis) previamente planteadas o bien hallazgos inesperados encontrados en el camino de la indagación (serendipity¹). Si sólo se quedara en el enjuiciamiento, la evaluación se asemejaría al control o auditoría para la penalización. Pero hace al menos tres décadas que la evaluación dejó de ser eso.

Considero que las recomendaciones son una importante intersección entre evaluación y planificación y que reflejan los aprendizajes realizados en el proceso evaluativo, facilitan la reprogramación y por ende la mejora de la gestión.² El diseño de la intervención, su formulación inicial, es una hoja de ruta muy útil pues orienta las acciones, aunque acuerdo con OJH que eso siempre se contrasta con las realidades donde se interviene. Pero, pensar que lo programado al inicio es algo estático o lineal es desconocer las modalidades flexibles de las corrientes de planificación estratégica y participativa (Nirenberg, O. 2013, b). No se formula de una vez y para siempre, sino que la planificación debe acompañar en forma continua la implementación, pues ya está claro que durante sus diferentes etapas se requieren reprogramaciones o programaciones operativas con adecuaciones a los contextos cambiantes. Acá recuerdo de nuevo a Robirosa, pues él usaba, desde hace por lo menos 30 años, el concepto de “turbulencia” para caracterizar los contextos donde se llevan a cabo las intervenciones (Robirosa, M. 1990 y 2014).

Rigor metodológico y triangulaciones

Hay coincidencias entre los evaluadores acerca de la importancia de obtener información de calidad (confiable, relevante, actualizada) para fundamentar los juicios valorativos sobre los procesos de la acción y sobre sus resultados. Eso incluye los testimonios de los actores implicados, de quienes se involucraron en los distintos momentos de la intervención, particularmente los destinatarios, pero paralelamente deben considerarse otros registros implementados y otros datos cuanti y cualitativos relacionados y pertinentes.

En este punto vale recordar que un procedimiento importante, no el único, tanto para conseguir la confiabilidad de la información como el rigor metodológico de la evaluación es la triangulación. Con eso, principalmente se busca reducir la subjetividad individual, mediante la intersubjetividad, incluyendo diversos sujetos o diferentes puntos de vista. La evaluación suele realizar triangulación entre:

• • Tipos de evaluación (según quiénes evalúan y según momentos o focos).
  • Abordajes cuantitativos y cualitativos.
  • Diversas técnicas.
  • Distintas fuentes para obtención de información.
  • Distintos indicadores para mismos fenómenos.
  • Diferentes parámetros comparativos.
  • Múltiples actores.
  • Diferentes disciplinas.

Es el rigor metodológico el punto que más emparenta la evaluación con la investigación. El uso de técnicas cualitativas, por ejemplo las dinámicas grupales y las entrevistas, así como de herramientas adecuadas a los diferentes contextos y actores, son otro eslabón más que conecta la evaluación con la sistematización.

Evaluación Participativa y sistematización de experiencias

Para abundar en la conceptualización de la Evaluación participativa y reflejar, sin necesitar de otros argumentos, cuáles son los puntos de contacto con la sistematización de experiencias, resulta de mucha utilidad la reciente publicación “Siembra y Cosecha. Manual de evaluación participativa” (Tapella et al., 2021), donde acá cito textualmente los 7 principios en que esa modalidad se sustenta (véase página 58).

1. Los actores relevantes de la intervención o situación a evaluar son incorporados de manera activa y consciente en el proceso evaluativo, como sujetos de derecho.
2. El saber local es reconocido como conocimiento válido y necesario para la gestión.
3. Los representantes institucionales trabajan de modo asociado con los actores locales en el diseño, la implementación e interpretación de los hallazgos evaluativos.
4. El uso de técnicas y materiales didácticos facilita el diálogo, al generar espacios y procedimientos para la recolección, el análisis y el uso de la información.
5. Los actores participantes o partes interesadas se apropian tanto de los procesos como de los resultados de la evaluación.
6. El proceso evaluativo refuerza las competencias locales de planificación y toma de decisiones participativas.
7. Los agentes externos actúan como facilitadores de los procesos de gestión y evaluación.

Me atrevo yo a agregar a esos principios los tres que siguen, conformando así un decálogo:

8. La participación debe ser promovida / estimulada en forma continua.
9. Escuchar y aceptar posturas críticas.
10. Procurar la superación de resistencias de actores reticentes a la participación.

Sin duda hay grandes desafíos en la conformación de espacios multiactorales donde se verifique una genuina participación y se generen verdaderas áreas de igualdad, tendientes a lograr un mejor conocimiento orientado a la acción para mejorar o superar situaciones problemáticas. Vale la pena leer ese manual para comprender mejor las conexiones entre evaluación participativa y sistematización de experiencias.

Evaluación y sistematización: un ejemplo

Comencé expresando que no me inmiscuiría en los procedimientos de la sistematización. Sin embargo, quiero finalizar este artículo con el ejemplo de una intervención que coordiné, donde la sistematización fue un paso y un insumo relevante para la evaluación. Con eso no quiero decir que siempre la sistematización sea una etapa o un insumo para la evaluación.

Me refiero al Método IACE³ de autoevaluación escolar que se desarrolló e implementó durante una década, 2007 a 2017, en 3.245 escuelas de los tres niveles obligatorios de 7 provincias del noroeste y noreste del territorio argentino. La cooperación de UNICEF Argentina, a través de convenios con el Centro de Apoyo al Desarrollo Local (CEADEL) al que pertenezco, y con los ministerios de educación de esas provincias, posibilitaron el desarrollo y las aplicaciones del método autoevaluativo (Nirenberg, O. 2018 y 2019).

Ese método promueve el protagonismo de directivos, docentes, estudiantes y sus familiares. Esto permite que, a la vez que entre todos identifican y priorizan las problemáticas prevalentes en sus respectivas escuelas, realizando conjuntamente una serie de ejercicios evaluativos, culminen con la formulación de un plan de acción para la superación de los problemas priorizados, que implementan y es monitoreado durante el siguiente año lectivo.

Uno de los pasos del método consiste en la sistematización de los procesos desarrollados en cada escuela durante la autoevaluación y la aplicación del plan de acción. Para eso realizan el procesamiento y análisis de los registros pautados para el seguimiento, que se triangulan con dinámicas grupales con los actores involucrados y entrevistas a los directivos. Ese producto, aparte de servir como documentación de la memoria y el aprendizaje para los integrantes de cada establecimiento, es también consolidado para el conjunto en cada jurisdicción. Tal consolidación es uno de los principales insumos para la evaluación de la intervención evaluativa y de las implementaciones de los planes de acción. Así, no sólo se trata de mejorar la gestión de cada escuela, sino además se procura incidir en las políticas educativas provinciales, lo que introduce un cambio en la dirección de los procesos de formulación de políticas: desde abajo hacia arriba. En los dos primeros enlaces que se mencionan seguidamente, se puede acceder a información complementaria sobre este caso.

Bibliografía

• Nirenberg, Olga
• • 2019. Un método participativo para la evaluación escolar: el IACE. Buenos Aires. Argentina. En: https://evalparticipativa.net/recursos/experiencias
  • 2018. Autoevaluación Institucional: Un camino para mejorar la gestión escolar y las políticas educativas. Ed. TESEO. Buenos Aires, Argentina. También en línea: www.ceadel.org.ar
  • 2013, a. Formulación y evaluación de intervenciones sociales. Políticas – Planes – Programas – Proyectos. Colección Conjunciones. Ed. NOVEDUC. Buenos Aires, Argentina.
  • 2013, b. Evaluación de intervenciones sociales participativas orientadas a jóvenes. Ponencia presentada en el Congreso Internacional de Investigadores Sobre Juventud, La Habana, Cuba. Cuaderno de CEADEL nº 50. En línea: www.ceadel.org.ar
• Nirenberg, Olga, Brawerman, Jossette y Ruiz, Violeta.
• • 2003. Programación y Evaluación de Proyectos Sociales. Aportes para la racionalidad y la transparencia. Editorial Paidós, colección Tramas Sociales, volumen 19. Buenos Aires. Argentina.
  • 2000. Evaluar para la Transformación: innovaciones en evaluación de programas y proyectos sociales, editorial Paidós, colección Tramas Sociales, Vol. 8. Buenos Aires. Argentina.
• Perrone, Néstor y Nirenberg, Olga. 1994. Evaluación para el Cambio; Ed. Organización Panamericana de la Salud – OPS –, Washington DC. USA.
• Robirosa, Mario. 2014. Turbulencia y gestión planificada. Ed. EUDEBA. Buenos Aires, Argentina.
• Robirosa M., Cardarelli G. y Lapalma A. 1990. Turbulencia y Planificación Social. UNICEF, Ed. Siglo XXI, Buenos Aires, Argentina.
• Tapella, Esteban; Rodriguez-Bilella, Pablo; Sanz, Juan Carlos y otros. 2021. Siembra y Cosecha, Manual de Evaluación participativa. Bonn, Alemania, DEval. En línea: https://evalparticipativa.net/

___________________________________________________________

¹ Se refiere a un descubrimiento o un hallazgo afortunado e inesperado que se produce cuando se está buscando otra cosa distinta.

² Vale mencionar que otra intersección que suelo señalar entre evaluación y planificación es el momento del diagnóstico que sirve para la determinación de necesidades y situaciones problemáticas a afrontar a través de la planificación e implementación, y como línea de base o parámetro comparativo para la evaluación en sus diferentes momentos ulteriores.

³ La sigla significa: Instrumento de Autoevaluación de la Calidad Educativa; más información en https://ceadel.org.ar/IACEunicef/