Financiadores geralmente concordam que mais e melhores avaliações dos projetos financiados seriam uma coisa boa. Eles poderiam ajudar na avaliação do impacto dos projetos e, conseqüentemente, ao julgar se os doadores gastam o dinheiro bem ou mal. Mas como é que aqueles na ponta receptiva se sentem sobre os requisitos dos relatórios estabelecidos pelos doadores? Alliance pediu a três organizações que operam programas com o financiamento do governo como seu trabalho é afetado pelos sistemas de avaliação e requisições de informação dos doadores.
As opiniões de Pati Ruiz Corzo, diretora federal da Serra Gorda Biosphere Reserve, do México, são críticas. Sierra Gorda tem implementado um projeto de Global Environmental
Facility em parceria com grupos de base. Os “seres divinos, mercenários” que são contratados pelo GEF para realizar avaliações muito freqüentemente parecem “entender nada em profundidade”, diz ela. Pelo contrário, como tantos consultores, eles “atiram em torno de acusações infundadas” e produzem “análises tendenciosas”. “Eles não apreciam as realizações do projeto e subestimam o esforço local.” Ela conclui que existe um elemento de auto-interesse nas conclusões dessas pessoas: a menos que eles “encontrem erros, lacunas ou uma falta de estratégia, não podem justificar seu contrato pago”.
Ela considera que um dos principais problemas é que as exigências são elaboradas sem levar em consideração a situação local. “No nosso caso, os requisitos do projeto GEF foram estipulados na forma de uma ‘teoria de desktop’ completamente não familiarizada com contextos reais.”
Apoorva Oza, presidente da Aga Khan Rural Support Programme (Índia), é, pelo menos em princípio, mais positivo sobre avaliação. “Permitam-me colocar”, diz ele, “que sou um forte defensor de sistemas de avaliação para ONGs.” Ele admite, no entanto, que existem demasiados sistemas ruins, “muitos tipos espúrios, e alguns cujas bases não são coerentes aos seus relatórios. Muito trabalho precisa ser feito sobre os objetivos e a metodologia de elaboração de relatórios e sistemas de avaliação.”
De longe, a visão mais positiva das avaliações de quem falou foi a de Atallah Kuttab, diretor geral da Welfare Association, que opera principalmente na Palestina e no Líbano. “A nossa experiência é o que nos mantém focados e ajuda-nos a conseguir uma melhor transparência e accountability nos nossos programas. Além disso, ter principais doadores que apreciam monitorar/sistemas de avaliação nos ajuda a criar um sistema institucional dentro da Welfare Association, com uma parte das despesas cobertas pelos diversos doadores.”
As exigências da avaliação condicionam os projetos?
Consideravelmente, de acordo com Apoorva Oza. Num ambiente em rápida evolução, como a Índia, “até mesmo um projeto de cinco anos perde a validade temporal em algum momento. Uma ONG que rigidamente apega-se a isso vai perder oportunidades.” Ele concorda que os objetivos podem ajudar a manter foco, mas, “após dois ou três anos, quando são necessárias mudanças, esses objetivos tornam-se um obstáculo.”
Por outro lado, ele cita um subsídio da European Commission que deu uma certa flexibilidade quanto aos objetivos. “Tínhamos proposto apenas três linhas de itens para o desenvolvimento de recursos hídricos”, ele explica, “mas graças à flexibilidade que tivemos, acabamos com cerca de 20 tecnologias, mais baratas e mais fáceis de utilizar no final do projeto.”
Muitos projetos, acrescenta, estão sujeitos a “uma rígida rubrica no orçamento, e percentagens fixas de alavancagem prescrita [em que os doadores querem que os beneficiados acertem uma proporção do que eles dão como subsídio].” Exigências de informações são muitas vezes um fardo para alguns, já que são “focados no que entra”, sem atenção suficiente para o processo ou os resultados.
Aqui, de novo, Atallah Kuttab tem uma visão mais positiva, com uma reserva importante. Ele sente que eles são “muito úteis em termos de monitoramento, mas, por vezes, em termos de avaliação de impacto, tenho as minhas dúvidas.” Ele acrescenta: “A negativa é que, às vezes, os doadores têm sistemas diferentes (sobretudo os grandes) e que simplesmente acrescenta ao fardo sobre a nossa capacidade com pouco valor acrescentado aos resultados do programa”.
Os doadores compreendem os custos? “No nosso caso, sim”, diz Kuttab. Apoorva Oza concorda, mas sente que eles provavelmente subestimam “o custo do tempo de preparação e participação na avaliação, em especial para as comunidades”.
O efeito de aceitar de riscos
Mas o verdadeiro problema, sente Apoorva Oza, é o que ele descreve como o sistema de metas anuais que muitos doadores empregam. Em zonas de conflito, por exemplo, “se quisermos insistir sobre uma abordagem inclusiva, que envolva todas as castas de um projeto de barragem, a pressão para finalizar a barragem em um ano obriga-nos a um compromisso, em vez de tomar uma posição diante da comunidade dominante.” A preocupação com as metas anuais, ele diz, é “também uma razão pela qual muitas ONGs centram-se na implementação, em vez de política como nada pode ser alcançado em um ano em política de advocacy, que é sempre um risco, com elevada probabilidade de fracasso.”
Atallah Kuttab também considera que os sistemas de avaliação inibem a tomada de riscos, “levando em conta que doadores pagam pelas atividades do programa no âmbito dos objetivos específicos e recusam outros custos”. Ele considera que os doadores ocidentais são especialmente tímidos – ou, em suas próprias palavras, “completamente assustados” – de assumir riscos políticos, especialmente em programas de advocacy. Ele admite, porém, que é “ótimo ver a maioria dos nossos doadores correr riscos quando se trata de fazer trabalhos em Jerusalém, coisa que era tabu durante muitos anos, devido ao acordo de Oslo.”
O produto final
Quão úteis são os relatórios que estas avaliações produzem? “Eles são muito apreciados pelos gestores e doadores”, afirma Atallah Kuttab, “e que contribui para construir a confiança na nossa capacidade operacional, o que conduz a mais fundos disponíveis.” Até aqui, tudo bem. “Contudo”, prossegue, “o formato destes relatórios é útil apenas para o doador. A Welfare Association tem de fazer mais em termos de formatação e reestruturação de seus relatórios para torná-los úteis para o público mais amplo.”
Pati Ruiz é caracteristicamente condenatória. Os relatórios, diz ela, são “caros e volumosos documentos que prevêem nada de novo. Eles estão cheios de erros e imprecisões, sem uma contribuição construtiva.”
Uma melhor maneira?
Obrigações impostas pelos doadores à parte, as pessoas com quem falamos têm seus próprios sistemas de monitorar e avaliar seu trabalho. “Um bom sistema que temos neste momento”, afirma Apoorva Oza, “é uma breve avaliação anual, pela mesma pessoa (s), ao longo de cinco anos. Isso é melhor do que uma revisão bimestral ou semestral, já que o feedback pode ser trabalhado, e tanto as ONGs quanto os avaliadores aprendem juntos”.
Ele distingue dois tipos de avaliação: explícita, em que uma avaliação externa é feita à parte do projeto, e implícita, em que a avaliação é feita por meio dos requisitos dos relatórios do subsídio doado. “Avaliações explícitas, se bem feitas, têm resultados de todos, e eventualmente trabalhadas por qualquer ONG boa e autocrítica.”
Mesmo Sierra Gorda, apesar de suas más experiências, têm “ganhado no processo de profissionalização do nosso sistema de monitoramento e avaliação”. Pati Ruiz explica: “Temos procurado fora consultores do SVT Group de São Francisco para criar uma metodologia pioneira que reflete o retorno social e ambiental do nosso trabalho em quatro ramos: monetário, quantitativo, qualitativo e narrativo. Isso está sendo ajustado internamente como uma nova disciplina em padrões de relatórios, e esperamos ter indicadores objetivos e os números que nos dêem os elementos para reportar com mais transparência e de maneira concreta.”
Avaliando os avaliadores
Entre aqueles com quem falamos, portanto, as avaliações de doador-patrocinado recebem uma divulgação confusa. Mesmo nos casos em que as experiências são largamente positivas, há espaço para melhorias – por exemplo, para formatos de relatórios que são úteis para os beneficiados finais e não apenas para os doadores e gestores do projeto; ou para uma maior uniformização dos requisitos do relatório em que mais de um financiador está envolvido.
Um último ponto: a experiência de Pati Ruiz com o projeto Sierra Gorda a levou a sugerir que os próprios avaliadores deverão sofrer alguma forma de avaliação. “Com algumas exceções”, sugere ela, “os consultores devem ser avaliados e classificados em listas vermelhas”. Convém igualmente a possibilidade de “monitoramento acompanhado por pessoas que adquiriram experiência no campo e não escritórios”, que irão, portanto, ser mais capazes de reconhecer as realizações e os pontos fracos e ajudar a construir processos, “não julgando por ignorância aquilo que não entendem”. Muitos beneficiados irão, sem dúvidas, concordar com ela.
Andrew Milner é editor associado da revista Alliance.