Iniciativa em parceria com Itaú Social e Fundação Roberto Marinho, a série retrata três etapas fundamentais do processo avaliativo: antes, durante e depois.
A avaliação é considerada um dos pilares para o fortalecimento e a ampliação da legitimidade do campo do Investimento Social Privado (ISP) no Brasil. Em tempos de desafios sociais, econômicos e políticos, muitos institutos, fundações e empresas têm utilizado a estratégia como forma de assegurar que suas ações estejam cada vez mais alinhadas com a produção de bens públicos.
Impulsionadas por necessidades diversas como mensuração do impacto, comunicação dos resultados, ampliação de parcerias, orientação para a tomada de decisão, aperfeiçoamento dos projetos, entre outras, as práticas de monitoramento e avaliação podem ser processos promotores de intenso aprendizado organizacional, bem como estreitamento dos elos entre os diversos atores envolvidos, aproximando as instituições de seu sentido público mais amplo.
Uma das agendas estratégicas do GIFE, a prática é uma realidade entre seus associados. De acordo com o último Censo GIFE, 99% dos respondentes se declaram aderentes a alguma modalidade de avaliação e/ou monitoramento.
Atentos a esse cenário, GIFE, Itaú Social e Fundação Roberto Marinho promoveram o Ciclo de Encontros de Avaliação 2016-2017. A ação consistiu em quatro encontros que envolveram investidores, gestores, implementadores e avaliadores ligados ao campo do investimento social privado para refletir sobre os principais aprendizados, desafios e pontos de atenção que caracterizam três etapas fundamentais de qualquer processo avaliativo: o antes, o durante e o depois.
O Ciclo de Encontros de Avaliação 2016-2017 concretizou um espaço de estudos e trocas em torno de perguntas fundamentais: Por que fazer avaliação? Como se organizar para isso? Como fomentar a cultura de avaliação numa organização? Quais os desenhos avaliativos possíveis? Como melhor utilizar seus resultados? Como melhor relacionar avaliação e estratégia organizacional? Como comunicar os achados?
A iniciativa foi sistematizada em três publicações que reúnem reflexões a partir das falas dos diversos atores que analisaram os principais elementos do fazer avaliativo em diferentes perspectivas.
Criar condições antes de avaliar
O primeiro encontro do Ciclo de Encontros de Avaliação 2016-2017 destacou um conjunto de elementos que caracteriza o momento anterior à avaliação, configurando algumas das condições necessárias e ideais para o processo avaliativo de uma iniciativa socioambiental.
Os debates foram sistematizados na primeira publicação da série: Avaliação para o investimento social privado: criar condições antes de avaliar | 1o Encontro: antes.
Um painel de práticas avaliativas contou com o aporte de Cloves Carvalho, diretor-presidente do Instituto Votorantim, na perspectiva de um gestor de instituto empresarial; Mirela de Carvalho, gerente de gestão do conhecimento do Instituto Unibanco, que falou como gerente interna de avaliações; Marcia Florêncio, gerente de Educação do Centro Integrado de Estudos e Programas de Desenvolvimento Sustentável – CIEDS, falando do ponto de vista de uma organização parceira de implementação; e Simone Coelho, diretora-presidente do IDECA, que falou como avaliadora externa.
Após esse panorama, Daniel Brandão, sócio-diretor da Move – Avaliação e Estratégia em Desenvolvimento Social, abordou o tema por meio do questionamento e da desmistificação de crenças.
Patrícia Lacerda, gerente de educação do Instituto C&A, apresentou uma perspectiva teórica e prática do lugar de quem toma decisões sobre gestão estratégica de programas e projetos, enfatizando os princípios a serem considerados para que uma avaliação se desenvolva como efetiva fonte de aprendizagem.
Dentre os elementos abordados, ressaltou-se a importância da construção permanente de uma cultura de avaliação nas instituições e no terceiro setor de maneira geral; de ter clara e bem definida a finalidade da avaliação, tendo em vista as necessidades avaliativas do projeto e de seus atores; das perguntas avaliativas, que oferecerão um importante contorno para a avaliação, orientando todo o processo posterior de maneira a colher informações que sustentem respostas consistentes e sirvam à finalidade da avaliação previamente pactuada; e, por fim, do envolvimento dos diferentes atores relacionados ao projeto, tanto como meio de fomento à cultura de avaliação, quanto para potencializar a própria avaliação ao alinhar compreensões, objetivos e expectativas em relação a ela e ao projeto.
Sobre o último aspecto, Mônica Pinto, gerente de desenvolvimento institucional da Fundação Roberto Marinho, ressalta o desafio e a importância de garantir o foco sobre o que é realmente relevante em meio a tantos desejos e intenções distintas. “Dentre os diferentes atores envolvidos em um projeto ou programa, existem múltiplas percepções e expectativas sobre o próprio projeto e, principalmente, sobre a avaliação. Nesse sentido, não apenas é fundamental ter consciência e clareza da diversidade de intenções em jogo num processo avaliativo, mas também manejar essas múltiplas intencionalidades de forma adequada.
Definir o caminho metodológico mais adequado
Uma vez conscientes dos elementos que caracterizam o início de um processo avaliativo, quais seriam as principais questões que se instalam durante a avaliação? Quais aspectos envolvem um desenho metodológico? Quais variáveis se colocam na definição de uma abordagem? O quanto o gestor precisa ter clareza das opções existentes e o quanto o avaliador precisa conhecer o projeto para bem defini-las? Como a avaliação pode responder de maneira adequada às demandas e aos limites de cada iniciativa? Existe uma concepção de impacto mais adequada do que outra? Existe uma abordagem melhor do que a outra? Quais as questões que se colocam na gestão de uma avaliação? Como, afinal, assegurar a melhor escolha metodológica tendo em vista a utilidade e a finalidade da avaliação?
O segundo e o terceiro encontros do Ciclo de Encontros de Avaliação 2016-2017 reuniram avaliadores, gestores e diferentes profissionais do terceiro setor para refletir e debater sobre os principais aprendizados e pontos de atenção que caracterizam o durante na avaliação de iniciativas socioambientais, voltando-se principalmente ao desafio que se coloca nas escolhas que envolvem o desenho metodológico da avaliação.
Os debates estão consolidados na segunda publicação da série: “Avaliação para o investimento social privado: definir o caminho metodológico mais adequado | 2o e 3o Encontros: Durante”.
O segundo encontro contou com a presença de Daniel Santos, avaliador e professor de Economia da Universidade de São Paulo de Ribeirão Preto, que trouxe reflexões acerca das vantagens e limitações da avaliação de impacto e dos métodos experimentais; Thomaz Chianca, avaliador e sócio-gerente da COMEA Avaliações Relevantes, que abordou a avaliação segundo perspectiva dos métodos mistos, orientada por rubricas e construção de valores; e Eduardo Marino, gerente da área de Conhecimento Aplicado da Fundação Maria Cecília Souto Vidigal, que abordou a importância de os processos avaliativos e a definição dos métodos estarem orientados para conceder subsídios a tomadas de decisão.
Já o terceiro encontro promoveu um debate sobre três dos casos avaliativos previamente enviados por organizações participantes e selecionados pela curadoria do evento.
O evento também contou com um painel de especialistas composto por Thereza Penna Firme, professora adjunta da UFRJ e coordenadora do Centro de Avaliação da Fundação Cesgranrio, que enfatizou aspectos de uma avaliação qualitativa e sensível à escuta de crianças e jovens; Ana Hermeto, pesquisadora do Centro de Desenvolvimento e Planejamento Regional da Universidade Federal de Minas Gerais, que abordou questões e desafios no desenho de avaliações de projetos com diferentes perfis, possibilidades e necessidades avaliativas; e Mônica Pinto, gerente de desenvolvimento institucional da Fundação Roberto Marinho, que procurou explicitar os principais aspectos que o gestor de investimento social privado deve considerar ao longo de uma avaliação.
Para Mônica, um desafio que se coloca é chegar a um desenho metodológico que garanta a complexidade e a riqueza necessárias a um processo avaliativo sem simplificar ou dispersar a análise, chegando a uma abordagem que, dadas as condições, seja exequível e que de fato se aproxime da complexidade de uma ação social e de sua avaliação.
Comunicar e utilizar a avaliação de maneira efetiva
O quarto e último evento do Ciclo de Encontros de Avaliação 2016-2017 reuniu avaliadores, gestores, implementadores e outros profissionais para refletir e debater sobre os principais aprendizados e pontos de atenção que caracterizam o depois na avaliação de iniciativas sociais, voltando-se principalmente aos desafios da comunicação e do uso da avaliação.
As discussões deram vida à terceira publicação da série: “Avaliação para o investimento social privado: comunicar e utilizar a avaliação de maneira efetiva | 4o Encontro: Depois”.
O encontro contou com a presença das gestoras do Instituto Ayrton Senna Inês Miskalo e Carolina Serain demonstrando a experiência do Instituto na articulação entre avaliação e governança institucional; Angela Luiz, gestora da Comunidade Educativa CEDAC, que aportou reflexões sobre o papel da matriz avaliativa institucional como orientadora da gestão organizacional; e Clarice Mendonça e Guilherme Silveira, avaliadores da empresa de consultoria Herkenhoff & Prates, que discutiram os mitos e verdades da avaliação, com enfoque no uso e na comunicação.
Além desses, Paula Miraglia, co-fundadora do Nexo Jornal, exemplificou e refletiu sobre diferentes formatos possíveis de comunicação de dados, informações e ideias; Anna Penido, diretora executiva do Inspirare, ofereceu reflexões sobre as características da comunicação de conteúdos aportando um caso de pesquisa realizada com jovens; e Angela Dannemann, superintendente do Itaú Social, refletiu sobre os desafios da comunicação de resultados voltada à incidência em políticas públicas.
O debate expôs, dentre as condições que podem favorecer o uso da avaliação, justamente aquelas relacionadas às condições ideais de início do processo avaliativo, reafirmando a importância da existência de uma cultura de avaliação, do envolvimento dos diferentes atores e da clareza sobre a finalidade da avaliação.
Outro apontamento relevante do debate refere-se às atenções necessárias à comunicação dos resultados, concluindo que o planejamento da comunicação desde o início do processo otimiza o uso das informações produzidas. Dentre as características a serem consideradas para o desenho da comunicação de resultados estão a clareza sobre o objetivo da comunicação, o cuidado com a narrativa a ser construída para engajar o interlocutor, a definição dos públicos e dos possíveis formatos a serem empregados. A atenção a essas características contribui para o ajuste entre conteúdo, forma e público, garantindo a transmissão efetiva da informação e favorecendo a utilização dos resultados obtidos pela avaliação.
Angela Dannemann, do Itaú Social, afirma que a instituição sempre trabalhou com a avaliação quantitativa de impacto e que o momento atual traz para junto dessa abordagem outras metodologias.
“Essa avaliação quantitativa segue sendo feita, mas agora com um olhar mais voltado ao pensamento avaliativo, que enriquece uma metodologia que é econométrica com a utilização de métodos mistos, desde o desenho do programa, o que significa trazer o avaliador para o próprio desenvolvimento da ação, da missão da instituição, e a gente fazer as avaliações acompanhadas de monitoramento que, dentro da gestão, é a coisa mais importante.”
Saiba mais
Além da série de publicações que sistematizam os encontros do Ciclo, o tema foi foco de duas mesas no X Congresso GIFE. Os debates estão disponíveis na íntegra no canal do Youtube do GIFE: “Avaliação – 10º Congresso GIFE” e “Avaliação: por um investimento social mais transformador”.
Notícias e outros conteúdos sobre o tema podem ser acessados na página dedicada à agenda estratégica no site do GIFE.
Outras publicações sobre o assunto podem ser acessadas aqui.
