Semana 19: Formas de descrever a diferença entre pesquisa e avaliação

Available languages
Feature2014-week19_0.jpg

Um dos desafios em trabalhar em avaliação é que importante termos (como "avaliação", "impacto", "indicadores", "monitoramento" e assim por diante) são definidos e usados de maneiras muito diferentes, por pessoas diferentes.

Às vezes, a mesma palavra é usada, mas com significados muito diferentes; outras vezes palavras diferentes são usadas para significar a mesma coisa. E, mais importante, muitas pessoas simplesmente desconhecem que outras pessoas usam essas palavras de maneiras diferentes.

Como o BetterEvaluation procura apoiar discussões e aprendizagem além de limites organizacionais , setoriais e disciplinares , é importante para nós encontrarmos maneiras de entender um ao outro.

Esta é a primeira de uma série sobre termos-chave na avaliação, que planejamos realizar. Esta primeira série apresenta quatro maneiras diferentes de refletir sobre pesquisa, em comparação com avaliação - e quando é útil usá-las.

Sendo uma pergunta constante em fóruns de discussão, é surpreendente como existem diversas formas de se refletir como avaliação é diferente de pesquisa. E isso pode ter implicações importantes na forma como planejamos, gerenciamos, ou treinamos pessoas para realizar uma avaliação - e também como comunicamos sobre o processo e a realização da avaliação.

1. Avaliação e pesquisa em uma dicotomia

Uma das maneiras mais comuns de se pensar sobre a diferença entre pesquisa e avaliação é como uma dicotomia - duas categorias distintas e mutuamente exclusivas. A pesquisa é vista como mais interessada em produzir conhecimento generalizável, mais teórica, algo mais controlado pelos pesquisadores – em contrapartida, a avaliação é vista como mais interessada no específico, no conhecimento aplicado, e em ser mais controlada por aqueles que financiam ou solicitam a avaliação.

Por exemplo, o recente “Evaluation Flash Cards” (fichas de referências em avaliação), desenvolvido por Michael Quinn Patton para a Fundação Otto Bremer, inclui a seguinte ficha sobre "avaliação versus pesquisa".

Pesquisa Avaliação
O objetivo é testar uma teoria, e produzir resultados generalizáveis O objetivo é determinar a eficácia de um programa específico ou modelo
As perguntas tem sua origem entre acadêmicos de uma disciplina As perguntas tem sua origem entre atores chave, e usuários primários dos resultados da avaliação
A qualidade e sua importância são julgadas por um comitê de uma disciplina A qualidade e sua importância são julgadas por aqueles que usarão os resultados, pra agir ou tomar decisões
O teste crucial do seu valor é sua contribuição para o conhecimento O teste crucial do seu valor é sua utilidade pra melhorar a eficácia

Patton, Michael Quinn (2014). Evaluation Flash Cards: Embedding Evaluative Thinking in Organizational Culture. St. Paul, MN:  Otto Bremer Foundation, ottobremer.org. https://ottobremer.org/news_stories/evaluation-flash-cards/

 

2. Avaliação e pesquisa, independentes uma da outra

Uma maneira diferente de se pensar sobre pesquisa e avaliação é vê-las como duas variáveis independentes, que não são mutuamente exclusivas. Uma atividade pode ser ambas, de pesquisa e avaliação - ou nenhuma delas. A pesquisa é sobre o que é empírico. Avaliação é sobre tirar conclusões avaliativas sobre qualidade, mérito ou valor.

 

Venn diagram

Uma pesquisa que não é uma avaliação envolve descrição factual, sem julgamentos sobre a qualidade - por exemplo, os dados do censo, dados de entrevistas que coletam descrições.

Avaliação que não é uma pesquisa envolve fazer julgamentos avaliativos, sem uma coleta sistemática de dados - por exemplo, um avaliador experiente que produz um julgamento sem coletar dados cuidadosamente.

Aonde estas duas atividades se sobrepõem é aonde as conclusões avaliativas foram baseadas em sistemáticas coletas e análises de dados.

3. Avaliação como um componente da pesquisa

Outros tipos de pesquisa (que não são avaliações) incluem pesquisa básica e pesquisa aplicada (que não incluem conclusões avaliativas).

 

Venn Diagram

Deste modo a avaliação é um componente da pesquisa. Por exemplo, Robert Endias em uma discussão no EVALTALK disse:

Engraçado como esta questão continua a surgir ao longo do tempo. Parece-me ser bastante simples. Este é o meu ponto de vista.

A pesquisa é um processo descritivo para fins de aprendizagem, fazendo perguntas como "o que é / foi?" ou "Quais são / foram as diferenças entre?" ou "O que acontece / aconteceu quando certas condições são / foram"?

A avaliação é um processo de julgamento, envolvendo a avaliação de descobertas / observações em face aos padrões, com o objetivo de tomar decisões, fazer perguntas como "O que é / foi bom?" ou "Qual é / foi o melhor?" ou "Quais as melhores condições, que devemos estimular, para se produzir os resultados desejados?"

Fazer pesquisa não requer necessariamente fazer avaliação. No entanto, fazer uma avaliação sempre requer fazer uma pesquisa.

Claro, podemos ter discussões infinitas sobre como valores e julgamentos infundem todos os atos humanos, incluindo o ato de pesquisar, e certamente o ato de avaliar. No entanto, a finalidade básica da pesquisa é observar e aprender, enquanto que a finalidade básica da avaliação é avaliar e decidir.

Robert Endias (1998) Research vs. Evaluation no grupo de discussão EVALTALK, da Associação Americana de Avaliação. Click aqui para informações em como acessar o EVALTALK.

Uma avaliação envolve várias atividades diferentes, inclusive enquadrando-o no propósito e no âmbito da avaliação, a formalização do processo de tomada de decisões, decidindo quem fará o quê, a coleta e analise dos dados, relatórios e como apoiar seu uso.

4. Pesquisa como um componente de avaliação

Esta visão considera que a pesquisa (a coleta de evidências empíricas) é uma das tarefas envolvidas em se fazer uma avaliação. Outras tarefas incluem: esclarecer ou negociar quem são os usuários primários desejados e suas principais intenções de uso, identificar as questões-chave da avaliação; esclarecer ou negociar recursos para responder às questões; e apoiar o uso dos resultados.

 

Venn diagram

Qual o enquadramento que devemos usar?

Cada um destes enquadramentos pode ser útil a objetivos específicos.

A dicotomia entre pesquisa e avaliação pode ser útil em situações onde é importante destacar características particulares do processo de avaliação. Por exemplo, Michael Patton, em uma discussão anterior no EVALTALK, fez referência a situações em que os principais usuários de uma avaliação estavam preocupados com a avaliação, por causa de suas conceptualizações e experiências anteriores com pesquisa:

Suas percepções sobre pesquisa tendem a ser de que é algo acadêmico, trabalhoso, esotérico, motivado pela necessidade em se publicar, e irrelevante. Agora, em face de tais percepções, onde existem, alguém poderia rebater com exemplos de pesquisas que não se encaixam neste estereótipo. Eu tenho outra lógica. Prefiro situar avaliação como diferente de pesquisa. A diferenciação que faço é baseada em padrões contrastantes.

...

O “Joint Committee Standards of Evaluation” (Comissão Conjunta de Padrões de Avaliação) oferece critérios um tanto diferentes para julgar avaliações que não são normalmente aplicados à pesquisa como pesquisa, ou seja, utilidade e viabilidade (praticidade).

...
Em meu trabalho, meus clientes se sentem aliviados e apreciam ter a avaliação diferenciada da pesquisa. Eles entendem que métodos de pesquisa serão utilizados, mas a finalidade da avaliação é diferente da pesquisa, os prazos são muitas vezes bastante diferentes, e as utilizações previstas são significantemente diferentes, como são os principais públicos-alvo, para as constatações da avaliação.

Em outras situações, outros enquadramentos são mais úteis. Em uma conversa esta semana na minha universidade, fui aconselhada a "não usar a palavra avaliação" para se referir ao trabalho que faço. Muitos dos meus colegas simplesmente não conseguem entender como eu posso ser uma pesquisadora séria, se estou focada em avaliação – o que eles associam a pesquisa de baixa qualidade, desenhada para apoiar uma decisão ou ação anteriormente tomada, ou simplesmente um modo de elaborar medidas para atingir objetivos pré-definidos. Nesta situação, é mais útil estruturar a discussão em forma de termos mutuamente independentes, e enfatizar que o trabalho que eu faço, realizando avaliações, esta na área de sobreposição, que é ao mesmo tempo avaliação E pesquisa.

Para uma organização analisando seu portfólio de atividades em gestão do conhecimento, o qual financia, pode ser útil pensar em avaliação como uma subcategoria da pesquisa, para que possam discutir como investir em uma gama de tipos de pesquisa, incluindo alguns que não são explicitamente avaliativos e alguns que são.
Ao planejar uma avaliação, pode ser útil pensar em pesquisa como uma subcategoria da avaliação, de modo que se preste atenção aos processos de formulação e gestão de uma avaliação, bem como os métodos de investigação específicos usados para coletar e analisar dados. O Quadro Arcoíris BetterEvaluation (BetterEvaluation Rainbow framework), explicitamente, tenta trazer questões sobre estas tarefas mais amplas da avaliação para o planejamento de avaliações.