Políticas Públicas: Avaliação - CGU

Cartões · 52

Eficiência (Conceito)

Relação ótima entre os insumos empregados (custos, tempo, recursos) e os produtos ou serviços gerados.

Eficácia (Conceito)

Grau de alcance das metas e dos objetivos imediatos previamente fixados, sem analisar custos.

Efetividade (Conceito)

Impacto real e transformação de longo prazo gerada no público-alvo ou na realidade social.

Economicidade (Conceito)

Minimização dos custos dos recursos aplicados sem comprometer os padrões adequados de qualidade.

Execução (Conceito)

Capacidade operacional e financeira de cumprir o cronograma físico e financeiro previsto.

Excelência (Conceito)

Conformidade com padrões rigorosos de qualidade e atendimento às expectativas dos usuários.

Pegadinha Cebraspe: Eficiência x Eficácia

A banca troca os conceitos: eficiência foca em processos e custos; eficácia foca no alcance de metas.

Pegadinha Cebraspe: Eficácia x Efetividade

Bater meta física (ex.: vacinar 1000 pessoas) é eficácia; erradicar a doença na região é efetividade.

Pegadinha Cebraspe: Eficiência garante Efetividade?

Não. Uma política pode ser eficiente (baixo custo e rápida) e completamente inefetiva socialmente.

Avaliação Ex-ante

Realizada antes da implementação para analisar viabilidade, custo-benefício e desenho da política.

Avaliação In-itinere (ou de Processo)

Feita durante a execução para monitorar atividades, rotinas e corrigir rumos tempestivamente.

Avaliação Ex-post

Executada após a conclusão para mensurar resultados finais, impactos duradouros e lições aprendidas.

Monitoramento x Avaliação

Monitoramento é contínuo e foca insumos/produtos; avaliação é periódica e aprofunda causas e efeitos.

Pegadinha Cebraspe: Monitoramento produz juízo de valor?

Falso. O monitoramento apenas acompanha indicadores; o juízo crítico de valor cabe à avaliação.

Avaliação de Impacto

Mede as alterações nas condições de vida do público-alvo atribuíveis exclusivamente à política.

Contrafactual (Conceito)

Cenário hipotético do que teria acontecido com os beneficiários caso a política pública não existisse.

Viés de Seleção

Diferença sistemática prévia entre tratados e controle que distorce a causalidade do impacto.

Pegadinha Cebraspe: Antes e Depois isola o impacto?

Falso. A simples comparação antes-depois não isola fatores externos nem constrói contrafactual válido.

Ensaios Clínicos Randomizados (RCT)

Método experimental padrão-ouro onde beneficiários e controle são sorteados aleatoriamente.

Diferenças em Diferenças (Diff-in-Diff)

Método quase-experimental que compara trajetórias no tempo entre tratados e controle sob hipótese de tendências paralelas.

Regressão Descontínua (RDD)

Método quase-experimental aplicado quando o acesso ao programa decorre de uma nota de corte rígida.

Pareamento por Escore de Propensão (PSM)

Técnica que emparelha indivíduos tratados e não tratados com base em características observáveis idênticas.

Pegadinha Cebraspe: PSM controla variáveis não observadas?

Falso. O PSM controla apenas características observáveis; variáveis omitidas mantêm o viés.

Avaliação Somativa

Julga o valor global e o mérito final de uma política ao término de seu ciclo para decidir sua continuidade.

Avaliação Formativa

Produz subsídios durante o ciclo para melhorar, ajustar e aprimorar a intervenção pública em curso.

Avaliação Interna (Conceito e Limite)

Feita pela própria equipe executora; ganha em conhecimento prático, mas perde em imparcialidade.

Avaliação Externa (Conceito e Limite)

Feita por agentes independentes; ganha em objetividade e credibilidade, mas pode carecer de detalhes do contexto.

Avaliação Mista ou Plural

Combina avaliadores internos e externos para equilibrar profundidade contextual e neutralidade crítica.

Pegadinha Cebraspe: Avaliação Externa é sempre superior à Interna?

Falso. Ambas possuem vantagens e desvantagens complementares; nenhuma é universalmente superior.

Teoria da Mudança (Marco Lógico)

Cadeia causal estruturada que liga insumos, processos, produtos, resultados imediatos e impactos finais.

Indicador de Insumo (Input)

Mede os recursos alocados (orçamento, pessoal, materiais) para viabilizar a política pública.

Indicador de Processo (Throughput)

Acompanha o ritmo e a conformidade das atividades e procedimentos operacionais executados.

Indicador de Produto (Output)

Mede as entregas diretas e imediatas geradas pela intervenção (ex.: pontes construídas, aulas dadas).

Indicador de Resultado (Outcome)

Mede os efeitos intermediários gerados no público-alvo (ex.: elevação do nível de aprendizado).

Indicador de Impacto (Impact)

Mede transformações estruturais de longo prazo (ex.: redução da pobreza ou aumento da renda média).

Pegadinha Cebraspe: Produto x Resultado

A Cebraspe confunde produto (bem/serviço entregue) com resultado (mudança comportamental ou situacional obtida).

Propriedade dos Indicadores: Validade

Capacidade de medir com precisão e exatidão o fenômeno que se pretende avaliar.

Propriedade dos Indicadores: Confiabilidade

Garantia de que medições repetidas sob condições similares fornecerão os mesmos resultados.

Propriedade dos Indicadores: Sensibilidade

Capacidade do indicador de captar variações sutis e mudanças recentes na realidade analisada.

Propriedade dos Indicadores: Economicidade

Custo razoável e proporcional para a coleta, tratamento e manutenção periódica dos dados.

Efeito Transbordamento (Spillover)

Impacto acidental gerado pela política sobre pessoas ou setores fora do grupo diretamente atendido.

Efeito Hawthorne

Mudança temporária de comportamento do público avaliado gerada apenas pelo fato de saber que está sendo observado.

Efeito John Henry

Reação reativa do grupo de controle que se esforça mais para competir com o grupo beneficiado.

Análise Custo-Benefício (ACB)

Compara custos e impactos de uma política convertendo ambos em unidades monetárias expressas.

Análise Custo-Efetividade (ACE)

Compara os custos monetários com resultados expressos em termos físicos ou sociais (ex.: custo por vida salva).

Pegadinha Cebraspe: Custo-Benefício monetiza resultados?

Verdadeiro. Na ACB tanto custos quanto benefícios sociais são expressos monetariamente; na ACE, não.

Meta-avaliação

Avaliação da própria avaliação para auditar a qualidade técnica, ético-metodológica e a utilidade dos laudos.

Auditoria de Desempenho Operacional (CGU)

Exame independente da economicidade, eficiência, eficácia e efetividade das políticas do Poder Executivo.

Abordagem Top-Down na Avaliação

Foca no cumprimento linear de objetivos traçados pelas altas esferas decisórias do governo.

Abordagem Bottom-Up na Avaliação

Privilegia a atuação dos burocratas de nível de rua e as adaptações locais na implementação prática.

Pegadinha Cebraspe: Efetividade exige vínculo de causalidade?

Verdadeiro. Sem método robusto que comprove causalidade, a variação observada não pode ser dita efetividade.

Grupo de Controle x Grupo de Comparação

Controle é formado estritamente por randomização pura; comparação é obtido por quase-experimentos.