CGU: IA e Rastreabilidade (Cebraspe)

Cartões · 50

A rastreabilidade em IA exige o registro dos dados de treino, parâmetros e versões do modelo.

CERTO. A governança e a auditoria em IA exigem registro completo da linhagem de dados, versões de código, hiperparâmetros e pesos para possibilitar a reprodução e verificação de decisões.

A rastreabilidade de dados (data lineage) prescinde do monitoramento das transformações no ETL.

ERRADO. O data lineage exige obrigatoriamente o rastreamento ponta a ponta, incluindo todas as etapas de extração, transformação e carga (ETL), para garantir a integridade dos dados usados pelo modelo.

No contexto da CGU, a explicabilidade (XAI) substitui totalmente a necessidade de rastreabilidade.

ERRADO. A explicabilidade torna o processo decisório compreensível para humanos, enquanto a rastreabilidade garante a comprovação histórica dos passos e insumos. Ambos são princípios complementares.

O versionamento de modelos pode ser realizado por ferramentas como MLflow, DVC e Git LFS.

CERTO. Tais ferramentas viabilizam o gerenciamento do ciclo de vida de Machine Learning (MLOps), permitindo auditar alterações em códigos, artefatos pesados e datasets ao longo do tempo.

A rastreabilidade algorítmica impede a identificação de viés discriminatório nos dados de treino.

ERRADO. Ao contrário, o rastreamento rigoroso das fontes e transformações dos dados é condição essencial para identificar, auditar e mitigar vieses históricos ou amostrais nos modelos de IA.

Modelos do tipo caixa-preta (black-box) inviabilizam a aplicação de técnicas de interpretabilidade.

ERRADO. Existem métodos agnósticos a modelos (post-hoc), como SHAP e LIME, desenhados especificamente para gerar interpretabilidade e explicar saídas de algoritmos opacos.

O SHAP baseia-se na teoria dos jogos cooperativos para mensurar a contribuição de cada feature.

CERTO. O SHAP (SHapley Additive exPlanations) fundamenta-se nos valores de Shapley da teoria dos jogos para quantificar de forma consistente o impacto de cada variável na predição.

O método LIME explica predições globais aproximando o modelo complexo por regressão não linear.

ERRADO. O LIME foca em explicações locais (em torno de uma predição individual), construindo um modelo interpretável simples (geralmente linear) ao redor da instância analisada.

A rastreabilidade em IA visa atender a princípios constitucionais como a publicidade e motivação.

CERTO. Atos administrativos apoiados por IA devem ser passíveis de controle social e judicial, demandando fundamentação, rastreabilidade técnica e respeito ao devido processo legal.

O conceito de drift de dados (data drift) refere-se à mudança na distribuição estatística dos dados.

CERTO. O data drift ocorre quando a distribuição das variáveis de entrada se altera em relação aos dados de treinamento, exigindo monitoramento contínuo para evitar perda de acurácia.

Concept drift ocorre quando as entradas mantêm a distribuição, mas a relação com o alvo muda.

CERTO. Concept drift é a mudança na relação estatística entre as features e a variável dependente (alvo), demandando re-treinamento e auditoria da governança do modelo.

A rastreabilidade dispensa a gravação de logs de inferência executadas em ambiente de produção.

ERRADO. Os logs de inferência (dados de entrada da requisição, predição de saída, timestamp e versão do modelo) são essenciais para auditoria posterior de decisões automatizadas.

A LGPD veda integralmente o uso de sistemas de IA para decisões automatizadas no setor público.

ERRADO. A LGPD não proíbe decisões automatizadas; o artigo 20 assegura ao titular o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado.

Na LGPD, o titular tem direito à revisão humana em qualquer decisão automatizada.

ERRADO. Com a alteração promovida pela Lei nº 13.853/2019, o texto legal prevê direito de revisão de decisões automatizadas, tendo sido vetada a obrigatoriedade explícita de revisão 'por pessoa natural'.

A proveniência de dados (data provenance) mapeia origens e transformações ao longo do ciclo de vida.

CERTO. A proveniência documental detalha quem gerou os dados, onde, quando e quais processos os alteraram, sendo elemento central da rastreabilidade e integridade para auditoria.

Na auditoria de IA pela CGU, a reprodutibilidade é a capacidade de obter resultados idênticos.

CERTO. Reprodutibilidade requer dados de treino idênticos, sementes aleatórias (seeds) fixadas e mesmo ambiente computacional para validar experimentos e decisões automatizadas.

O princípio da não discriminação em IA dispensa métricas formais de paridade estatística.

ERRADO. Para garantir auditoria objetiva da equidade (fairness), a governança exige o uso de métricas matemáticas, como paridade demográfica e igualdade de oportunidades.

Sistemas de IA de alto risco dispensam avaliação prévia de impacto ético e de privacidade.

ERRADO. Padrões internacionais e regulatórios exigem Avaliação de Impacto Algorítmico (AIA) e Relatório de Impacto à Proteção de Dados (RIPD) antes da implantação de sistemas de alto risco.

Em MLOps, o Model Registry centraliza metadados, versões e estágios de ciclo de vida dos modelos.

CERTO. O Model Registry armazena modelos treinados, suas versões, métricas de avaliação e fases (staging, production, archived), viabilizando rastreabilidade estrita.

Hashing criptográfico de datasets inviabiliza a verificação de integridade dos dados de treino.

ERRADO. Hashes criptográficos (como SHA-256) geram assinaturas digitais dos datasets, permitindo verificar com precisão se os dados sofreram alterações não autorizadas.

O Framework de Gerenciamento de Riscos de IA do NIST estrutura-se em Govern, Map, Measure e Manage.

CERTO. O AI RMF 1.0 do NIST organiza-se nessas quatro funções centrais para promover sistemas de IA confiáveis, éticos, rastreáveis e seguros.

A rastreabilidade ponta a ponta em IA exclui a análise de dependências de bibliotecas de software.

ERRADO. A infraestrutura de software, versões de bibliotecas (pip/conda) e dependências de ambiente também devem ser congeladas e documentadas para garantir reprodutibilidade.

O uso de contêineres como Docker contribui diretamente para a reprodutibilidade de sistemas de IA.

CERTO. Contêineres encapsulam código, bibliotecas, variáveis de ambiente e dependências do sistema operacional, padronizando o ambiente de execução e facilitando a auditoria.

Explicações por contrafactuais indicam a alteração mínima de atributos para mudar uma predição.

CERTO. As explicações contrafactuais revelam o que o indivíduo ou o dado precisaria alterar minimamente para que o modelo emitisse uma decisão diferente (ex: concessão de crédito).

A rastreabilidade dispensa a catalogação e rotulagem das variáveis sensíveis utilizadas no modelo.

ERRADO. O inventário de dados e a catalogação explícita de dados sensíveis (gênero, raça, etc.) são essenciais para auditar se o modelo incorre em discriminação direta ou indireta.

Viés por variável substituta (proxy) ocorre quando variáveis correlacionadas embutem viés sensível.

CERTO. Mesmo excluindo atributos sensíveis protegidos, o modelo pode aprender discriminação por meio de variáveis correlacionadas, como CEP ou histórico de consumo.

Auditorias contínuas de modelos em produção independem do rastreamento de métricas de desempenho.

ERRADO. A auditoria contínua depende fundamentalmente do monitoramento de métricas como precisão, recall, F1-score e latência ao longo do tempo para detectar degradação.

O DVC (Data Version Control) gerencia grandes arquivos de dados integrando-se nativamente ao Git.

CERTO. O DVC armazena ponteiros leves dentro do Git enquanto direciona os arquivos volumosos e datasets para storages externos (S3, GCP, servidores locais), viabilizando rastreabilidade.

A prestação de contas (accountability) em IA transfere a responsabilidade final para o algoritmo.

ERRADO. A accountability determina que as pessoas e instituições públicas desenvolvedoras ou utilizadoras do sistema são sempre as responsáveis éticas e jurídicas pelos resultados.

O Princípio da Transparência em IA exige a publicação irrestrita de códigos-fonte proprietários.

ERRADO. A transparência deve harmonizar-se com segredos industriais e segurança pública, focando em explicabilidade, documentação técnica, objetivos e salvaguardas de conformidade.

A auditoria de conformidade (compliance) de IA afere apenas a precisão matemática do classificador.

ERRADO. A auditoria de conformidade examina legalidade, segurança da informação, aderência à LGPD, ausência de discriminação injusta, explicabilidade e trilhas de auditoria.

O uso de sementes aleatórias (random seeds) em algoritmos estocásticos é irrelevante para auditoria.

ERRADO. Fixar sementes aleatórias é mandatório para permitir que o treinamento de algoritmos com componentes estocásticos (como florestas aleatórias ou redes neurais) seja reproduzido.

A rastreabilidade algorítmica permite realizar o rollback para versões anteriores do modelo.

CERTO. Com a linhagem preservada e versionamento em MLOps, é possível reverter rapidamente para uma versão anterior e estável caso o modelo atual apresente falhas ou derivação severa.

O conceito de Human-in-the-loop preconiza a supervisão e intervenção humana nas decisões da IA.

CERTO. Human-in-the-loop (HITL) assegura que especialistas humanos avaliem, validem ou possam cancelar decisões tomadas ou recomendadas por sistemas inteligentes de alto impacto.

Sistemas de IA autônomos no setor público gozam de presunção absoluta de veracidade e legalidade.

ERRADO. A atuação do setor público se sujeita ao controle de legalidade e motivação; predições algorítmicas são atos de suporte ou atos administrativos anuláveis quando eivados de vícios.

A rastreabilidade de hiperparâmetros inclui o registro da taxa de aprendizado e épocas de treino.

CERTO. Todos os hiperparâmetros configurados durante os experimentos devem ser devidamente catalogados para justificar o desempenho alcançado e permitir validação técnica.

Em auditoria, o teste de estresse (stress testing) avalia a robustez do modelo em condições extremas.

CERTO. Esse teste expõe o modelo a cenários anômalos, dados ruidosos ou inputs adversários para mensurar os limites de confiabilidade e segurança da aplicação.

Explicabilidade intrínseca é característica de modelos interpretáveis por design, como árvores rasas.

CERTO. Modelos transparentes por natureza (árvores de decisão curtas, regressão linear) possuem funcionamento compreensível diretamente de seus parâmetros, sem métodos post-hoc.

O descarte de dados históricos de treinamento é boa prática para otimizar custos de auditoria.

ERRADO. O descarte de dados impede a realização de auditorias retrospectivas e a reconstrução dos passos de inferência, contrariando as exigências de rastreabilidade governamental.

O monitoramento de latência e consumo de hardware integra a observabilidade de sistemas de IA.

CERTO. A observabilidade ampla envolve métricas de engenharia (CPU, memória, latência, erros 5xx) combinadas com métricas de negócio e estatísticas dos dados de ML.

Técnicas de perturbação de dados são utilizadas para avaliar a robustez e sensibilidade de modelos.

CERTO. Ao alterar pequenos valores das entradas, os auditores verificam se oscilações mínimas causam variações desproporcionais ou inconsistentes nas saídas preditivas.

O conceito de Data Quality envolve acurácia, integridade, consistência e tempestividade dos dados.

CERTO. A qualidade dos dados é pilar estruturante da rastreabilidade; modelos treinados com dados inconsistentes ou desatualizados produzem resultados enviesados (garbage in, garbage out).

A auditoria de caixa-branca analisa o algoritmo com pleno acesso a código, pesos e dados de treino.

CERTO. Diferente do teste de caixa-preta, a auditoria de caixa-branca inspeciona diretamente a arquitetura interna, o código-fonte, os artefatos de treinamento e parâmetros do modelo.

Falsos positivos em modelos de detecção de fraudes da CGU geram apenas custos de processamento.

ERRADO. Falsos positivos podem imputar injustamente suspeitas a gestores íntegros, gerando danos morais, perda de tempo em apurações infundadas e desperdício de recursos públicos.

Model Cards são documentos padronizados que descrevem o desempenho, contexto e limites do modelo.

CERTO. Propostos por pesquisadores para padronizar a governança de IA, os Model Cards detalham o uso pretendido, métricas de avaliação, limitações éticas e características do modelo.

O uso de embeddings em modelos de linguagem prescinde de documentação na esteira de rastreabilidade.

ERRADO. A dimensão dos vetores, a versão do modelo gerador dos embeddings e os corpora de treino devem ser registrados, pois impactam diretamente a representação semântica e os vieses.

No Cebraspe, a rastreabilidade em IA restringe-se exclusivamente aos aspectos do código-fonte.

ERRADO. O conceito abrange o ciclo de vida integral: definição do problema, coleta e curadoria de dados, treino, validação, deploy, monitoramento operacional e decisão final.

A auditoria algorítmica da CGU busca identificar riscos de desconformidade material e formal.

CERTO. Examina-se tanto a legalidade formal da delegação e parametrização do sistema quanto a adequação material dos resultados frente às políticas públicas atendidas.

Métricas como Disparate Impact Ratio auxiliam na quantificação do viés algorítmico entre grupos.

CERTO. Essa métrica compara a taxa de seleção de um grupo minoritário/protegido em relação ao grupo majoritário para diagnosticar práticas discriminatórias indiretas.

A adoção de padrões abertos de metadados prejudica a interoperabilidade e auditoria externa de IA.

ERRADO. Padrões abertos (como OpenLineage ou formatos W3C PROV) ampliam a transparência, facilitam a troca de dados entre ferramentas e simplificam o trabalho de órgãos de controle.