Qual é a assertividade da IA da Dynadok na validação de documentos?
Uma amostra probabilística de 500 documentos reais de produção foi reavaliada por auditores humanos sem acesso à decisão da IA. Cada divergência foi então reexaminada individualmente, com justificativa escrita, para determinar caso a caso quem estava certo. Este relatório apresenta o resultado e a metodologia completa.
Em 476 dos 500 documentos, a decisão da IA coincidiu com o veredito final da auditoria humana.
Como o número foi construído
Nenhum caso foi decidido por opinião isolada: toda divergência entre a IA e o auditor cego passou por uma segunda verificação com justificativa escrita, capaz de identificar tanto erros da IA quanto equívocos do próprio auditor.
kappa de Cohen 0,70 — concordância substancial entre dois julgamentos independentes
24 casos em 500, confirmados um a um na adjudicação
na leitura cega individual, o humano errou o dobro da IA — diferença estatisticamente significativa (p < 0,01)
apenas 4 casos em 500 — quando erra, a IA quase sempre erra para o lado seguro
Para que lado a IA erra
Dos 24 erros confirmados, 20 foram documentos válidos reprovados por excesso de rigor — o participante é avisado e reenvia. Apenas 4 foram aprovações de documentos que deveriam ser recusados.
| Veredito final: aprovar | Veredito final: reprovar | |
|---|---|---|
| IA aprovou | 285acertos | 4aprovações indevidas |
| IA reprovou | 20reprovações indevidas | 191acertos |
Por que isso importa: em validação documental, os dois erros têm pesos diferentes. A aprovação indevida é o risco de conformidade — e ficou em 0,8%. A reprovação indevida gera reenvio, não risco: o fluxo se corrige sozinho.
Assertividade por tipo de documento
A amostra espelha a composição real da operação no período e abrangeu 28 tipos de documento; os 9 com pelo menos 20 casos são exibidos individualmente e concentram 410 dos 500 casos. Leitura descritiva — a precisão estatística do estudo vale para o número agregado.
Transparência sobre o ponto mais fraco: dos 7 erros em Comprovante de Residência, 6 têm a mesma causa documentada — e não foi falha de leitura. Um parâmetro de validação exigia bairro explícito ou data de emissão, campos que muitas contas legítimas não trazem por usarem apenas o mês/ano de referência. A IA aplicou com fidelidade uma régua mais rígida que a realidade dos documentos, e todos esses erros foram reprovações de documentos válidos: o desvio foi conservador, nenhum documento irregular passou por causa dele. A configuração foi corrigida após este recorte.
Metodologia
O recorte: 394.900 documentos reais
O universo reúne todos os documentos únicos recebidos e analisados em produção entre 15/07 e 10/08/2026 — período dominado pelo ProUni, por isso a predominância de documentos de renda e identificação. Três critérios definem o que entra:
- Recebidos pela plataforma — enviados pelos próprios participantes. Documentos ingressados via API foram excluídos.
- Analisados pela IA — documentos livres, em que a plataforma atua apenas como gestão documental, foram excluídos.
- Com decisão concluída — a decisão considerada é a decisão automatizada final da IA; reenvios do mesmo arquivo contam uma única vez.
A amostra: 500 casos sorteados
Sorteio aleatório estratificado proporcional por tipo de documento, para que a amostra reproduza a composição do universo, abrangendo documentos de clientes distintos na proporção em que aparecem no universo. A semente do sorteio e a lista de casos foram registradas e congeladas antes do início da auditoria — a seleção é integralmente reprodutível e nenhuma substituição foi permitida.
A auditoria cega
A auditoria foi conduzida por uma equipe interna multidisciplinar — profissionais de qualidade, engenharia, projetos e gestão — trabalhando fora da plataforma: cada auditor recebeu apenas o arquivo do documento, os dados do participante e as mesmas regras de validação que a IA aplicou, sem qualquer acesso ao projeto, à decisão da IA, a status ou a históricos. O auditor emitiu seu veredito de forma totalmente independente: aprovado ou reprovado. Só depois do registro os dois julgamentos foram cruzados. A cegueira elimina o viés de ancoragem.
A adjudicação das divergências
Nos 72 casos em que IA e auditor discordaram, uma segunda verificação reexaminou o documento contra as regras, item a item, com justificativa registrada por escrito em cada caso. O resultado: em 24 casos o erro era da IA; em 48, o equívoco era do próprio auditor cego — por exemplo, documentos aceitos pelo auditor mas de tipo não previsto nas regras, prazos de validade não observados, ou reprovações provisórias que a IA converteu em aprovação assim que o cadastro foi completado. Divergência não é sinônimo de erro da IA, e é essa etapa que garante isso.
O cálculo
Assertividade = acertos ÷ 500 = 476 ÷ 500 = 95,2%. O intervalo de confiança de 95% (93,0% a 96,7%) usa o método de Wilson com correção de população finita sobre o universo de 394.900. Em outras palavras: mesmo no cenário mais desfavorável dentro da margem estatística, a assertividade permanece acima de 93%.
O que garante a confiabilidade
Sorteio com semente registrada sobre um universo fechado. Qualquer parte com acesso autorizado à base reproduz a mesma seleção e chega aos mesmos números.
Auditores de diferentes áreas decidiram fora da plataforma, sem meio de ver a decisão da IA. A concordância substancial entre os dois julgamentos (kappa 0,70) mostra que ambos aplicaram as mesmas regras de fato.
As 72 divergências têm justificativa escrita individual, com identificador do documento, vereditos e conclusão — disponível para verificação por terceiros mediante acordo de confidencialidade.
O resultado é publicado com intervalo de confiança e com o detalhamento dos dois tipos de erro, em vez de um percentual isolado sem contexto estatístico.
Limitações declaradas
- A adjudicação não foi cega. A segunda verificação conheceu os dois vereditos — mitigado pela justificativa documentada de cada caso, que permite contestação individual.
- Os 428 casos concordantes não foram reexaminados. Um erro simultâneo da IA e do auditor no mesmo sentido não seria detectado. Dois julgamentos independentes errarem juntos é possível, mas estatisticamente raro.
- O estudo mede fidelidade às regras configuradas, não a qualidade das regras em si. A IA é avaliada contra o que cada processo definiu como critério de validação.
- Os resultados refletem o mix do período (ProUni, documentos de renda e identificação). Operações com composição muito distinta recomendam nova onda amostral.
Fontes: base de produção Dynadok (extração de 10/08/2026, universo de 394.900 documentos únicos) · auditoria humana cega de 500 casos (planilha de vereditos, 11/08/2026) · adjudicação documentada das 72 divergências, com justificativa escrita caso a caso.
Estatística: intervalo de confiança de Wilson (95%) com correção de população finita · kappa de Cohen para concordância inter-julgamentos · teste de McNemar para a comparação IA × auditor humano.
© 2026 Dynadok — Estudo de assertividade por auditoria humana cega. Reprodução permitida com citação da fonte.