Um analista abre um resumo preliminar de um contrato de fornecedor, gerado por um assistente de IA em segundos. A leitura é fluida. Ele menciona uma cláusula de rescisão e um prazo de pagamento, e demonstra segurança em todo o texto. Antes, o analista levava uma manhã inteira para ler o contrato e encontrar essas informações. Agora, a questão é outra: este resumo está correto? E o que ele precisa verificar antes de assiná-lo?
Este é um cenário ilustrativo, não um caso documentado de um cliente. Ele captura o que está mudando em muitas profissões. Chegar a uma resposta é mais rápido. Decidir se a resposta é confiável e quem é o responsável caso não seja, ainda cabe à pessoa.
Este guia destina-se a diretores de treinamento e desenvolvimento e designers instrucionais que planejam o treinamento de equipes de IA. Ele mostra como identificar as tarefas em que a IA altera o trabalho humano, como estruturar a prática em torno de resultados que, por vezes, apresentam imprecisões e como mensurar o uso responsável sem prometer ganhos de produtividade.
Fatos rápidos
| Questão | Resposta curta |
|---|---|
| O que muda quando as pessoas usam IA no trabalho? | Produzir um primeiro rascunho ou uma resposta fica mais fácil. Verificar, avaliar e assumir a responsabilidade pelo resultado, porém, continuam sendo etapas importantes. |
| O que o treinamento de IA deve ensinar? | A verificação e o julgamento que uma tarefa agora exige, além do conhecimento específico da área necessário para realizá-la. |
| Será que apenas instruções podem resolver o problema da confiança excessiva? | Não. Pesquisas sobre o viés de automação constataram que ele ocorre tanto em novatos quanto em especialistas e não é prevenido apenas por treinamento ou instruções. |
| O que medir? | Verificação observada em tarefas reais, com limites aprovados para o uso de IA. |
1. Mapear como a IA altera as tarefas de trabalho
Comece com uma tarefa real, não com uma ferramenta. Descreva-a como era feita antes da IA e como é feita agora, e compare as duas colunas.
Exemplo de contrato:
- Antes: Leia o contrato na íntegra, extraia os termos principais, sinalize qualquer coisa incomum e escreva um resumo.
- Agora: Analisar um resumo gerado por IA, compará-lo com a fonte, decidir se deve confiar nele, sinalizar qualquer coisa incomum e assumir a responsabilidade pelo resultado.
Algumas etapas diminuem. Extrair termos pode levar segundos. Outras surgem ou aumentam: verificar a saída em relação à fonte, perceber o que o resumo omitiu e decidir quando consultar um especialista. A habilidade exigida passou de produzir para avaliar. Em termos de Bloom, que descrevem o pensamento que uma tarefa exige e não como ela é executada, o foco se desloca para analisar e avaliar. Nosso guia para Alinhar as atividades de aprendizagem à Taxonomia de Bloom Explica como alinhar o objetivo, a atividade e a avaliação depois de conhecer o nível.
Essa comparação é a essência de uma análise honesta das necessidades de treinamento em IA. Ela também evita um erro comum: treinar todos em uma ferramenta quando a verdadeira mudança é uma nova tarefa de verificação.
2. Identificar as demandas de verificação e julgamento
Faça três perguntas sobre cada etapa na coluna "agora".
- Como seria uma saída incorreta nesse caso? Uma cláusula inventada, uma exceção omitida, um número plausível, mas desatualizado.
- Que provas me permitiriam verificar isso? O documento original, um segundo sistema, um colega, uma política.
- Quando devo parar e perguntar a outra pessoa? A linha divisória entre "posso verificar isso" e "isso precisa de um especialista".
Pesquisadores estudam há décadas o que acontece quando as pessoas trabalham com auxílios automatizados imperfeitos. A revisão dessa pesquisa feita por Parasuraman e Manzey descreve o viés de automação, em que as pessoas cometem erros de omissão e comissão porque se apoiam em um auxílio à decisão que nem sempre está correto. O estudo constatou o efeito tanto em participantes novatos quanto em especialistas e concluiu que ele não poderia ser evitado apenas por treinamento ou instruções.Parasuraman e Manzey, 2010, Fatores HumanosEssa pesquisa é anterior aos assistentes de IA atuais, portanto, considere-a como um alerta sobre o comportamento humano, e não como uma avaliação de qualquer ferramenta atual.
A lição prática para o treinamento de IA para funcionários é que dizer às pessoas para "verificarem o resultado" não é um bom planejamento. As condições que envolvem a pessoa também importam: tempo para verificar, acesso à fonte e um ambiente de trabalho que não a penalize por ser mais lenta.
3. Desenvolva a prática em torno de resultados não confiáveis.
Se a tarefa agora envolve avaliar uma saída, pratique a avaliação de saídas. Crie um pequeno conjunto de casos em que a resposta da IA seja:
- Correto e completo. O correto é aceitar e explicar o porquê.
- Incompleto. É verdade até certo ponto, mas omite algo importante.
- Enganador. Confiante, bem escrito e errado de uma forma que é fácil de passar despercebida.
Os alunos recebem cada caso, uma fonte para verificar e uma escolha: aceitar, corrigir ou apresentar uma contestação. Devem também justificar a sua decisão. Avalie as razões para concordar ou contestar, e não apenas a confiança. Um aluno que aceita a resposta correta sem verificar não demonstra a competência necessária, e um aluno que contesta tudo também não.
Os formatos interativos são ideais para isso. Cada pessoa se compromete com uma decisão e uma justificativa antes da discussão em grupo, tornando visíveis tanto o excesso de confiança quanto o excesso de cautela. A apresentação individualizada cobre a primeira análise, e um debriefing ao vivo aborda os casos ambíguos em que existem duas interpretações possíveis. O AhaSlides oferece suporte ao aprendizado interativo e à transição entre a apresentação ao vivo e a individualizada, permitindo que um mesmo conjunto de casos seja apresentado de ambas as maneiras. Verifique se as funções específicas de autoria, feedback ou geração de relatórios se encaixam no seu fluxo de trabalho antes de planejar qualquer implementação.
4. Preservar o conhecimento prévio
Não se pode avaliar um resultado que não se compreende. Uma pessoa que nunca aprendeu como as condições de pagamento interagem com os direitos de rescisão não notará quando um resumo apresentar informações incorretas. O acesso à IA não elimina a necessidade desse entendimento. Ele apenas altera o contexto em que ela é utilizada.
Decida de qual conhecimento específico cada tarefa de verificação depende e verifique-o antes da prática, com um breve diagnóstico individual. Uma verificação de memorização como essa confirma apenas os pré-requisitos. Ela não demonstra que qualquer pessoa consegue verificar uma saída. O Centro Eberly da Carnegie Mellon faz a mesma observação sobre design de forma mais geral: avaliações, objetivos e atividades instrucionais devem estar alinhados, e quando uma avaliação mede a memorização, mas os objetivos exigem análise, ela deixa de medir o que os alunos deveriam aprender, e esse desalinhamento pode prejudicar tanto a motivação quanto o aprendizado.Centro Eberly: alinhamento de objetivos, avaliações e instrução.).
5. Avalie o uso responsável em tarefas reais.
Escolha uma tarefa de verificação que as pessoas realmente realizam e defina os limites aprovados para o uso de IA antes de realizar as medições: o que pode ser delegado à ferramenta, o que deve ser verificado e o que deve ser encaminhado para instâncias superiores.
Os Centros de Controle e Prevenção de Doenças dos EUA separam a avaliação da aprendizagem da avaliação de como as pessoas a aplicam no trabalho e recomendam o planejamento para ambas (CDC, avaliação do treinamento: medindo a eficáciaTrata-se de uma orientação de avaliação, não de uma previsão de resultados. Para tarefas de IA, isso significa duas medidas:
- Aprendizagem: Desempenho em um novo conjunto de casos nunca vistos antes, comparado com uma linha de base.
- Transferência: Uma tarefa de trabalho supervisionada ou uma amostra de trabalho real, avaliada de acordo com os mesmos critérios, após as pessoas terem tido tempo para aplicar o que aprenderam.
Defina quem está incluído, o denominador e o período. Relate a eficiência apenas com base em evidências mensuráveis. Se uma equipe se tornar mais rápida após o treinamento com IA, verifique o que mais mudou no mesmo período, como um novo modelo, uma mudança na equipe ou uma distribuição diferente das tarefas, antes de atribuir o crédito ao treinamento.
Para uma visão mais ampla do risco, o Instituto Nacional de Padrões e Tecnologia publica o Estrutura de gerenciamento de risco de IALançado em janeiro de 2023, este guia é utilizado por organizações para refletir sobre os riscos da IA. Ele serve como ponto de partida para a discussão sobre riscos, não como um padrão de treinamento ou uma certificação.
Um exemplo prático: o resumo do contrato
Ilustrativo. O profissional que realiza esse trabalho deve validar o caso e os critérios de resposta antes de utilizá-los.
O caso. O aluno recebe um contrato fictício de fornecedor e um resumo escrito por IA. O resumo indica um aviso prévio de 60 dias para rescisão. O contrato, por sua vez, prevê 60 dias para rescisão sem justa causa e 30 dias para descumprimento contratual. O resumo também omite uma exceção relativa ao prazo de pagamento em um anexo.
O que se pede ao aluno para fazer. Explique a decisão (aceitar, corrigir ou encaminhar para instâncias superiores), cite as evidências do contrato e diga de que informações ou suporte adicionais eles precisariam.
Uma resposta fraca. "O resumo parece preciso e abrange os principais termos. Aceitar." Não cita nenhuma fonte e não mostra nenhuma verificação.
Uma resposta mais contundente. "Não aceitaria o contrato tal como está. A cláusula 14 prevê 60 dias para rescisão sem justa causa, mas 30 dias para incumprimento contratual, e o resumo menciona apenas 60 dias. O Anexo B contém uma exceção de pagamento que o resumo não menciona. Eu corrigiria a linha relativa à rescisão e adicionaria a exceção. Não tenho certeza se o anexo se aplica a este fornecedor, por isso consultaria o responsável pelos contratos."
A nova tentativa. O aluno recebe um segundo contrato onde o resumo da IA está correto. A atitude correta agora é aceitar e dizer o que foi verificado. Isso evita que as pessoas sejam treinadas para a suspeita reflexiva.
Uma planilha de análise de tarefas de IA
Use uma linha por etapa na coluna "agora" para uma tarefa real.
| Etapa da tarefa | O que a IA faz atualmente | O que a pessoa ainda precisa fazer | São necessárias provas para verificar isso. | Escalar para | Conhecimentos prévios necessários |
|---|---|---|---|---|---|
| Extrair termos-chave | Elabora a lista | Compare com a fonte | O próprio contrato | Liderança em contratos | Estrutura contratual e tipos de cláusulas |
| Sinalizar termos incomuns | Sugere candidatos | Decida o que é incomum neste contexto. | Contratos anteriores, política | Legal | Termos padrão para este tipo de fornecedor |
| Finalize o resumo. | Pois nada | Assuma o controle do resultado | Resumo verificado | Gerente de linha | Limites de aprovação |
Uma rubrica que você pode adaptar.
Atribua uma pontuação de 0 a 2 a cada critério. Esta é uma proposta de adaptação com um especialista na função, não um padrão de prontidão validado.
| Critério | Evidências observáveis |
|---|---|
| Execução de tarefa | Identifica onde a IA altera a tarefa de verificação e julgamento. Registra a ação e as evidências que a sustentam. |
| Raciocínio | Explica as restrições, alternativas e incertezas. Os motivos para aceitar ou contestar um resultado estão ligados à fonte. |
| Limites | Utiliza procedimentos aprovados para o uso de IA e solicita ajuda quando as informações ou a autoridade não são suficientes. |
Âncoras: 0 = ausente ou sem comprovação. 1 = parcial, com omissões relevantes. 2 = completo e justificado de acordo com os critérios acordados. Defina erros críticos separadamente, por exemplo, aprovar um resultado que contradiz a fonte ou compartilhar dados confidenciais com uma ferramenta não aprovada. A pontuação total não deve ocultar uma falha crítica.
Restrições que podem permanecer
Um julgamento mais apurado em um caso de treinamento não elimina todas as restrições:
- Pressão do tempo. Se as metas de volume não deixarem espaço para verificação, as pessoas deixarão de verificar tudo o que lhes foi ensinado.
- Responsabilidades pouco claras. Se ninguém for nomeado como proprietário de uma saída verificada, a verificação não é responsabilidade de ninguém.
- Limitações da ferramenta. Algumas ferramentas não permitem que as pessoas vejam a fonte por trás de uma resposta, o que torna a verificação lenta.
- Troca de ferramentas. Um sistema de IA que muda de comportamento após uma atualização pode quebrar um hábito de verificação que você criou no último trimestre.
Planeje soluções separadas para esses problemas e comunique isso aos patrocinadores. O treinamento pode desenvolver a habilidade, mas não pode criar o tempo ou a autoridade necessários.
Perguntas frequentes
O que o treinamento em IA para funcionários deve abordar?
Comece pelas tarefas que a IA altera em seu papel. Aborde como verificar os resultados em relação às evidências, quando escalar o problema, os limites aprovados para o uso da IA e o conhecimento do domínio necessário para avaliar uma resposta. Dicas de ferramentas vêm em segundo lugar.
A IA elimina a necessidade de conhecimento específico da área?
Não. As pessoas precisam de compreensão suficiente para perceber quando um resultado está errado ou incompleto. O que muda é como esse conhecimento é usado: menos produção, mais avaliação.
Como você avalia o julgamento humano em trabalhos assistidos por IA?
Apresente aos alunos casos realistas com resultados corretos, incompletos e enganosos, e avalie suas razões para aceitar, corrigir ou encaminhar o problema para um nível superior. Em seguida, observe-os realizando uma tarefa real supervisionada após um intervalo adequado.
Por onde começar
Escolha uma tarefa que as pessoas da sua organização realizam atualmente com o auxílio de IA. Preencha a planilha acima com os nomes de alguém que executa essa tarefa e anote os três pontos em que um resultado incorreto causaria mais danos. Elabore seu primeiro caso prático com base em um desses pontos.
Para ver como uma verificação individualizada, um estudo de caso interativo e um debriefing ao vivo podem se encaixar nessa tarefa, explore o AhaSlides.
