Treinamento de revisão de código gerado por IA: como ensinar desenvolvedores a auditar o que o modelo escreveu.

Um desenvolvedor pede a um assistente uma função que verifique se um usuário pode baixar um relatório. O código compila. O teste do caminho feliz é aprovado. A solicitação de pull request parece organizada. Duas semanas depois, um colega percebe que a função verifica se o usuário está logado, mas nunca verifica se o relatório pertence a ele.

Este é um cenário ilustrativo, não um incidente documentado. Ele descreve a lacuna que o treinamento de revisão de código gerado por IA precisa preencher: o código gerado que passa em uma verificação básica ainda pode conter uma falha de autorização ou concorrência, e a pessoa que o revisa precisa encontrá-la e explicar por que ela é importante.

Este guia destina-se a líderes de capacitação em engenharia e gerentes de engenharia. Ele aborda como descrever o problema de desempenho, diagnosticar as lacunas, planejar o treinamento e a prática, analisar um caso e avaliar se a habilidade adquirida é aplicável a revisões reais. Trata-se de planejamento de treinamento. Cada defeito, teste e regra de revisão em seu programa deve ser validado por engenheiros seniores e sua equipe de segurança.

O que é treinamento de revisão de código gerado por IA?

O treinamento de revisão de código gerado por IA ensina os desenvolvedores a instruir um assistente de forma clara e, em seguida, avaliar e auditar o resultado: está correto? É seguro? Comporta-se adequadamente sob carga simultânea? É eficiente o suficiente? Não se trata de um curso sobre uma ferramenta específica. Ele treina um hábito de revisão que permanece o mesmo mesmo quando a ferramenta muda.

Fatos rápidos

1. Descreva o problema de desempenho.

Comece com a tarefa: auditar o código gerado e fundamentar os riscos com testes. Auditar é ler com cautela. Fundamentar é transformar uma suspeita em evidência, geralmente um teste que falha ou uma reprodução que demonstra a falha.

A pesquisa sugere por que isso requer prática deliberada. Em um estudo do GitHub Copilot, Pearce e seus colegas geraram 1,689 programas em 89 cenários escolhidos por tipos de vulnerabilidades conhecidas e descobriram que cerca de 40% deles eram vulneráveis ​​(Pearce e colegas, 2021Essa era uma ferramenta inicial e um conjunto específico de cenários, portanto, não considere esse valor como uma taxa para os assistentes atuais. Um estudo separado com usuários pediu aos participantes que escrevessem código com e sem um assistente de IA. Aqueles que usaram o assistente escreveram código significativamente menos seguro e eram mais propensos a acreditar que seu código era seguro (Perry e colegas, 2023O mesmo estudo descobriu que os participantes que confiavam menos no assistente e interagiam mais com as suas instruções apresentavam menos vulnerabilidades.

Duas lições importantes para o planejamento de treinamentos podem ser extraídas. Resultados plausíveis exigem um revisor ativo. E confiança não é evidência, portanto, o exercício deve solicitar a realização do teste, e não a emissão de opiniões.

Escreva a declaração de desempenho em uma frase e peça a um gerente de engenharia para revisá-la: "Dada uma alteração gerada, o desenvolvedor lista os riscos de segurança, concorrência e eficiência que identifica e, para cada um deles, descreve ou escreve um teste que os demonstre."

2. Diagnosticar as lacunas de aprendizagem e de contexto

Antes de construir qualquer coisa, compare a tarefa com o que seu programa atual pratica e avalia. Três perguntas geralmente diferenciam uma lacuna de treinamento de outros problemas:

1. A prática atual utiliza a tarefa real? Se o treinamento abrange a escrita de prompts, mas nunca pede aos desenvolvedores que revisem o resultado, ninguém praticou auditoria. Se a avaliação é um teste de múltipla escolha sobre regras de codificação segura, ela mede a memorização.
2. Qual é a demanda cognitiva? Na taxonomia revisada de Bloom, julgar se o código é seguro e escolher o teste que comprova isso se enquadram nos níveis de análise e avaliação, enquanto projetar um aviso melhor ou uma correção atinge o nível de criação. A correspondência das atividades a esses níveis é abordada em nosso guia para Alinhar as atividades de aprendizagem à Taxonomia de Bloom.
3. Existe algo além da habilidade que está atrapalhando? Verifique o tempo de revisão, as ferramentas e os responsáveis. Se os revisores tiverem cinco minutos por solicitação de pull request, nenhum treinamento resultará em uma auditoria. Se não houver análise estática ou ambiente de teste no pipeline, um desenvolvedor pode encontrar um risco, mas não comprová-lo. Relate as causas não cobertas por treinamento às pessoas que podem corrigi-las.

3. Preparação e prática do projeto

Depois de identificar as lacunas que o treinamento pode preencher, atribua uma função específica a cada etapa.

Preparação. Verifique os pré-requisitos com um breve diagnóstico: as categorias de vulnerabilidades comuns que sua pilha tecnológica enfrenta, como seus testes são estruturados e a lista de verificação de revisão que sua equipe utiliza. O estudo individualizado é adequado para esta etapa. Uma verificação de conhecimento prévio apenas confirma os pré-requisitos.

Prática. Utilize exercícios de auditoria construídos a partir de código gerado de forma realista. Inclua em cada um deles um pequeno número de defeitos de diferentes tipos, como uma verificação de propriedade ausente, uma condição de corrida entre duas requisições e um loop ineficiente, além de algum código que esteja funcionando corretamente. O desenvolvedor revisa o exercício, nomeia cada risco, indica sua gravidade e propõe o teste que o detectaria. Peça justificativas, não uma lista de números de linha.

Feedback. Relacione isso às decisões tomadas em vez de uma pontuação total. "Você sinalizou o loop, mas não a condição de corrida no contador compartilhado, e seu teste não a teria detectado porque executa as solicitações uma de cada vez" é mais útil do que "2 de 3 encontrados".

Entrada ao vivo ou revisão assíncrona? A contribuição em tempo real agrega mais valor quando um risco é ambíguo e os desenvolvedores aprendem ao ouvir um engenheiro sênior explicar por que ele bloquearia a fusão. A revisão assíncrona é suficiente para comparar as descobertas de um desenvolvedor com a revisão anotada de um especialista. Muitas equipes usam ambas: preparação individual primeiro e, em seguida, uma sessão facilitada para os casos mais complexos.

4. Analise um exemplo realista.

Exemplo ilustrativo. Um gerente de engenharia deve validar o caso e os critérios de resposta antes de utilizá-los.

O caso. Um endpoint gerado retorna a fatura de um cliente pelo ID da fatura. Ele verifica se o solicitante possui uma sessão válida, utiliza uma consulta parametrizada e passa no teste básico. A mesma função incrementa um contador de downloads compartilhado sem bloqueio.

A tarefa. O desenvolvedor lista cada risco que identifica, classifica-os e descreve o teste que comprovaria cada um deles.

Uma primeira tentativa. "Parece tudo bem. A consulta está parametrizada e o teste passou." O desenvolvedor considerou o fato de o teste ter passado como prova definitiva e não perguntou o que o teste não abrange.

Feedback e tentativa novamente. O revisor pede ao desenvolvedor que especifique o que a verificação de sessão comprova e o que ela não comprova. A nova tentativa solicita que ele considere dois clientes diferentes e duas requisições simultâneas.

Uma tentativa mais robusta. "A verificação de sessão comprova quem está ligando, não que a fatura seja dessa pessoa. Eu escreveria um teste onde o cliente A solicita o ID da fatura do cliente B e esperaria uma recusa. O contador é incrementado sem sincronização, então duas solicitações simultâneas poderiam perder uma atualização. Eu executaria um teste concorrente e compararia a contagem. A consulta em si é parametrizada, então eu não perderia tempo com isso." Observe que esta resposta classifica os riscos e vincula cada um a um teste.

Por que cada resposta é defensável ou incompleta. Avalie cada item de acordo com critérios aprovados, e não com base na preferência de um revisor. A primeira tentativa segue um hábito, mas omite as evidências. A tentativa mais robusta é específica, priorizada e testável.

5. Avaliar a capacidade e planejar a transferência.

A comprovação de capacidade se dá pelo desempenho em um exercício novo, que o aluno não tenha visto antes. A qualidade da verificação da pontuação e a identificação de deficiências relevantes também são avaliadas. Uma rubrica simples utiliza uma escala de 0 a 2 para cada critério:

Critérios de avaliação: 0 significa ausente ou sem suporte, 1 significa parcial com omissões relevantes e 2 significa completo e justificado de acordo com os critérios acordados. Defina erros críticos separadamente, como aprovar código com um caminho de acesso desprotegido, para que uma pontuação geral não os oculte. Esta rubrica é uma proposta, não um padrão de prontidão validado: adapte-a com um gerente de engenharia e teste-a. Nosso guia para Projetando práticas interativas com feedback útil Mostra como redigir feedback que esteja relacionado às decisões tomadas.

Transfira o planejamento com cuidado. Após o exercício, emparelhe cada desenvolvedor com uma solicitação de pull request real que inclua o código gerado e revisem as conclusões em conjunto, ou realize uma breve retrospectiva de uma revisão recente que tenha deixado passar algo.

Onde a entrega interativa ajuda

Os formatos interativos são úteis quando todos devem se comprometer antes de ver o grupo. Em uma sessão ao vivo, um facilitador pode mostrar um trecho de código gerado, pedir a cada desenvolvedor que digite os riscos que identifica e o teste que escreveria, e então revelar a distribuição antes da discussão. O mesmo exercício pode ser realizado individualmente para preparação. O AhaSlides oferece suporte ao aprendizado interativo e à transição entre sessões ao vivo e individuais. É uma ferramenta de apresentação e aprendizado, não um ambiente para executar código, portanto, execute os exercícios de código em seu próprio ambiente. Verifique se alguma função específica de autoria, feedback ou relatório que você planeja utilizar está de acordo com seu próprio fluxo de trabalho. Para obter orientações sobre a escolha de formatos, consulte nosso artigo sobre Quando usar o aprendizado adaptativo, interativo e ao vivo.

Meça o que mudou.

Decida antecipadamente o que demonstraria que os desenvolvedores são capazes de realizar a tarefa. Compare a qualidade da verificação e a identificação de defeitos em um exercício inédito com uma linha de base. Defina quem está incluído, o denominador e o cronograma. Se os resultados melhorarem, verifique o que mais mudou no mesmo período, como uma nova regra de análise estática, uma lista de verificação de revisão revisada ou uma mudança de assistente, antes de creditar o treinamento.

Restrições que podem permanecer

• Hora da revisão. Uma auditoria demora mais do que uma análise superficial, e os prazos tendem a priorizar a análise superficial.
• Ferramentas. Sem um sistema de teste ou escaneamento na tubulação, é difícil comprovar um risco.
• Troca de ferramentas. Os assistentes mudam rapidamente, portanto, concentre-se nos exercícios de revisão, não em um produto específico.
• Cobertura do caso. Um exercício mostra alguns tipos de defeitos. Uma pontuação não descreve o julgamento de um desenvolvedor em geral.
• Transferência. O desempenho em um workshop não é o mesmo que o desempenho em uma fila de revisões movimentada.

Informe os patrocinadores sobre esses problemas o quanto antes e planeje correções separadas. O treinamento aprimora o que um desenvolvedor consegue encontrar e comprovar. Ele não cria o tempo nem as ferramentas necessárias.

Perguntas frequentes

O que é treinamento de revisão de código gerado por IA?

Ele ensina os desenvolvedores a solicitar informações, avaliar e auditar o código produzido por um assistente de IA, encontrando problemas de segurança, concorrência e eficiência e comprovando cada um com um teste.

O código gerado por humanos é menos seguro do que o código escrito por humanos?

Estudos apontam para riscos, mas os resultados dependem da ferramenta, da tarefa e do desenho do estudo. Um estudo com usuários descobriu que os participantes que contaram com um assistente escreveram códigos menos seguros e se sentiram mais confiantes a respeito disso, o que é um motivo para incentivar o hábito de revisão.

Como avaliar se os desenvolvedores conseguem auditar o código gerado?

Proponha um novo exercício de codificação e avalie a qualidade da verificação e a identificação de defeitos de acordo com critérios preestabelecidos. Um questionário sobre regras de codificação segura serve apenas para confirmar os pré-requisitos.

Você precisa de um ambiente de teste de código para o treinamento?

Você precisa de um local para realizar os exercícios, que geralmente é o seu próprio ambiente. Verifique se qualquer ferramenta que você usar atende às suas necessidades antes de depender dela.

Por onde começar

Escolha um tipo recorrente de alteração gerada em sua base de código. Elabore a declaração de desempenho, peça a um gerente de engenharia para validar os defeitos inseridos e os testes que os detectariam, e crie uma rubrica com três critérios, numa escala de 0 a 2, e uma lista de erros críticos. Teste-a com um pequeno grupo antes de implementá-la em larga escala.

Para ver como um exercício de auditoria pode ser realizado ao vivo com sua própria equipe e reutilizado posteriormente, em seu próprio ritmo, explore o AhaSlides.