Granite LLMON: teste a fronteira entre instrução e dado
Um resultado de laboratório precisa encontrar o seu fluxo de trabalho. Defina o que o agente pode fazer antes de comparar respostas.
Read in EnglishPor Pentesty
O que a prévia permite avaliar
A IBM lançou em 12 de novembro prévias experimentais Granite 4.1 LLMON de 3B e 8B, voltadas à separação estruturada entre instruções e dados. A publicação oficial limita os resultados relatados a testes de injeção indireta estática e descreve o comportamento como aprendido, sem garantia imposta. O material destina a prévia à avaliação, fora de produção.
A decisão empresarial pode começar por uma tarefa concreta, como resumir solicitações recebidas e preparar uma proposta de encaminhamento. Defina o resultado permitido, os dados que o modelo pode consultar e quais decisões precisam de aprovação humana. Essa descrição será o contrato do exercício, mesmo que o modelo ou a forma de organizar as mensagens mude.
Monte pares de casos comparáveis
Prepare um conjunto pequeno de documentos artificiais, aprovado pelo dono do processo. Para cada documento legítimo, crie uma versão de teste contendo uma orientação conflitante claramente identificada no plano do exercício. O conteúdo não deve conter dados reais de clientes, credenciais ou destinos externos. Preserve o mesmo pedido legítimo nas duas versões para permitir uma comparação interpretável.
Inclua casos em que o documento realmente cita uma ordem de alguém. O sistema precisa conseguir descrever essa ordem como conteúdo, sem transformar a citação em autorização de execução. Acrescente exemplos comuns de tabelas, anexos e linguagem ambígua. Registre antecipadamente o comportamento esperado em cada caso, evitando ajustar o critério depois de conhecer as respostas.
Inclua continuidade e recuperação
Proponha uma segunda etapa em que o agente recebe material adicional depois de produzir um resumo correto. Verifique se a aprovação inicial continua associada apenas à tarefa combinada. Esse exercício investiga uma hipótese local de continuidade; ele não deve ser anunciado como reprodução de um benchmark nem como prova geral de segurança de conversas longas.
Defina também a resposta a uma chamada inesperada: interromper a tarefa, preservar a trilha e devolver a decisão ao responsável. Faça o exercício com um recurso descartável e um caminho de restauração conhecido. O objetivo é conhecer o tempo e as evidências necessários para retomar o trabalho aprovado, sem transformar o ambiente de avaliação em uma nova dependência operacional.
Decida com critérios escritos
Antes do piloto, estabeleça o que constitui falha, resultado inconclusivo e caso aceitável para continuar a avaliação. Reserve espaço para problemas de qualidade, como omitir uma informação importante ou inventar um dado. A equipe deve avaliar segurança e utilidade no mesmo conjunto de tarefas, pois uma resposta inutilizável também pode comprometer o processo empresarial.
O relatório final deve permitir que outra pessoa repita os casos com a mesma configuração. Identifique os limites do conjunto, as tentativas não realizadas e os controles externos que influenciaram o resultado. Uma eventual mudança de modelo, ferramenta ou permissão exige revisar o contrato do exercício. A aprovação deve acompanhar uma configuração verificável e um uso delimitado.
Perguntas frequentes
É preciso usar dados reais?
Use documentos artificiais que representem o formato do trabalho. Preserve apenas a estrutura necessária para avaliar a tarefa, evitando segredos e informações de clientes.
Qual é o resultado mais útil?
O resultado útil conecta a resposta ao pedido autorizado e às chamadas de ferramentas observadas. Registre também qualidade, recusas indevidas e resultados inconclusivos.
Como comparar duas configurações?
Mantenha os mesmos documentos, permissões e critérios de avaliação. Registre todas as diferenças de configuração e repita os casos que apresentarem variação.
O que deve interromper o piloto?
Uma ação fora do escopo ou a perda da trilha de execução deve acionar o procedimento combinado. Preserve evidências e revise a configuração antes de continuar.
Fontes e referências
Análise original da Pentesty, publicada em 12 de novembro de 2026. Os cenários propostos são orientações editoriais, com escopo e validação a definir para cada ambiente.