O debate em torno de inteligência artificial nas empresas migrou do entusiasmo para a contabilidade, e Rolando Bonaccorsi, Diretor de Operações da Vert Analytics, avalia que a taxa de pilotos que não chegam à produção diz mais sobre maturidade operacional do que sobre tecnologia. O modelo funciona na apresentação e encalha quando precisa rodar todos os dias dentro de um processo.
A travessia falha por motivos previsíveis. Um piloto é conduzido por equipe pequena, com dados preparados à mão, sem acordo de nível de serviço, sem integração com sistemas transacionais e sem responsável por respondê-lo fora do horário comercial. Produção exige exatamente os cinco elementos que o experimento deliberadamente deixou de fora para poder avançar rápido.
O que o piloto não precisa provar?
Conforme informa Rolando Bonaccorsi, a confusão mais comum está no objetivo da prova de conceito, já que o experimento demonstra viabilidade técnica e não viabilidade operacional. Saber que o modelo classifica documentos com boa precisão responde apenas à primeira pergunta, enquanto a decisão de investir depende de saber quanto custa manter essa precisão ao longo de meses de uso real.
Pilotos também não provam adoção. Usuários convidados a testar uma ferramenta durante duas semanas se comportam de forma diferente de quem precisa usá-la como etapa obrigatória do trabalho. A diferença entre as duas situações costuma aparecer na primeira semana de operação ampliada, quando o volume cresce e a tolerância a resultado estranho desaparece por completo. Teste voluntário mede curiosidade, enquanto produção mede dependência real da ferramenta.
A distância entre acurácia e processo
Indicadores de modelo medem comportamento estatístico, enquanto processos medem resultado de negócio. Um classificador com noventa por cento de acerto distribui os dez por cento restantes de maneira desigual entre categorias, e o desenho do processo precisa prever o que acontece com cada caso incorreto antes de a ferramenta entrar em uso efetivo. Erro concentrado em uma categoria sensível pesa mais que a média geral do indicador.
Como pontua Rolando Bonaccorsi, o item que falta na maioria dos pilotos é o fluxo de exceção, porque a atenção se concentra no caminho em que o modelo acerta. Produção depende de definir quem revisa o resultado duvidoso, em quanto tempo e com qual autoridade para contrariar a recomendação automática, sem que a revisão anule o ganho pretendido.
O que falta no piloto para virar produção?
A primeira lacuna é a origem dos dados. Experimentos usam extrações manuais, tratadas uma única vez, enquanto a operação exige alimentação contínua, com monitoramento de qualidade e tratamento de registros incompletos. Construir o caminho estável dos dados costuma consumir mais esforço que o desenvolvimento do modelo em si, e raramente entra no cronograma inicial do projeto piloto.
A segunda é o acompanhamento depois da entrada em produção. Modelos degradam quando a realidade muda, fenômeno que não aparece em erro de sistema nem em alarme de infraestrutura. Consoante a análise de Rolando Bonaccorsi, executivo de operações e delivery em tecnologia, a produção responsável inclui medição periódica do desempenho contra dados recentes e critério definido de retreinamento.
Critérios para decidir antes de começar o piloto
Pilotos conduzidos sem critério de saída tendem a se perpetuar, porque sempre existe um ajuste adicional capaz de melhorar o número apresentado. Definir antes o patamar mínimo de desempenho, o custo máximo aceitável por transação e o prazo de decisão transforma o experimento em etapa com fim previsto, não em projeto paralelo de duração indeterminada.
Rolando Bonaccorsi frisa que a pergunta decisiva é qual processo muda caso o piloto dê certo, formulada antes da primeira linha de código. Quando a resposta não existe, o experimento produz aprendizado técnico e nenhum efeito operacional, situação que explica boa parte das iniciativas interrompidas após a fase de demonstração.
Prepare-se para discutir critério de saída e dono do processo antes do próximo piloto de inteligência artificial, porque a definição feita no início determina se o projeto encontra caminho para a operação.
