Como mantemos um inventário de agentes de IA (e um interruptor de paragem testado)

Um inventário de agentes de IA é um registo que lista todos os agentes de IA que uma empresa tem a correr, com o responsável de cada um, os sistemas a que acede e o interruptor que o para. No nosso registo, cada linha é a própria ficha a partir da qual o agente corre, por isso o interruptor da linha é o que o para de facto. Um inventário a partir do qual não se consegue desligar nada é uma lista de coisas que se espera que estejam paradas.

No fim, tem um registo de todos os agentes de IA que a sua empresa tem a correr, das chaves a que cada um tem acesso e de um interruptor em cada linha (exceto nos ambientes), já usado e verificado. Numa empresa pequena, leva uma tarde. O que é a proliferação de agentes explica o porquê; esta página mostra como evitar a proliferação de agentes na prática.

Os exemplos usam a Kettlewick, uma torrefação de café online fictícia que vende café em grão por subscrição, e a Ines, que gere as operações. Os nomes e as horas são inventados; os nomes dos campos, os estados, as regras e os limiares são os reais.

O que precisa antes de começar

Cada agente tem de viver num sistema que o guarda como uma ficha com um controlo para ligar e desligar. Nós usamos o ConvOps.

Mantemos o nosso no ConvOps(abre num novo separador), o sistema que gere a empresa inteira com agentes agendados.

Passo 1: Liste os seis tipos de linha

Mantenha o registo nas fichas a partir das quais os agentes correm. Uma segunda cópia numa folha de cálculo fica desatualizada no dia em que alguém acrescenta um agente, e o interruptor nunca está na folha de cálculo.

Seis tipos de linha, cinco interruptores: desativar um agente, desativar um executor, parar as suas execuções em aberto e pausar os seus agendamentos, pausar um agendamento, pausar uma família, guardar os segredos como referências num ambiente, revogar uma chave.

A linha do registo (um modelo de registo de agentes de IA para copiar)

O ConvOps guarda a maior parte destes campos como fichas. Dois ficam a seu cargo: o ConvOps regista um responsável numa família, não num agente nem num executor, por isso é a si que cabe preencher o responsável e escrever o último teste do interruptor.

name:              review-replier
kind:              agent
owner:             Ines
purpose:           drafts replies to customer reviews
runner:            cloud-runner-main
schedule/trigger:  Review replies, daily 18:00
keys it reaches:   Model key (subscription), SHOP_API_KEY (reference)
off switch:        disable (refused while Reply to reviews names it)
last switch test:  <date, what you switched, what you saw after>

Uma lista mantida à mão diz-lhe que um agente existe. Não é o que o para.

Veja como o ConvOps guarda cada agente, executor, agendamento e chave como uma ficha que pode desligar(abre num novo separador).

Passo 2: Encontre os agentes que ninguém registou

Os agentes não registados encontram-se a partir das chaves e do relógio, não a perguntar a toda a gente.

Faça o varrimento das chaves para dentro: a ficha de cada chave no ConvOps lista os executores que a usam, com o estado da credencial e nunca o seu valor. Compare cada executor com o registo. Um executor sem linha é um agente que ninguém registou.

Cada chave lista os executores que a usam, e o laptop-runner, que falta no registo, é o agente que ninguém registou.

Na Kettlewick, «Model key (subscription)» lista cloud-runner-main e laptop-runner. Só o primeiro tem linha, por isso o laptop-runner recebe uma antes de qualquer outra coisa.

Depois, faça o varrimento do relógio para fora:

• Todos os agendamentos, incluindo os pausados. O separador Paused (pausados) guarda cada linha com a sua regra.
• «Missed its last fire» (falhou o último disparo). Um agendamento recorrente recebe este alerta depois de um disparo atrasado.
• «No run for too long» (sem execuções há demasiado tempo). O alerta passa a este depois de 1,5 vezes o maior intervalo normal do agendamento: 36 horas para uma tarefa diária. O valor 1,5 é o predefinido e pode ser definido entre 1 e 10.
• Uma família cujo veredito indica silent. O seu silent_count diz quantos membros ficaram em silêncio.

Os chatbots usados pela equipa em contas pessoais são outro problema: shadow AI na empresa.

Passo 3: Dê a cada agente um interruptor (um kill switch de agentes de IA que consegue encontrar)

Todas as linhas, exceto os ambientes, recebem exatamente um interruptor que consegue identificar, o seu kill switch (interruptor de emergência), e o ConvOps recusa o único interruptor que partiria um fluxo de trabalho que ainda usa o agente.

Atribuir um agendamento a uma família pausada gera um aviso por predefinição, e o agendamento não dispara até a família ser retomada. Os segredos não têm interruptor porque o registo nunca os guarda. O ConvOps guarda cada segredo como uma referência com uma etiqueta e um estado como set, e nunca aceita nem devolve o valor.

O interruptor que o ConvOps recusa

O ConvOps recusa desativar um agente enquanto um passo de um fluxo de trabalho ativo o nomear. A recusa é um HTTP 409 com o código agent_in_use, não escreve nada e nomeia cada fluxo de trabalho e cada passo que tem o agente. A escolha é sua: remover o agente desses passos ou desativar primeiro esses fluxos de trabalho.

O ConvOps recusa desativar o review-replier enquanto o fluxo de trabalho ativo Reply to reviews o nomeia no passo draft-reply, e a recusa explica como desimpedir o caminho.

Na Kettlewick, desativar o review-replier é recusado porque o fluxo de trabalho ativo «Reply to reviews» o nomeia no passo draft-reply. Desligá-lo partiria a tarefa a meio do fluxo, por isso o sistema obriga a decidir primeiro. Quando só fluxos de trabalho desativados nomeiam o agente, a desativação é bem-sucedida e indica-os. Um executor isolado mantém cada execução separada da sua máquina, como em como impedimos o Claude Code de apagar ficheiros.

Passo 4: Teste o interruptor, com uma execução acompanhada do início ao fim

Um interruptor testa-se ao observar o que acontece depois dele, não ao carregar nele. A prova é uma hora de disparo que passa sem nada na linha.

A Ines testa o interruptor de «Review replies» (diário às 18:00, família «Customer care», executor cloud-runner-main) enquanto um modelo de resposta é reescrito:

Review replies é pausado às 17:40, a sua execução em aberto é cancelada com «schedule stopped», nada corre às 18:00 e a linha mantém a regra e o executor.

A linha de veredito é uma nota que escreve na linha do registo:

off switch tested: paused 17:40, no run at 18:00, open run cancelled, restart runner cloud-runner-main

O teste passa quando não há execução depois da hora de disparo, a execução em aberto fica cancelada e o reinício usa o executor indicado. Se o executor memorizado já não existir, o ConvOps recusa o reinício até que indique outro executor ou remova o atual. Teste um executor da mesma forma: pause os agendamentos que o nomeiam, desative-o, pare as suas execuções em aberto e confirme que nada de novo arranca. Observar os agentes enquanto correm é observabilidade de agentes de IA.

Passo 5: Retire, não elimine

Nunca elimine um agente. Desative-o, guarde o seu histórico e trate o voltar a ligar como parte do interruptor.

Voltar a ligar faz parte do interruptor: as duas regras de que precisa estão em Erros comuns, mais abaixo.

Crie uma conta gratuita no ConvOps e comece o seu registo a partir dos agentes que já tem a correr(abre num novo separador).

Erros comuns

Usámos mal os nossos interruptores três vezes. De cada vez a paragem parecia feita, o trabalho voltou e ficou uma regra.

Pausar o agendamento mas não as suas execuções

Pausámos um agendamento e deixámos as suas execuções em aberto por fechar, e a tarefa de recuperação, que volta a enviar as execuções que ficaram em silêncio, enviou-as outra vez. Na Kettlewick: «Old promo emails» é pausado, a sua execução em aberto kw-run-117 fica em todo e a tarefa de recuperação envia-a na passagem seguinte.

Pausar só o agendamento deixa a execução em aberto para a tarefa de recuperação voltar a enviar; pausar e cancelar na mesma alteração faz com que a paragem se mantenha.

A regra: uma paragem são duas escritas numa só alteração. O agendamento fica em pausa e todas as execuções em aberto são canceladas com «schedule stopped»; as execuções terminadas nunca são reescritas. Uma pausa simples no ConvOps faz as duas coisas, e é pela mesma regra que o interruptor do executor também para sempre as suas execuções em aberto.

Deixar um executor voltar para execuções obsoletas

Trouxemos um executor de volta depois de uma falha sem limpar a sua fila, por isso a tarefa de recuperação reenviou todas as execuções obsoletas de uma vez, e a enxurrada deixou a execução em curso sem recursos. Na Kettlewick, é o cloud-runner-cheap a regressar a uma fila de que já ninguém precisava.

A regra: cancele as execuções obsoletas antes de o executor voltar.

Reiniciar um agendamento sem o seu executor

Reiniciámos um agendamento destinado a um executor novo e não verificámos a execução seguinte, que disparou no executor antigo. Na Kettlewick: «Monthly price research» é reiniciado para um executor novo e ninguém verifica que executor a execução seguinte usou.

A regra: indique o executor quando reinicia e verifique se a execução seguinte o usou. O ConvOps memoriza o executor durante uma pausa e recusa um reinício cujo executor memorizado já não existe. É assim que uma falha se torna uma regra em tudo o que corremos.