Notas sobre entregar IA em produção: RAG, agentes e sistemas de LLM, da mão de um engenheiro em ativo.
O que uma máquina consegue fazer fica barato. O que nenhuma máquina consegue é saber se está certo, responder quando falha, acrescentar horas ao seu dia, ou amar alguém. Esses quatro são o trabalho agora. Ler o ensaio por trás disto
Quando é aberto um pull request, meu ou um que tenho de rever, passei a pedir ao agente que o corra na minha máquina, que tente parti-lo e que se filme a fazê-lo. Um parágrafo pode afirmar que houve um teste. Uma gravação tem de o mostrar, e decidir o que isso significa continua a ser trabalho meu.
O Jev, da TypeSafe, não escreve uma frase. Entregas-lhe um estado e perguntas tipadas, e ele devolve uma escolha, uma pontuação ou uma probabilidade de sim ou não, por quatro milésimos de cêntimo numa decisão de mil tokens. A novidade é a forma, que devolve a autoridade ao teu código, e a armadilha é que uma probabilidade parece recurso e não é. Corri o piloto que eu quereria ver antes de acreditar em qualquer número, nos meus próprios ensaios com o modelo aberto que fez as vezes do Jev, e a resposta foi não.
A IA está a devorar exatamente o trabalho em que os programadores juniores costumavam aprender, a contratação para lugares de entrada está a colapsar de forma mensurável, e todo o sénior capaz de validar o output de uma máquina foi um dia um júnior a quem alguém pagou para se enganar. Sobre o DHH a contratar por «até onde é que conseguem ir», as 2.200 pessoas que se candidataram, e porque é que uma indústria que deixa de fabricar seniores percebeu mal a sua própria cadeia de abastecimento.
Vivemos melhor do que a maioria dos reis que alguma vez reinaram, e o estado de espírito da época é uma tristeza surda que ninguém sabe nomear. Um monge do deserto do século IV deu-lhe nome. Um economista explicou-lhe o mecanismo em 1971. Este é um ensaio sobre a acédia, a tristeza que chega precisamente quando o bem chega, e sobre por que razão uma era de abundância infinita sempre teve tudo para ser a sua hora de ouro.
Um casal às oito e meia sem plano e com um telemóvel cada; um sábado em família a dissolver-se em ecrãs. Construí o RotinaTop exatamente para esses dois momentos: desafios de aventura escondidos sob película raspável, um veto que não custa nada e uma porta que se fecha atrás de nós. Duas vinhetas de como se passa na prática.
Li os termos de serviço para consumidores de dez empresas de IA e fiz a cada uma a mesma pergunta: se o vosso produto estiver confiantemente errado e isso me custar alguma coisa, quem paga? As respostas, textualmente: nada é garantido, o utilizador tem de verificar tudo, o teto de reembolso começa nos dez dólares e, na maioria dos casos, é o utilizador que os segura a eles. Um guia de campo sobre o recurso que ninguém anda a vender.
Dei a um modelo de fronteira um registo-exemplo de 90 dias construído a partir dos meus hábitos reais e depois fiz com que esta noite fosse diferente do registo. 180 execuções avaliadas depois: a memória não cega o modelo quando a pista está na sala, o verdadeiro produto da memória é o silêncio nas noites vulgares — e na única vez em que eu precisava de uma pergunta, o assistente que sabia tudo carregou no play precisamente no episódio que eu andava a evitar, e ofereceu-me um chá para a ocasião.
Vinte e seis ensaios, seis produtos, uma prática de consultoria e uma época a medir coisas que podia ter apenas afirmado. Relidos como um único trace, correm todos o mesmo mecanismo: a IA torna gratuita a metade barata de tudo, e a metade cara muda de morada. Este é o mapa das moradas (julgamento, resposta, atenção, a pessoa), e a razão pela qual a minha fé reconheceu o território antes de mim.
Uma função com uma chamada a um LLM lá dentro não é um agente, e chamar-lhe isso não é uma simplificação inofensiva. Construí a mesma tarefa de auditoria de despesas como função, como workflow e como agente, corri 150 execuções avaliadas e medi o que a palavra custa de facto, e depois aumentei os dados até a única jogada da função deixar de existir e o agente ser a última arquitetura de pé.
O ensaio anterior defendia que, quando fazer é grátis, escolher passa a ser o trabalho, e a curadoria regressa como profissão. Aqui ponho-a em prática: um site que pega na lista de filmes do Vaticano de 1995, aquela que um organismo da Santa Sé publicou para o centésimo aniversário do cinema, e estende a sua disciplina aos livros e à música. Construído num dia, na linguagem visual de vatican.va, com a cláusula de humildade lá dentro.
Dezasseis ensaios num mês, num blogue que costumava conseguir dois em três anos. É este o aspeto do lado da oferta agora, e todos os que fazem coisas estão a viver alguma versão disto. Este ensaio é sobre o outro lado: o que acontece à atenção, ao consumo e ao pagamento quando fazer deixa de ser a parte difícil. O meio morre, o serão torna-se a unidade de conta, o dia de trabalho corre com o mesmo orçamento, e a atenção acaba por ser um inventário daquilo que amas.
O meu último artigo terminava com um programa a comprar uma licença, a usar um terço dela e a receber o reembolso ao cêntimo. Este é sobre onde pagamentos como esse vão de facto liquidar. Uma cadeia liquida cem milhões de transações por dia, mais do que as outras grandes juntas, transporta os dólares da Western Union e da Fiserv e responde a um pedido HTTP não pago com condições que uma máquina consegue pagar. O preço ainda não concorda, e um analista com 577,000 subscritores tem uma teoria sobre porquê. Todos os números aqui têm fonte e data.
A AI incorporada precisa de filmagens de mãos experientes a fazer trabalho real, e as pessoas que as produzem estão a dá-las de graça. Musk diz que os robôs acabam com o dinheiro irrelevante; Leão XIV diz que sobreviver não é participar. Entre essas duas afirmações está uma longa transição, e isto é um sistema a funcionar para manter uma participação nela: uma guilda que paga uma parte, medida contra o runtime real da Solana. Números incluídos, e nem todos favorecem a ideia.
Elon Musk diz que os robôs vão tornar o dinheiro desnecessário dentro de uma década. Mas todos os ofícios que já passaram por isto dizem o mesmo: a escassez não desaparece, muda de sítio. Eis para onde foi da última vez, e para onde vai a seguir.
Quando o artefacto se tornou gratuito, a atenção mudou-se para o fazer. Isso é ao mesmo tempo um canal de marketing, um movimento de vendas e um modelo de negócio, e há uma segunda multidão a formar-se junto ao vidro: as máquinas que vão ser treinadas com as filmagens.
Mais de mil pessoas assistiram há pouco a alguém a calcular um CRC à mão. Todas elas têm uma máquina que o faria num instante. Os números de visualizações estão a dizer-nos algo que as estatísticas de fecho não conseguem dizer.
O mesmo site, a mesma ferramenta, as mesmas poucas semanas. Uma pergunta fechada a menos oito, uma resposta votada até às alturas. A diferença entre elas é o conselho de escrita mais útil da era da IA.
Uma tag executada em 2010 está de volta a perguntas ativas, o pedido de ajuda de um estudante superou os segfaults, e a comunidade está a renegociar em público a sua regra mais antiga. O que o regresso das perguntas banidas diz sobre o Q&A depois de os factos terem sido automatizados.
Passo a maior parte do tempo na camada aplicacional. Mas assim que um produto de IA cresce para lá de um modelo, passa a assentar numa camada que os utilizadores nem sabem que existe: a que decide que modelo responde, em que GPU, e o que acontece quando o hardware está cheio. Não lhes pode falhar. Por isso a construí.
As respostas passaram a ser gratuitas, e as perguntas entre programadores mudaram de forma. As que ainda precisam de uma pessoa são as que fomos treinados a desvalorizar.
A AI dissolve qualquer momento de bloqueio a pedido. Alguns desses momentos foram sempre ruído. Os certos eram onde a compreensão se formava, e a nova competência é distinguir uns dos outros.
A geração de música por IA parece uma chamada de API e comporta-se como um projeto de infraestrutura. Construí a mesma integração contra cinco fornecedores para veres o que realmente varia, e o que nunca deve infiltrar-se no teu produto.
Uma gravação de quarenta segundos, um modelo com licença MIT e uma GPU de consumo leem agora em voz alta todos os artigos deste site em seis línguas, com a minha voz. Aqui fica o pipeline completo, números incluídos.
A ferramenta sobre a qual discutes é a parte que trocas num dia. Ninguém pergunta pela parte que levou anos.
Um modelo escreve agora qualquer linguagem com fluência. Isso torna inútil a metade barata de conhecer uma linguagem e torna a metade cara mais valiosa do que alguma vez foi.
Ler o diff é a revisão inteira para um tipo de mudança e uma história que contas a ti próprio para outro. A competência escassa que a IA te deixa é saber distinguir uma da outra.
Duas das perguntas que os programadores não param de fazer são o mesmo medo visto de pontas opostas. A resposta é sim, e a razão para isso acabou de ficar mais forte, não mais fraca.
O conselho da internet para quebrar a dependência da AI é tirar a muleta e sofrer. Está certo para um principiante e incompleto para um profissional, cuja verdadeira salvaguarda é uma única regra.
Define o trimestre com o negócio, codifica os objetivos como milestones do GitHub e deixa um forecaster publicar as probabilidades todas as semanas. O negócio fica a saber cedo se vai receber o que pediu, e os programadores sabem exatamente o que significa estar feito.
Notas de campo do OrbitSpec, um motor de clarificação que transforma pedidos vagos em Context Bundles tipados e auditáveis antes de qualquer modelo correr, e porque é que a fiabilidade começa antes da resposta.
Notas de campo do plan-to-pr, um pipeline que transforma um pedido de funcionalidade em tickets, num gate de aprovação e em draft pull requests, e a razão pela qual delegar em agentes de código exige artefactos, não conversa.
Notas de campo sobre a construção do Smithproof, um plano de controlo multi-inquilino para agentes de IA, e porque é que a deteção sem resposta e a política sem aplicação não governam nada.
Dos fundamentos dos agentes até ao ecossistema de frameworks, mais um plano prático para expor as suas ferramentas internas através do Model Context Protocol.
Uma introdução breve e entusiasta aos LLMs como o GPT-4, e como permitem fazer perguntas a um livro e obter respostas tiradas diretamente do texto.
Um sistema em que quer integrar IA, um risco que quer avaliado, um plano de que não tem a certeza, ou uma ideia que ainda ninguém construiu. Se eu puder ajudar, digo-lhe que sim, e exatamente como.
Fale-me do seu projeto