Medido, não prometido.

Execução de 25/09/2026 em us-east-2, máquina m7i-flex.large, 3 repetições. Niadra 2026.09.25-1400-5d4d64b, SDK 0.1.5, Mem0 v2.2.0 (mem0ai 2.2.0). Arquivos desta execução

Os números da última execução

Como medimos

• Onde: us-east-2, na mesma classe de máquina (m7i-flex.large) e de banco (db.t4g.micro) que servem a Niadra. A Mem0 roda o servidor REST do próprio repositório dela, versão v2.2.0 (mem0ai 2.2.0), num pod do mesmo cluster, com pgvector num banco separado.
• Mesmos modelos: extração com google/gemini-2.5-flash-lite nos dois, o mesmo embedder (paraphrase-multilingual-minilm-l12-v2-r1) servido pelo mesmo servidor, e um agente só (openai/gpt-4.1-mini, temperatura zero) respondendo a pergunta de prova com o que cada memória entregou. O juiz (openai/gpt-4.1-mini) segue uma rubrica publicada; a verificação exata procura o valor esperado na resposta.
• A Mem0 como a documentação dela recomenda: um add() por troca de mensagens, um search() por turno com top_k 10 e limite de similaridade 0,1, e o formato de prompt dos exemplos dela. Nenhum parâmetro foi ajustado para este conjunto. A coluna com rerank usa o mesmo modelo de extração como reordenador.
• Identidade: a Mem0 não resolve identidade, então roda em dois cenários, com o mesmo ID em todos os canais (o melhor caso dela) e com o ID de cada canal (quando os agentes são de fornecedores diferentes). A Niadra recebe os mesmos identificadores nos dois.
• Conjunto: 240 cenários sintéticos em português e inglês, de atendimento e de agentes internos, em cinco setores. Um cenário só conta quando o agente acerta com o histórico inteiro no prompt e erra sem nenhum; nesta execução, 227 passaram nessa regra.
• Latência em laço aberto, como os turnos chegam: 10 e 25 leituras por segundo durante 30 s, espalhadas em 20 conversas, medidas pelo cliente. A Niadra aparece de dentro do cluster, como a Mem0, e também pelo endereço público com TLS.
• Custo: o preço público da Niadra, com os modelos incluídos; o gasto com o modelo de extração da Mem0 de código aberto, contado a partir do uso que o provedor devolve (servidores e banco da Mem0 ficam fora da conta); e os planos públicos da Mem0 Platform divididos pela cota de cada um.
• Cada medida roda 3 vezes com clientes novos a cada repetição. A página mostra a mediana e o intervalo entre a menor e a maior.
• Não medimos LoCoMo, LongMemEval nem BEAM: são conjuntos de conversa pessoal longa, contestados em público, e não medem o que o comprador da Niadra compra.