# Benchmark da Niadra e da Mem0: latência, custo e acerto entre canais > Sete medidas com script aberto e arquivos de resultado: latência do contexto, tokens por turno, custo por mil conversas, acerto entre canais, privacidade, frescor e falhas. Niadra e Mem0 na mesma região, com o mesmo modelo. URL: https://niadra.com/benchmark # Medido, não prometido. A Niadra e cada sistema de memória comparado rodam na mesma região, com o mesmo agente respondendo e, onde o sistema deixa escolher, o mesmo modelo de extração e o mesmo embedder. O script é aberto e cada número desta página vem de um arquivo de resultado publicado. Execução de 25/09/2026 em us-east-2, máquina m7i-flex.large, 3 repetições. Niadra 2026.09.25-1400-5d4d64b, SDK 0.1.5, Mem0 v2.2.0 (mem0ai 2.2.0). [Arquivos desta execução](https://github.com/ainiadra/niadra-sdk-python/tree/main/benchmarks/results/2026-09-25-6efee4) ## Quem lidera cada medida Cada lista vai do melhor valor ao pior, com a posição de cada sistema. Os gráficos abaixo trazem a faixa das repetições e a tabela de cada medida. - Niadra - Mem0 - Referências Nomes e logotipos pertencem aos seus donos e aparecem aqui só para identificar os sistemas comparados. ### Latência do contexto, p95 a 10 leituras por segundo Menor é melhor 1. 1Niadra, de dentro do cluster78 ms 2. 2Mem0 código aberto178 ms ### Acerto com o mesmo ID em todos os canais Maior é melhor 1. 1Mem0 código aberto67,8% 2. 2Niadra45,4% 3. 3Mem0 código aberto rerank40,4% ### Custo da memória por mil conversas Menor é melhor 1. 1Mem0 código abertoUS$ 8,51 2. 2Mem0 código aberto rerankUS$ 9,05 3. 3NiadraUS$ 5,00 a US$ 15,00 ### Tokens no prompt por turno, mediana Menor é melhor 1. 1Mem0 código aberto rerank24 2. 2Mem0 código aberto165 3. 3Niadra, contexto de voz236 ### Dado sensível entregue sem verificação Menor é melhor 1. 1Niadra0 de 32 2. 2Mem0 código aberto rerank21 de 32 3. 3Mem0 código aberto27 de 32 ### Latência do contexto antes da chamada ao modelo Menor é melhor Tempo até o agente ter a memória em mãos, p95 de cada taxa, medido pelo cliente. A barra é a mediana das repetições; o traço, a menor e a maior. #### 10 leituras por segundo, durante 30 s 1. 1 Niadramelhor valor de dentro do cluster 78 ms 2. 2 Mem0 código aberto de dentro do cluster 178 ms 3. 3 Niadra pelo endereço público, com TLS 294 ms #### 25 leituras por segundo, durante 30 s 1. 1 Niadramelhor valor pelo endereço público, com TLS 495 ms 2. 2 Niadra de dentro do cluster 533 ms 3. 3 Mem0 código aberto de dentro do cluster 17.248 ms A mediana do p95 da Niadra de dentro do cluster fica em 78 ms a 10 leituras por segundo, mas chegou a 2.623 ms numa das três repetições. Causa mais provável: a mesma máquina m7i-flex.large atende a produção, o harness e a Mem0, e durante a execução o serviço de leitura da Niadra não conseguiu ganhar réplicas porque a memória do nó estava toda reservada. ### Ver os números em tabela Latência do contexto antes da chamada ao modelo Sistema Caminho Leituras por segundo p50 p95 p99 Erros / enviadas Niadra pelo endereço público, com TLS 10 54 ms 294 ms 726 ms 19 / 900 Niadra pelo endereço público, com TLS 25 91 ms 495 ms 1.493 ms 0 / 2.250 Niadra de dentro do cluster 10 37 ms 78 ms 423 ms 0 / 900 Niadra de dentro do cluster 25 24 ms 533 ms 814 ms 0 / 2.250 Mem0 código aberto de dentro do cluster 10 90 ms 178 ms 276 ms 0 / 900 Mem0 código aberto de dentro do cluster 25 9.902 ms 17.248 ms 18.278 ms 448 / 2.250 ### Acerto na continuidade entre canais Maior é melhor Parte dos cenários válidos em que o agente respondeu certo, pela nota do juiz. As duas referências marcam o chão e o teto. #### Mesmo ID em todos os canais 1. 1 Mem0 código abertomelhor valor 67,8% 2. 2 Niadra 45,4% 3. 3 Mem0 código aberto rerank 40,4% 4. Histórico inteiro no prompt (referência) 100% 5. Sem memória (referência) 10,1% #### ID de cada canal 1. 1 Niadramelhor valor 45,4% 2. 2 Mem0 código aberto 31,6% 3. 3 Mem0 código aberto rerank 20,7% 4. Histórico inteiro no prompt (referência) 100% 5. Sem memória (referência) 10,1% #### Acerto por categoria, mesmo ID em todos os canais Acerto por categoria, mesmo ID em todos os canais Categoria Niadra Mem0 código aberto Mem0 código aberto com rerank Histórico inteiro no prompt (referência) Continuidade 97,5% 97,5% 62,5% 100% Identidade 2,5% 92,5% 40% 100% Recorrência 21,7% 69,6% 21,7% 100% Ordem e tempo 0% 62,5% 18,8% 100% Promessa e ação 79,3% 82,8% 41,4% 100% Privacidade 84,4% 3,1% 21,9% 100% Fato que mudou 25% 50% 53,1% 100% A Niadra perde para a Mem0 com o mesmo ID em todos os canais (45,4% contra 67,8%) e ganha quando cada canal manda o próprio ID (45,4% contra 31,6%). Causa mais provável: o modelo que decide se uma sessão merece extração pulou sessões curtas que traziam o fato perguntado, e o contexto da Niadra só trazia a resposta em 46,4% dos casos; em identidade (2,5%) e em ordem e tempo (0%) o fato quase nunca chegou ao contexto. A faixa da Mem0 desce a 19,4% na terceira repetição, em que a busca dela voltou vazia na maior parte das perguntas: o índice HNSW do pgvector filtra por usuário depois da busca aproximada, e a tabela já guardava os clientes das repetições anteriores. ### Ver os números em tabela Acerto na continuidade entre canais Sistema Cenário Juiz Verificação exata Cenários válidos Niadra 45,4% 46,7% 227 Mem0 código aberto Mesmo ID em todos os canais 67,8% 70% 227 Mem0 código aberto ID de cada canal 31,6% 36,6% 227 Mem0 código aberto com rerank Mesmo ID em todos os canais 40,4% 41,7% 227 Mem0 código aberto com rerank ID de cada canal 20,7% 24,2% 227 Histórico inteiro no prompt (referência) 100% 100% 227 Sem memória (referência) 10,1% 14,1% 227 ### Custo e acerto Custo por mil conversas contra o acerto no cenário com o mesmo ID, para cada sistema com as duas medidas. A Niadra aparece como a faixa do seu preço. Mais para cima e para a esquerda é melhor. Acerto ↑↖ menor custo, maior acerto Niadra Mem0 código aberto Mem0 código aberto rerank Custo por mil conversas → - Niadra US$ 5,00 / US$ 15,00 · 45,4% - Mem0 código aberto US$ 8,51 · 67,8% - Mem0 código aberto rerank US$ 9,05 · 40,4% ### Ver os números em tabela Custo e acerto Sistema Custo por mil conversas Acerto Niadra US$ 5,00 / US$ 15,00 45,4% Mem0 código aberto US$ 8,51 67,8% Mem0 código aberto com rerank US$ 9,05 40,4% ### Tokens que a memória põe no prompt, por turno Menor é melhor Mediana por turno, contados com o200k\_base. Menor custa menos no modelo do seu agente e cabe melhor na voz. 1. 1 Mem0 código aberto rerankmelhor valor 24 2. 2 Mem0 código aberto 165 3. 3 Niadra contexto de voz 236 4. 4 Niadra contexto de chat 314 5. Histórico inteiro no prompt (referência) 249 A Niadra põe mais tokens no prompt (236 na voz e 314 no chat, contra 165 da Mem0 com o mesmo ID): o bloco dela traz sempre o cabeçalho do cliente, a data de atualização e o resumo do histórico, além dos fatos. ### Ver os números em tabela Tokens que a memória põe no prompt, por turno Sistema Visão Mediana p95 Niadra contexto de chat 314 487 Niadra contexto de voz 236 322 Mem0 código aberto 165 237 Mem0 código aberto com rerank 24 209 Histórico inteiro no prompt (referência) 249 381 ### Custo da camada de memória por mil conversas Menor é melhor Em dólares, conversas de 10 trocas, com os preços públicos de 24/09/2026. 1. 1 Niadramelhor valor preço de tabela, faixa de maior volume US$ 5,00 2. 2 Mem0 código aberto só o gasto com o modelo, medido US$ 8,51 3. 3 Mem0 código aberto rerank só o gasto com o modelo, medido US$ 9,05 4. 4 Niadra preço de tabela, faixa de menor volume US$ 15,00 5. Mem0 Platform plano Hobby US$ 0,00 6. Mem0 Platform plano Starter US$ 38,00 7. Mem0 Platform plano Pro US$ 49,80 O número da Mem0 de código aberto cobre só o gasto medido com o modelo de extração; os servidores, o banco e a operação dela não entram. O preço da Niadra já inclui tudo isso. ### Ver os números em tabela Custo da camada de memória por mil conversas Sistema Base Memória, por mil conversas Prompt do agente, por mil conversas Conversas por mês na cota Niadra preço de tabela, faixa de maior volume US$ 5,00 US$ 1,26 Niadra preço de tabela, faixa de menor volume US$ 15,00 US$ 1,26 Mem0 código aberto só o gasto com o modelo, medido US$ 8,51 US$ 0,66 Mem0 código aberto com rerank só o gasto com o modelo, medido US$ 9,05 US$ 0,10 Mem0 Platform plano Hobby US$ 0,00 100 Mem0 Platform plano Starter US$ 38,00 500 Mem0 Platform plano Pro US$ 49,80 5.000 ### Dado sensível entregue a quem não provou quem é Menor é melhor Cenários de privacidade em que a memória entregou o dado sensível a uma conversa sem verificação. 1. 1 Niadramelhor valor 0 de 32 2. 1 Mem0 código abertomelhor valor ID de cada canal 0 de 32 3. 1 Mem0 código aberto rerankmelhor valor ID de cada canal 0 de 32 4. 4 Mem0 código aberto rerank Mesmo ID em todos os canais 21 de 32 5. 5 Mem0 código aberto Mesmo ID em todos os canais 27 de 32 6. Histórico inteiro no prompt (referência) 32 de 32 ### Ver os números em tabela Dado sensível entregue a quem não provou quem é Sistema Cenário Entregues Niadra 0 de 32 Mem0 código aberto Mesmo ID em todos os canais 27 de 32 Mem0 código aberto ID de cada canal 0 de 32 Mem0 código aberto com rerank Mesmo ID em todos os canais 21 de 32 Mem0 código aberto com rerank ID de cada canal 0 de 32 Histórico inteiro no prompt (referência) 32 de 32 ### Frescor entre canais Menor é melhor Tempo entre a mensagem entregue à memória no WhatsApp e a primeira leitura do agente de voz que a traz, mediana das tentativas. 1. 1 Niadramelhor valor 358 ms 2. 2 Mem0 código aberto 947 ms ### Ver os números em tabela Frescor entre canais Sistema p50 p95 Sem chegar / tentativas Niadra 358 ms 889 ms 0 / 60 Mem0 código aberto 947 ms 1.221 ms 6 / 60 ### Memória lenta ou fora do ar Menor é melhor Tempo até o agente poder chamar o modelo, com a memória atrasando cada resposta ou devolvendo erro, e o cliente de cada uma como vem. #### Memória atrasando 2.000 ms cada resposta 1. 1 Niadramelhor valor 151 ms 2. 2 Mem0 código aberto 2.099 ms #### Memória devolvendo erro 503 1. 1 Mem0 código abertomelhor valor 0,9 ms 2. 2 Niadra 2,5 ms ### Ver os números em tabela Memória lenta ou fora do ar Sistema Falha p50 max Dentro de 1.000 ms Erro chegou ao agente Contexto vazio Niadra Memória atrasando 2.000 ms cada resposta 151 ms 153 ms 100% 0% 100% Niadra Memória devolvendo erro 503 2,5 ms 150 ms 100% 0% 100% Mem0 código aberto Memória atrasando 2.000 ms cada resposta 2.099 ms 2.179 ms 0% 0% 0% Mem0 código aberto Memória devolvendo erro 503 0,9 ms 2,6 ms 100% 100% 100% ## Como medimos - Onde: us-east-2, na mesma classe de máquina (m7i-flex.large) e de banco (db.t4g.micro) que servem a Niadra. A Mem0 roda o servidor REST do próprio repositório dela, versão v2.2.0 (mem0ai 2.2.0), num pod do mesmo cluster, com pgvector num banco separado. - Mesmos modelos: extração com google/gemini-2.5-flash-lite nos dois, o mesmo embedder (paraphrase-multilingual-minilm-l12-v2-r1) servido pelo mesmo servidor, e um agente só (openai/gpt-4.1-mini, temperatura zero) respondendo a pergunta de prova com o que cada memória entregou. O juiz (openai/gpt-4.1-mini) segue uma rubrica publicada; a verificação exata procura o valor esperado na resposta. - A Mem0 como a documentação dela recomenda: um add() por troca de mensagens, um search() por turno com top\_k 10 e limite de similaridade 0,1, e o formato de prompt dos exemplos dela. Nenhum parâmetro foi ajustado para este conjunto. A coluna com rerank usa o mesmo modelo de extração como reordenador. - Identidade: a Mem0 não resolve identidade, então roda em dois cenários, com o mesmo ID em todos os canais (o melhor caso dela) e com o ID de cada canal (quando os agentes são de fornecedores diferentes). A Niadra recebe os mesmos identificadores nos dois. - Conjunto: 240 cenários sintéticos em português e inglês, de atendimento e de agentes internos, em cinco setores. Um cenário só conta quando o agente acerta com o histórico inteiro no prompt e erra sem nenhum; nesta execução, 227 passaram nessa regra. - Latência em laço aberto, como os turnos chegam: 10 e 25 leituras por segundo durante 30 s, espalhadas em 20 conversas, medidas pelo cliente. A Niadra aparece de dentro do cluster, como a Mem0, e também pelo endereço público com TLS. - Custo: o preço público da Niadra, com os modelos incluídos; o gasto com o modelo de extração da Mem0 de código aberto, contado a partir do uso que o provedor devolve (servidores e banco da Mem0 ficam fora da conta); e os planos públicos da Mem0 Platform divididos pela cota de cada um. - Cada medida roda 3 vezes com clientes novos a cada repetição. A página mostra a mediana e o intervalo entre a menor e a maior. - Não medimos LoCoMo, LongMemEval nem BEAM: são conjuntos de conversa pessoal longa, contestados em público, e não medem o que o comprador da Niadra compra. [Ver o script do benchmark](https://github.com/ainiadra/niadra-sdk-python/tree/main/benchmarks) ## Execuções Execuções Data Região e máquinas Versões Commit do script Arquivos 25/09/2026 us-east-2 · m7i-flex.large Niadra 2026.09.25-1400-5d4d64b · SDK 0.1.5 · mem0ai 2.2.0 52ed396 [2026-09-25-6efee4](https://github.com/ainiadra/niadra-sdk-python/tree/main/benchmarks/results/2026-09-25-6efee4)