“Nova” Siri tem desempenho péssimo em teste de conhecimento esportivo

A “nova” Siri — aquela que chegou com o iOS 18.2 com recursos empurrados por IA — virou…

Jan 26, 2025 - 16:45
 0
“Nova” Siri tem desempenho péssimo em teste de conhecimento esportivo
Logo da Siri no iPhone

A “nova” Siri — aquela que chegou com o iOS 18.2 com recursos empurrados por IA — virou assunto depois que um experimento revelou que ela ainda tem muito a melhorar quando se trata de responder perguntas simples.

A ideia foi do Paul Kafasis, do site One Foot Tsunami, que resolveu perguntar à Siri quem venceu cada Super Bowl, do I ao LX. O resultado: apenas 20 respostas corretas em 58 tentativas, um taxa de acerto que beira os 34% — nada bom.

O teste mostrou que a Siri, além de errar bastante, às vezes dava respostas que não faziam sentido. Um dos casos mais bizarros foi ela insistir que os Philadelphia Eagles tinham ganhado 33 Super Bowls, quando, na realidade, o time só venceu um.

Para piorar, ela chegou a engatar 15 erros seguidos ao ser questionada sobre os vencedores de Super Bowls específicos, entre os jogos XVII e XXXII.

E não foi só isso: em algumas ocasiões, a Siri até acertou, mas por sorte. Ao responder sobre o Super Bowl X, por exemplo, ela citou o vencedor correto, mas usando informações erradas sobre o Super Bowl IX.

Outras vezes, ela saía completamente do tema e trazia informações desconexas, como estatísticas aleatórias ou trechos de artigos da Wikipédia.

Outros assistentes fazem melhor?

A curiosidade de Paul inspirou o blogueiro John Gruber, do Daring Fireball, que comparou o desempenho da Siri com outras ferramentas, como o ChatGPT, o Kagi, o DuckDuckGo e o Google. Sim, meus amigos, a diferença foi gritante.

Eles não só acertaram todas as perguntas, como também lidaram bem com questões mais complicadas, como os vencedores dos Super Bowls LIX e LX, que sequer aconteceram. Eles explicaram direitinho que os jogos estão agendados, mas sem resultados.

Gruber também fez uma comparação com a versão antiga da Siri, e adivinhe: ela era menos “inteligente”, porém mais útil.

Isso porque, quando não sabia a resposta, a Siri antiga redirecionava para links da web, onde o usuário podia encontrar a informação correta. Já a Siri atual, mais “sofisticada”, muitas vezes responde de forma confiante, mas completamente errada — o que acaba sendo pior.


Toda essa análise mostra que a Maçã ainda tem um caminho longo para tornar a Siri realmente confiável, mesmo em temas tão populares (principalmente nos Estados Unidos) quanto o Super Bowl.

E essa questão, é válido destacar, vai além de errar respostas: quando uma assistente virtual dá informações erradas com confiança, isso pode causar desinformação e prejudicar a experiência do usuário.

Por ora, se você quiser informações precisas, talvez seja melhor contar com outras ferramentas. A Siri ainda tem seus méritos, é claro, mas ela não é exatamente a melhor fonte para perguntas que exigem respostas confiáveis.

A Apple, por sua vez, parece já trabalhar numa Siri mais conversacional — pelo menos é o que dizem os rumores. A gigante de Cupertino estaria planejando anunciar essa versão ainda neste ano, mas ela só deverá chegar aos usuários em 2026, com o iOS 19.