Não é exagero dizer que a inteligência artificial generativa hoje faz parte da rotina do brasileiro. Pesquisa do Google, em parceria com a consultoria Ipsos, realizada em 2024, mostra que 60% dos adultos no País com presença online já utilizam os serviços de IA. Mas, com tantas plataformas disponíveis, a dúvida é saber qual funciona melhor para determinada tarefa.
Justamente para eliminar essa dúvida, a startup Inner IA criou o Placar da IA, primeiro benchmark desenvolvido no Brasil sobre o assunto. No levantamento, foram feitas 1.000 perguntas de 10 áreas específicas, sendo 100 para cada, a 15 IAs. Todas foram feitas simultaneamente, sem que fossem publicadas, para que o algoritmo não pudesse identificar que se tratava de um teste.
Na primeira fase, o estudo contemplou os resultados de cinco delas: medicina, literatura brasileira, contabilidade, jurídico e conhecimentos gerais. No mês que vem, a Inner revela os dados do segmento financeiro, para identificar qual IA é mais eficiente para a Faria Lima, por exemplo. As outras serão reveladas ainda em 2025.
Todas as perguntas, de múltipla escolha, foram extraídas de concursos públicos, como da Ordem dos Advogados do Brasil (OAB) e Tribunal de Contas da União (TCU) e de exames educacionais, como Enem e vestibulares de universidades pelo Brasil.
“O ChatGPT foi a maior invenção tecnológica recente, mas ele não é sinônimo de IA no Brasil. Hoje as pessoas não sabem qual IA usar e, com esse placar, a gente confirma essa hipótese de que há um modelo para cada área”, diz Pedro Salles Leite, fundador e CEO da Inner AI, em entrevista ao NeoFeed.
Ainda assim, a plataforma, principalmente por oferecer um serviço gratuito limitado, se expandiu rápido no País. O dado curioso é que, apesar da capilaridade, o ChatGPT não lidera em nenhuma das cinco primeiras áreas analisadas pelo estudo da Inner AI.
Para Leite, uma IA pode ser comparada aos serviços de streaming distribuídos no Brasil: Netflix, Prime Vídeo, Disney+ podem ser boas opções, de acordo com o tipo de filme ou série. Ou seja, não existe a melhor IA no Brasil e sim a que atende melhor, a depender do que for solicitado ao aplicativo. “Não há uma que resolva tudo. É preciso entender para que ele vai ser usado.”
Qual a melhor opção de IA
Na medicina, a IA mais eficiente, com base no sistema implementado pela Inner, foi a Gemini 2.5 Pro, do Google, com nota 8,49 (em uma contagem até 10). O aplicativo ficou à frente do o3, da OpenAI, com 8,36.
“Isso significa que o profissional de saúde tem uma chance muito maior de acertar algum desafio que ele tenha no seu dia a dia. Nesse caso, o ChatGPT 4 está 10% abaixo, com nota 7,3”, explica Leite.
Nesse quesito, a pesquisa se aprofundou sobre dados relacionados ao Sistema Único de Saúde (SUS), e quem mais respondeu corretamente as questões foi a Claude Sonnet 4 Thinking, da americana Anthropic.
Quando o assunto é entender a plataforma que melhor responde sobre temas ligados à literatura brasileira, a vencedora foi Claude Sonnet 4 Thinking, que obteve nota 8,98. “Ele é disparado o melhor modelo sobre esse assunto.”
Em contabilidade, a liderança ficou com o3, com nota 9,43. No entanto, foi o Gemini 2.5 Pro que demonstrou maior conhecimento técnico sobre Demonstração do Resultado do Exercício (DRE) e balanço patrimonial. “Mesmo assim, a complexidade tributária brasileira é um complicador para as IAs.”
Em conhecimento gerais, em que foram feitas 100 questões sobre assuntos relacionados ao Brasil, a liderança ficou dividida entre Gemini 2.5 Pro e o3, ambos com nota 9,86. No jurídico, a vitória foi do Gemini 2.5 Pro, com 9,62. Dos cinco questionários, a IA do Google venceu em três.
Para criar o modelo brasileiro, o fundador da Inner IA usou experiências de sucesso implementadas nos Estados Unidos, como LMArena e Seal, da Scale. Com isso, Leite chegou à conclusão de que uma IA muito bem posicionada entre os usuários americanos não significa necessariamente que seja a melhor opção para o mercado brasileiro.
“Até agora, nós precisávamos usar as análises externas. Agora podemos ajudar os brasileiros a ganhar tempo e produtividade. Queremos ser um padrão de ouro para as pessoas e dar essa informação para quem precisa entender o que faz cada IA.”
Nas próximas análises, a Inner pretende desenvolver seus próprios questionários e incluir novos modelos de IA que já surgiram desde que a primeira rodada do Placar da IA foi realizada, em 15 de maio.
“Desde então, já surgiram mais três ou quatro tipos de IA. E devem aparecer mais. É importante que nosso placar esteja atualizado e ainda entenda a relevância de cada uma delas no mercado brasileiro”, diz o fundador da startup.
Criada em 2023, a Inner hoje conta com mais de 250 mil usuários, que utilizam a plataforma da empresa que oferece todos os aplicativos, por meio de licenças de permissão de uso, como no modelo de Spotify, em que a plataforma tem autorização para oferecer conteúdos de áudio, como músicas e podcasts.
“Nosso principal desafio é justamente explicar para as pessoas as funcionalidades e como cada um pode utilizar uma IA para suas dúvidas. Todo dia tem lançamento. É impossível querer que as pessoas saibam qual a melhor opção. Por isso que o Placar da IA tem uma importância grande para o mercado brasileiro”, diz Leite.
Fonte: Neofeed