Site que testa desempenho de LLMs locais no PC¶
O Can I Run AI é um serviço online que auxilia usuários a determinar quais modelos de linguagem de grande porte (LLMs) locais podem ser executados em seus computadores, mostrando o desempenho estimado em token/s com base nas especificações de hardware.
Sobre o Can I Run AI¶
O site foi mencionado em um tweet em turco como uma solução para quem possui “bir sürü lokal LLM” e se pergunta qual deles o próprio computador consegue rodar. Ele fornece uma resposta personalizada ao analisar o hardware do usuário e exibir quantos tokens por segundo cada modelo seria capaz de processar.
Como funciona¶
Ao acessar o Can I Run AI, o visitante pode inserir ou permitir que o serviço detecte as especificações da máquina (CPU, RAM, GPU). Com esses dados, o site gera uma lista de LLMs disponíveis e, para cada um, mostra o desempenho esperado em token/s. Essa informação ajuda a escolher um modelo que equilibre qualidade e viabilidade de execução local.
Observacao
O Can I Run AI exibe o desempenho em token/s para cada modelo LLM com base nas especificações do seu hardware.
Dica
Forneça informações precisas de CPU, RAM e GPU para obter as estimativas mais acuradas.
Pontos-chave¶
- O site indica quais LLMs locais podem rodar no seu computador.
- O desempenho é apresentado em tokens por segundo para cada modelo.
- É necessário informar ou permitir a detecção das especificações de hardware.
- Útil para planejamento de experimentos com LLMs sem necessidade de testes de tentativa e erro.
- Facilita a escolha de modelos adequados à capacidade de processamento disponível.
Nota pessoal
https://x.com/i/status/2049894902524240285