Ir para o conteúdo

Conexão de LLMs gratuitos com proxy OpenAI

O tweet de Görkem Çetin chama a atenção para uma solução que permite usar modelos de linguagem de grande porte (LLMs) sem pagar, encadeando suas camadas gratuitas por meio de um proxy compatível com a OpenAI. O objetivo é oferecer um volume elevado de tokens — até 1,3 bilhão por mês — aproveitando provedores que disponibilizam acesso gratuito em limites menores.

Funcionamento

O projeto freellmapi atua como um intermediário que recebe requisições no formato da OpenAI API e as redistribui entre as chaves de camada gratuita de diversos provedores. Cada chamada consome tokens de um dos pools disponíveis, balanceando o uso para evitar que um único serviço ultrapasse seu limite gratuito.

Observacao

O número exato de provedores agregados pode variar; o repositório menciona aproximadamente quatorze fontes de chaves gratuitas.

Vantagens

  • Acesso a um volume elevado de tokens sem custo direto.
  • Compatibilidade total com clientes que já utilizam a OpenAI API (basta mudar o endpoint).
  • Facilidade de escalabilidade ao adicionar ou remover provedores de chaves no próprio proxy.

Dica

Para começar, basta clonar o repositório freellmapi no GitHub, seguir as instruções de instalação e definir a variável de ambiente OPENAI_API_BASE para o endpoint do proxy.

Como usar

  1. Clone o repositório: 
    git clone https://github.com/tashfeenahmed/freellmapi.git
  2. Instale as dependências conforme indicado no README.
  3. Inicie o proxy, que ficará escutando em uma porta local (por padrão 8000).
  4. Configure seu aplicativo ou ferramenta de IA para apontar para http://localhost:8000/v1 como base da OpenAI API, mantendo a mesma chave de autenticação (ou deixando-a vazia se o proxy não exigir).

Atencao

Embora o proxy agregue camadas gratuitas, cada provedor impõe seus próprios limites de uso e políticas de serviço. É recomendável monitorar o consumo para evitar bloqueios inesperados.

Pontos-chave

  • O freellmapi oferece um proxy OpenAI‑compatível que agrega chaves gratuitas de cerca de quatorze provedores de LLMs.
  • Essa arquitetura permite consumir até 1,3 bilhão de tokens por mês sem custo direto.
  • A solução é útil para desenvolvedores que desejam testar ou executar aplicações intensivas em linguagem usando apenas recursos gratuitos.

Ferramentas e Tecnologias

  • [[GitHub]]
  • [[OpenAI API]]
  • [[freellmapi]]

Nota pessoal

https://x.com/i/status/2047159405993410745

Tags

llm #proxy #free-api #token-limit #github