Cos'è un'API LLM? Come funziona e quando usarla

La versione breve

Quindi, cos'è un'API LLM? È un servizio che espone un modello linguistico tramite un indirizzo web. Non scarichi il modello, non possiedi una GPU e non gestisci il software di inferenza. Invii una richiesta contenente una conversazione e il servizio restituisce il messaggio successivo in quella conversazione.

Pensala come pensi a un'API di pagamento o a un'API di mappe. Qualcun altro gestisce l'infrastruttura complessa e tu la chiami dal tuo programma con una chiave che ti identifica. Il modello è il prodotto e l'API è la porta per accedervi.

Questa porta è HTTP semplice con corpi JSON, il che significa che funziona da Python, Node, Go, uno script shell, una macro di un foglio di calcolo o un'estensione di VS Code. Nulla in essa è legato a un linguaggio o a un framework specifico.

Come appaiono una richiesta e una risposta

La maggior parte delle API LLM oggi copia la struttura introdotta da OpenAI per la chat. Chiami un endpoint, POST /v1/chat/completions, e invii un elenco di messaggi. Ogni messaggio ha un role e del content.

• system imposta le regole e la personalità per l'intera conversazione.
• user è ciò che dice la persona (o il tuo programma).
• assistant è ciò che ha detto il modello in precedenza, che invii di nuovo perché ricordi la conversazione.
• tool trasporta il risultato di una funzione che il modello ti ha chiesto di eseguire.

Il dettaglio chiave è che il modello non ha memoria tra le chiamate. Ogni richiesta deve contenere l'intera conversazione che vuoi che consideri. Se vuoi un chatbot che ricordi le ultime dieci battute, il tuo codice memorizza quelle dieci battute e le invia ogni volta.

Ecco la chiamata minima utile con curl. Usa l'endpoint di questo sito, l'ID del modello uncensored e un token bearer.

Copycurl https://api.codingllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a mutex is in two sentences."}
    ]
  }'

La risposta è JSON. Il testo che desideri si trova a choices[0].message.content. Accanto ricevi un oggetto usage che segnala quanti token sono entrati e quanti sono usciti, che è la base per la fatturazione.

I token: l'unità di misura per tutto

Un modello non legge caratteri o parole. Legge token, che sono blocchi di testo che spesso sono una parola breve o un pezzo di una parola più lunga. La prosa inglese ha in media un po' meno di un token per parola, e il codice tende a usare più token per riga a causa di punteggiatura e indentazione. Considera qualsiasi conversione esatta come una stima e leggi il campo usage per il conteggio reale.

I token sono importanti per tre motivi.

1. Prezzo. Paghi per milione di token, con una tariffa per l'input (il tuo prompt) e una tariffa più alta per l'output (la risposta del modello).
2. Finestra di contesto. Il prompt e la risposta condividono un limite. Su questa API la finestra è di 100.000 token in totale.
3. Velocità. L'output viene prodotto un token alla volta, quindi una risposta lunga richiede più tempo di una breve.

Con i prezzi di questo sito, $0,15 per 1M token di input e $0,50 per 1M token di output, una richiesta con 2.000 token di input e 500 token di output costa 2.000 × $0,15 / 1.000.000 = $0,0003 per l'input più 500 × $0,50 / 1.000.000 = $0,00025 per l'output. Il totale è $0,00055, quindi mille richieste di questo tipo costano $0,55. I prezzi attuali sono sempre nella pagina dei prezzi.

Chiamare un'API LLM dal codice

Puoi scrivere la chiamata HTTP a mano, ma un SDK fa risparmiare tempo. Poiché questa API è compatibile con OpenAI, le librerie ufficiali OpenAI funzionano dopo aver modificato due valori: il base URL e la chiave.

Python

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.codingllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a careful code reviewer."},
        {"role": "user", "content": "What is wrong with: for i in range(len(x)): print(x[i])"},
    ],
    temperature=0.3,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.codingllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a CLI that renames files." }],
});

console.log(resp.choices[0].message.content);

Mantieni la chiave in una variabile d'ambiente o in un archivio segreti. Una chiave incollata nel codice front-end o in un repository pubblico può essere usata da chiunque la trovi e le spese ti verranno addebitate.

Funzionalità che trasformano una chat in un blocco costitutivo

Un completamento nudo è utile, ma la maggior parte dei programmi reali utilizza almeno una delle seguenti.

Streaming

Imposta stream: true e il server invia la risposta come eventi inviati dal server, token per token. Gli utenti vedono il testo apparire subito invece di aspettare la risposta completa. Le figure di utilizzo arrivano alla fine dello streaming.

Modalità JSON

Passa response_format: {"type": "json_object"} e il modello viene indirizzato per restituire JSON valido. Questo è il modo per estrarre campi da testo disordinato, classificare ticket o produrre dati strutturati per il passaggio successivo in una pipeline. Convalida comunque il risultato nel tuo codice e indica al modello nel prompt quali chiavi ti aspetti.

Chiamata di funzioni

Descrivi le funzioni nell'array tools. Il modello può rispondere con una richiesta di chiamarne una, con gli argomenti compilati. Il tuo codice esegue la funzione e invia il risultato di nuovo come messaggio con role: "tool". Il modello non esegue mai nulla da solo. Chiede solo e tu decidi cosa viene effettivamented eseguito. Questo è il meccanismo alla base degli agenti di codifica che leggono file ed eseguono test.

Controlli di campionamento

temperature, top_p, stop, seed e le penalità di ripetizione vengono passati. Una temperatura bassa fornisce risposte più stabili per il codice e l'estrazione. Valori più alti danno una prosa più varia.

API ospitata o esecuzione del modello in locale

L'alternativa a un'API è eseguire un modello a pesi aperti sul tuo hardware. Questa è una scelta valida ed è utile essere onesti su quando vince.

Domanda	API Ospitata	Self-hosted
Costo iniziale	Nessuno, paghi per token	Acquisto o noleggio GPU
Tempo di configurazione	Minuti	Ore o giorni
Scalabilità	Limitato dai limiti di richieste della tua chiave	Limitato dall'hardware
I dati escono dalla tua macchina	Sì, verso il provider	No
Costo inattivo	Zero	Paghi anche quando non gira nulla

Se invii qualche migliaio di richieste al giorno o il tuo utilizzo è a raffica, il pricing per token è solitamente la scelta più semplice. Se hai un carico costante ed elevato e regole rigide che vietano l'invio di testo a terze parti, l'hosting locale può avere più senso. Molti team iniziano con un'API per validare l'idea e rivalutano la domanda in seguito.

Limiti, errori e buone pratiche

Ogni API ha dei limiti e conoscerli in anticipo fa risparmiare tempo di debug. Su questo servizio una chiave completa permette 8 richieste parallele e 300 richieste al minuto. Una chiave di prova ne permette 2 e 60. Il corpo massimo della richiesta è di 8 MB. Una richiesta in streaming mantiene il suo slot di concorrenza fino al termine dello streaming, cosa che spesso coglie di sorpresa chi apre molti stream e dimentica di chiuderli.

Superare un limite restituisce HTTP 429. Il codice di errore rate_limited indica troppe richieste al minuto, mentre concurrency indica troppe richieste simultanee. Un 429 con l'intestazione Retry-After: 5 segnala un sovraccarico temporaneo. In tutti e tre i casi la risposta corretta è attendere e ritentare con backoff, non bombardare l'endpoint.

• Leggi X-RateLimit-Limit-Requests e X-RateLimit-Limit-Concurrency dalle intestazioni di risposta per vedere i tuoi limiti, e X-Balance-USD per monitorare il tuo credito.
• Registra X-Request-Id con ogni chiamata. Rende le domande di supporto molto più veloci da risolvere.
• Imposta un timeout ragionevole e un limite sulla lunghezza della conversazione così che un loop incontrollato non possa consumare il tuo saldo.
• Taglia i turni vecchi di una chat prima che riempiano la finestra di contesto.

Le richieste fallite o rifiutate non vengono addebitate su questa API e il credito non scade, quindi un errore in fase di test costa poco.

Per iniziare con questa API

Questo servizio è un'API testuale ospitata compatibile con OpenAI per un singolo modello a pesi aperti, gestita da un provider indipendente e ottimizzata per rispondere senza rifiuti di contenuto per l'uso adulto legale. È solo testo: nessuna immagine, audio, embedding o fine-tuning. Non è l'API ufficiale di alcun fornitore di modelli. I prompt non vengono utilizzati per l'addestramento.

I nuovi utenti possono richiedere $0,50 di credito di prova con un clic nella pagina della chiave API dopo essersi registrati con Google o con email e password. Non serve una carta e dura 7 giorni. Dopo di che puoi ricaricare con qualsiasi importo intero da $20 a $500, con un bonus del 5% da $50, del 10% da $100 e del 15% da $200. Puoi pagare con carta (Visa, Mastercard, Apple Pay, Google Pay) o con cripto (USDT su TRC20, USDC su Base).

I passaggi sono brevi: crea la tua chiave API, segui la guida rapida nella documentazione ed esegui lo snippet Python sopra. Se il tuo uso principale è l'aiuto alla programmazione, la pagina su un modello senza censura per agenti di coding copre questo caso in maggiore dettaglio.

Altre guide

• LLM API per VS Code: collega il tuo editor alla tua chiave
• Bot Discord con IA per programmare: creane uno con un'API LLM
• API LLM senza censura per agenti di coding