Qu'est-ce qu'une API LLM ? Comment ça marche et quand l'utiliser

La version courte

Alors, qu'est-ce qu'une API LLM ? C'est un service qui expose un modèle de langage via une adresse web. Vous ne téléchargez pas le modèle, vous ne possédez pas de GPU et vous ne gérez pas le logiciel d'inférence. Vous envoyez une requête contenant une conversation, et le service renvoie le prochain message de cette conversation.

Considérez-le comme vous le feriez avec une API de paiement ou une API de cartographie. Un tiers gère l'infrastructure complexe, et vous l'appelez depuis votre propre programme avec une clé qui vous identifie. Le modèle est le produit, et l'API est la porte d'entrée.

Cette porte est du HTTP simple avec des corps JSON, ce qui signifie qu'elle fonctionne depuis Python, Node, Go, un script shell, une macro de tableur ou une extension VS Code. Rien n'est lié à un langage ou à un framework spécifique.

À quoi ressemblent une requête et une réponse

La plupart des API LLM actuelles copient la structure introduite par OpenAI pour le chat. Vous appelez un endpoint, POST /v1/chat/completions, et envoyez une liste de messages. Chaque message a un role et un contenu content.

• system définit les règles et la personnalité pour toute la conversation.
• user est ce que la personne (ou votre programme) dit.
• assistant est ce que le modèle a dit précédemment, que vous renvoyez pour qu'il se souvienne du fil de discussion.
• tool contient le résultat d'une fonction que le modèle vous a demandé d'exécuter.

Le détail clé est que le modèle n'a pas de mémoire entre les appels. Chaque requête doit contenir toute la conversation que vous voulez qu'il considère. Si vous voulez un chatbot qui se souvient des dix derniers échanges, votre code stocke ces dix échanges et les envoie à chaque fois.

Voici l'appel utile minimal avec curl. Il utilise l'endpoint de ce site, l'ID de modèle uncensored, et un jeton Bearer.

Copycurl https://api.codingllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a mutex is in two sentences."}
    ]
  }'

La réponse est au format JSON. Le texte souhaité se trouve à choices[0].message.content. À côté, vous obtenez un objet usage qui indique le nombre de tokens entrants et sortants, ce sur quoi la facture est basée.

Les tokens : l'unité de mesure de tout

Un modèle ne lit pas des caractères ou des mots. Il lit des tokens, qui sont des blocs de texte correspondant souvent à un mot court ou à une partie d'un mot plus long. La prose en anglais compte en moyenne un peu moins d'un token par mot, et le code utilise plus de tokens par ligne en raison de la ponctuation et de l'indentation. Considérez toute conversion exacte comme une estimation et lisez le champ usage pour le nombre réel.

Les tokens sont importants pour trois raisons.

1. Prix. Vous payez par million de tokens, avec un tarif pour l'entrée (votre prompt) et un tarif plus élevé pour la sortie (la réponse du modèle).
2. Fenêtre de contexte. Le prompt et la réponse partagent une limite unique. Sur cette API, la fenêtre est de 100 000 tokens au total.
3. Vitesse. La sortie est produite token par token, donc une réponse longue prend plus de temps qu'une réponse courte.

Avec les tarifs de ce site, 0,15 $ par 1M de tokens d'entrée et 0,50 $ par 1M de tokens de sortie, une requête avec 2 000 tokens d'entrée et 500 tokens de sortie coûte 2 000 x 0,15 $ / 1 000 000 = 0,0003 $ pour l'entrée plus 500 x 0,50 $ / 1 000 000 = 0,00025 $ pour la sortie. Cela fait 0,00055 $ au total, donc mille requêtes de ce type coûtent 0,55 $. Les tarifs actuels sont toujours disponibles sur la page des tarifs.

Appeler une API LLM depuis du code

Vous pouvez écrire l'appel HTTP à la main, mais un SDK fait gagner du temps. Comme cette API est compatible OpenAI, les bibliothèques officielles OpenAI fonctionnent après avoir modifié deux valeurs : l'URL de base et la clé.

Python

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.codingllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a careful code reviewer."},
        {"role": "user", "content": "What is wrong with: for i in range(len(x)): print(x[i])"},
    ],
    temperature=0.3,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.codingllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a CLI that renames files." }],
});

console.log(resp.choices[0].message.content);

Conservez la clé dans une variable d'environnement ou un magasin de secrets. Une clé collée dans du code front-end ou un dépôt public peut être utilisée par quiconque la trouve, et les frais vous seront imputés.

Les fonctionnalités qui transforment une zone de chat en bloc de construction

Une complétion nue est utile, mais la plupart des programmes réels utilisent au moins l'une des fonctionnalités suivantes.

Streaming

Définissez stream: true et le serveur envoie la réponse sous forme d'événements envoyés par le serveur, token par token. Les utilisateurs voient le texte apparaître immédiatement au lieu d'attendre la réponse complète. Les données d'utilisation arrivent à la fin du flux.

Mode JSON

Passez response_format: {"type": "json_object"} et le modèle est orienté pour renvoyer du JSON valide. C'est ainsi que vous extrayez des champs de texte désordonné, classez des tickets ou produisez des données structurées pour l'étape suivante d'un pipeline. Validez toujours le résultat dans votre code et indiquez au modèle dans le prompt quelles clés vous attendez.

Appel de fonctions

Vous décrivez les fonctions dans le tableau tools. Le modèle peut répondre par une demande d'appel à l'une d'elles, avec les arguments remplis. Votre code exécute la fonction et renvoie le résultat sous forme de message avec role: "tool". Le modèle n'exécute rien lui-même. Il demande seulement, et vous décidez de ce qui s'exécute réellement. C'est le mécanisme derrière les agents de codage qui lisent des fichiers et exécutent des tests.

Contrôles d'échantillonnage

temperature, top_p, stop, seed et les pénalités de répétition sont transmis. Une température faible donne des réponses plus stables pour le code et l'extraction. Des valeurs plus élevées donnent une prose plus variée.

API hébergée ou exécution d'un modèle vous-même

L'alternative à une API est d'exécuter un modèle à poids ouverts sur votre propre matériel. C'est un choix valable, et il est utile d'être honnête sur les cas où cela l'emporte.

Question	API hébergée	Auto-hébergé
Coût initial	Aucun, vous payez par token	Achat ou location de GPU
Temps de configuration	Minutes	Heures à jours
Mise à l'échelle	Limité par les limites de débit de votre clé API	Limité par votre matériel
Les données quittent votre machine	Oui, vers le fournisseur	Non
Coût d'inactivité	Zéro	Vous payez même lorsque rien ne s'exécute

Si vous envoyez quelques milliers de requêtes par jour ou si votre utilisation est irrégulière, la tarification par token est généralement la solution la plus simple. Si vous avez une charge lourde et constante et des règles strictes interdisant l'envoi de texte à un tiers, l'hébergement local peut être plus judicieux. De nombreuses équipes commencent par une API pour valider leur idée et reviennent sur cette question plus tard.

Limites, erreurs et bonnes pratiques

Chaque API a des limites, et les connaître tôt permet de gagner du temps de débogage. Sur ce service, une clé complète permet 8 requêtes simultanées et 300 requêtes par minute. Une clé d'essai permet 2 et 60. Le corps de requête maximum est de 8 Mo. Une requête en streaming conserve sa place de concurrence jusqu'à la fin du flux, ce qui piège les développeurs qui ouvrent de nombreux streams et oublient de les fermer.

Dépasser une limite renvoie un code HTTP 429. Le code d'erreur rate_limited signifie trop de requêtes par minute, et concurrency signifie trop de requêtes à la fois. Un 429 avec un en-tête Retry-After: 5 signale une surcharge temporaire. Dans les trois cas, la bonne réponse est d'attendre et de réessayer avec une stratégie de backoff, et non de surcharger l'endpoint.

• Lisez les en-têtes de réponse X-RateLimit-Limit-Requests et X-RateLimit-Limit-Concurrency pour connaître vos plafonds, et X-Balance-USD pour surveiller votre crédit.
• Journalisez X-Request-Id avec chaque appel. Cela rend les questions de support beaucoup plus rapides à traiter.
• Définissez un délai d'attente et une limite raisonnables sur la longueur de la conversation afin qu'une boucle incontrôlée ne puisse pas épuiser votre solde.
• Supprimez les anciens échanges du chat avant qu'elles ne remplissent la fenêtre de contexte.

Les requêtes échouées ou refusées ne sont pas facturées sur cette API, et le crédit n'expire jamais, donc une erreur lors des tests coûte peu.

Pour commencer avec cette API

Ce service est une API textuelle hébergée, compatible OpenAI, pour un seul modèle à poids ouverts, fourni par un prestataire indépendant et optimisé pour répondre sans refus de contenu pour un usage adulte légal. Il est textuel uniquement : pas d'images, d'audio, d'embeddings ou de fine-tuning. Ce n'est l'API officielle d'aucun fournisseur de modèle. Les prompts ne sont pas utilisés pour l'entraînement.

Les nouveaux utilisateurs peuvent obtenir 0,50 $ de crédit d'essai en un clic sur la page de clé API après s'être connectés avec Google ou avec adresse e-mail et mot de passe. Aucune carte n'est nécessaire et le crédit dure 7 jours. Ensuite, vous pouvez recharger avec n'importe quel montant entier de 20 $ à 500 $, avec un bonus de 5 % à partir de 50 $, 10 % à partir de 100 $ et 15 % à partir de 200 $. Vous pouvez payer par carte (Visa, Mastercard, Apple Pay, Google Pay) ou avec de la crypto (USDT sur TRC20, USDC sur Base).

Les étapes sont courtes : créez votre clé API, suivez le guide de démarrage rapide dans la documentation, et exécutez l'extrait de code Python ci-dessus. Si votre utilisation principale est l'aide à la programmation, la page sur un modèle sans censure pour les agents de codage couvre ce cas en plus de détail.

Plus de guides

• API LLM VS Code : Connectez votre éditeur à votre propre clé
• Bot Discord IA de codage : Créez-en un avec une API LLM
• API LLM sans censure pour les agents de codage