Czym jest API LLM? Jak działa i kiedy go używać

Krótka wersja

Więc, czym jest API LLM? To usługa udostępniająca model językowy przez adres internetowy. Nie pobierasz modelu, nie posiadasz GPU i nie zarządzasz oprogramowaniem do wnioskowania. Wysyłasz zapytanie zawierające rozmowę, a usługa zwraca kolejną wiadomość w tej rozmowie.

Traktuj to tak, jak traktujesz API płatności lub API map. Ktoś inny zarządza skomplikowaną infrastrukturą, a Ty korzystasz z niej ze swojego programu za pomocą klucza, który Cię identyfikuje. Model jest produktem, a API jest do niego wejściem.

To wejście to zwykły HTTP z treścią (body) w formacie JSON, co oznacza, że działa z Pythona, Node'a, Go, skryptu powłoki, makra w arkuszu kalkulacyjnym lub rozszerzenia VS Code. Nic w tym nie jest powiązane z jednym językiem ani frameworkiem.

Jak wygląda zapytanie i odpowiedź

Większość obecnych API LLM naśladuje kształt wprowadzony przez OpenAI dla czatu. Wywołujesz jeden endpoint, POST /v1/chat/completions, i wysyłasz listę wiadomości. Każda wiadomość ma role i pewną content.

• system ustala zasady i osobowość dla całej rozmowy.
• user to to, co mówi osoba (lub Twój program).
• assistant to to, co model powiedział wcześniej, co wysyłasz z powrotem, aby zapamiętał wątek.
• tool zawiera wynik funkcji, którą model poprosił Cię o uruchomienie.

Kluczowym szczegółem jest to, że model nie ma pamięci między wywołaniami. Każde zapytanie musi zawierać całą rozmowę, którą chcesz, aby model rozważył. Jeśli chcesz chatbota, który pamięta ostatnie dziesięć tur, Twój kod przechowuje te dziesięć tur i wysyła je za każdym razem.

Oto najprostsze przydatne wywołanie za pomocą curl. Korzysta z endpointu tej witryny, identyfikatora modelu uncensored i tokenu Bearer.

Copycurl https://api.codingllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a mutex is in two sentences."}
    ]
  }'

Odpowiedź jest w formacie JSON. Tekst, którego chcesz, znajduje się w choices[0].message.content. Obok otrzymujesz obiekt usage, który raportuje, ile tokenów weszło i ile wyszło, co jest podstawą do wystawienia rachunku.

Tokeny: jednostka, w której mierzy się wszystko

Model nie czyta znaków ani słów. Czyta tokeny, czyli fragmenty tekstu, które często są krótkim słowem lub częścią dłuższego. Angielska proza ma średnio nieco mniej niż jeden token na słowo, a kod ma tendencję do używania większej liczby tokenów na linię ze względu na interpunkcję i wcięcia. Traktuj dowolną dokładną konwersję jako szacunkową i czytaj pole usage dla rzeczywistej liczby.

Tokeny mają znaczenie z trzech powodów.

1. Cena. Płacisz za milion tokenów, z jedną stawką dla danych wejściowych (Twój prompt) i wyższą stawką dla danych wyjściowych (odpowiedź modelu).
2. Okno kontekstu. Prompt i odpowiedź dzielą jeden limit. W tym API okno wynosi łącznie 100 000 tokenów.
3. Prędkość. Dane wyjściowe są generowane jeden token po drugim, więc długa odpowiedź trwa dłużej niż krótka.

Przy stawkach na tej witrynie, $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych, zapytanie z 2000 tokenami wejściowymi i 500 tokenami wyjściowymi kosztuje 2000 x $0,15 / 1 000 000 = $0,0003 za wejście plus 500 x $0,50 / 1 000 000 = $0,00025 za wyjście. Łącznie daje to $0,00055, więc tysiąc takich zapytań kosztuje $0,55. Aktualne stawki zawsze znajdziesz na stronie z cenami.

Wywoływanie API LLM z kodu

Możesz napisać wywołanie HTTP ręcznie, ale SDK oszczędza wysiłek. Ponieważ to API jest kompatybilne z OpenAI, oficjalne biblioteki OpenAI działają po zmianie dwóch wartości: Base URL i klucza.

Python

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.codingllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a careful code reviewer."},
        {"role": "user", "content": "What is wrong with: for i in range(len(x)): print(x[i])"},
    ],
    temperature=0.3,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.codingllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a CLI that renames files." }],
});

console.log(resp.choices[0].message.content);

Przechowuj klucz w zmiennej środowiskowej lub magazynie sekretów. Klucz wklejony do kodu front-endu lub publicznego repozytorium może być użyty przez każdego, kto go znajdzie, a obciążenia spadną na Ciebie.

Funkcje, które zamieniają pole czatu w element budulcowy

Samo uzupełnienie jest przydatne, ale większość prawdziwych programów używa co najmniej jednej z poniższych funkcji.

Strumieniowanie

Ustaw stream: true, a serwer wysyła odpowiedź jako zdarzenia wysyłane przez serwer, token po tokenie. Użytkownicy widzą tekst pojawiający się od razu, zamiast czekać na pełną odpowiedź. Dane o zużyciu przychodzą na końcu strumienia.

Tryb JSON

Przekaż response_format: {"type": "json_object"}, a model jest kierowany do zwrócenia poprawnego JSON. To sposób na wyodrębnienie pól z nieporządnego tekstu, klasyfikację zgłoszeń lub wyprodukowanie danych strukturalnych dla kolejnego kroku w potoku. Nadal sprawdzaj wynik w swoim kodzie i powiedz modelowi w prompcie, których kluczy oczekujesz.

Wywoływanie funkcji

Opisujesz funkcje w tablicy tools. Model może odpowiedzieć żądaniem wywołania jednej z nich, z wypełnionymi argumentami. Twój kod wykonuje funkcję i zwraca wynik jako wiadomość z role: "tool". Model nigdy nie wykonuje niczego samodzielnie. Tylko pyta, a Ty decydujesz, co faktycznie się wykonuje. To mechanizm leżący u podstaw agentów programistycznych, które odczytują pliki i uruchamiają testy.

Kontrola próbkowania

temperature, top_p, stop, seed i kary za powtarzalność są przekazywane. Niska temperatura daje stabilniejsze odpowiedzi dla kodu i ekstrakcji. Wyższe wartości dają bardziej zróżnicowaną prozę.

API hostowane czy uruchomienie modelu we własnym zakresie

Alternatywą dla API jest uruchomienie modelu o otwartych wagach na własnym sprzęcie. To uczciwy wybór i warto być szczerym co do tego, kiedy wygrywa.

Pytanie	Hostowane API	Własny hosting
Koszt początkowy	Brak, płacisz za token	Zakup lub wynajem GPU
Czas konfiguracji	Minuty	Godziny do dni
Skalowalność	Ograniczone limitami zapytań klucza	Ograniczone przez Twój sprzęt
Dane opuszczają Twoją maszynę	Tak, do dostawcy	Nie
Koszt bezczynności	Zero	Płacisz, nawet gdy nic nie działa

Jeśli wysyłasz kilka tysięcy zapytań dziennie lub Twoje użycie ma charakter nagłych skoków, rozliczanie za tokeny jest zwykle łatwiejszą ścieżką. Jeśli masz stałe duże obciążenie i surowe zasady zabraniające wysyłania tekstu do jakiejkolwiek strony trzeciej, lokalny hosting może mieć więcej sensu. Wiele zespołów zaczyna od API, aby zwalidować pomysł i wraca do tego pytania później.

Limity, błędy i dobre nawyki

Każde API ma limity, a ich wcześniejsza znajomość oszczędza czas na debugowanie. W tej usłudze pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz próbny pozwala na 2 i 60. Maksymalny rozmiar treści (body) zapytania to 8 MB. Zapytanie strumieniowe zajmuje slot równoległości do momentu zakończenia strumieniowania, co myli osoby, które otwierają wiele strumieni i zapominają je zamknąć.

Przekroczenie limitu zwraca HTTP 429. Kod błędu rate_limited oznacza zbyt wiele zapytań na minutę, a concurrency oznacza zbyt wiele naraz. 429 z nagłówkiem Retry-After: 5 sygnalizuje tymczasowe przeciążenie. We wszystkich trzech przypadkach właściwą reakcją jest odczekanie i ponowna próba z wykładniczym opóźnieniem, a nie ciągłe bombardowanie endpointu.

• Czytaj X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency z nagłówków odpowiedzi, aby zobaczyć swoje limity, oraz X-Balance-USD, aby śledzić swój kredyt.
• Loguj X-Request-Id przy każdym wywołaniu. To znacznie przyspiesza odpowiadanie na pytania wsparcia.
• Ustaw rozsądny timeout i limit długości rozmowy, aby niekontrolowana pętla nie mogła wydać Twojego salda.
• Przycinaj stare tury czatu, zanim wypełnią okno kontekstu.

Nieudane lub odrzucone zapytania nie są rozliczane w tym API, a kredyt nie wygasa, więc błąd podczas testowania kosztuje mało.

Pierwsze kroki z tym API

Ta usługa to hostowane, kompatybilne z OpenAI API tekstowe dla jednego modelu o otwartych wagach, prowadzone przez niezależnego dostawcę i dostrojone do odpowiadania bez odmów treści dla zgodnego z prawem użytku przez dorosłych. Obsługiwany jest wyłącznie tekst: bez obrazów, audio, embeddingów ani fine-tuning. Nie jest to oficjalne API żadnego dostawcy modeli. Prompty nie są używane do trenowania.

Nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem na stronie klucza API po zalogowaniu się przez Google lub za pomocą adresu e-mail i hasła. Nie wymaga karty i trwa 7 dni. Po tym okresie doładowujesz dowolną kwotę całkowitą od $20 do $500, z bonusem 5% od $50, 10% od $100 i 15% od $200. Możesz zapłacić kartą (Visa, Mastercard, Apple Pay, Google Pay) lub kryptowalutami (USDT na TRC20, USDC na Base).

Kroki są krótkie: utwórz swój klucz API, przejdź przez szybki start w dokumentacji i uruchom powyższy fragment kodu Pythona. Jeśli Twoim głównym zastosowaniem jest pomoc w programowaniu, strona o modelu bez cenzury dla agentów programistycznych omawia ten przypadek bardziej szczegółowo.

Więcej przewodników

• API LLM w VS Code: podłącz swój edytor do własnego klucza
• Bot Discord AI do kodowania: Zbuduj go za pomocą API LLM
• API LLM bez cenzury dla agentów programistycznych