Apa Itu API LLM? Cara Kerjanya dan Kapan Harus Menggunakannya

Versi singkatnya

Jadi, apa itu API LLM? Ini adalah layanan yang mengekspos model bahasa melalui alamat web. Anda tidak mengunduh model, Anda tidak memiliki GPU, dan Anda tidak mengelola perangkat lunak inferensi. Anda mengirim permintaan yang berisi percakapan, dan layanan mengembalikan pesan berikutnya dalam percakapan tersebut.

Anggap seperti Anda menganggap API pembayaran atau API peta. Seseorang menjalankan infrastruktur berat, dan Anda memanggilnya dari program Anda sendiri dengan kunci yang mengidentifikasi Anda. Model adalah produknya, dan API adalah pintunya.

Pintu ini adalah HTTP biasa dengan body JSON, yang berarti berfungsi dari Python, Node, Go, skrip shell, makro spreadsheet, atau ekstensi VS Code. Tidak ada yang terkait dengan satu bahasa atau satu framework.

Seperti apa permintaan dan respons itu

Sebagian besar API LLM saat ini meniru bentuk yang diperkenalkan OpenAI untuk chat. Anda memanggil satu endpoint, POST /v1/chat/completions, dan mengirim daftar pesan. Setiap pesan memiliki role dan beberapa content.

• system menetapkan aturan dan persona untuk seluruh percakapan.
• user adalah apa yang dikatakan orang (atau program Anda).
• assistant adalah apa yang dikatakan model sebelumnya, yang Anda kirim kembali agar model mengingat utas tersebut.
• tool membawa hasil fungsi yang diminta model untuk Anda jalankan.

Detail kuncinya adalah model tidak memiliki memori antar panggilan. Setiap permintaan harus membawa seluruh percakapan yang ingin Anda pertimbangkan. Jika Anda ingin chatbot yang mengingat sepuluh putaran terakhir, kode Anda menyimpan sepuluh putaran tersebut dan mengirimkannya setiap kali.

Berikut adalah panggilan terkecil yang berguna dengan curl. Ini menggunakan endpoint situs ini, ID model uncensored, dan token bearer.

Copycurl https://api.codingllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a mutex is in two sentences."}
    ]
  }'

Responsnya adalah JSON. Teks yang Anda inginkan ada di choices[0].message.content. Di sebelahnya Anda mendapatkan objek usage yang melaporkan berapa banyak token yang masuk dan berapa banyak yang keluar, yang menjadi dasar tagihan.

Token: satuan untuk mengukur segalanya

Model tidak membaca karakter atau kata. Model membaca token, yang merupakan potongan teks yang sering berupa kata pendek atau bagian dari kata yang lebih panjang. Prosa bahasa Inggris rata-rata sedikit di bawah satu token per kata, dan kode cenderung menggunakan lebih banyak token per baris karena tanda baca dan indentasi. Anggap konversi tepat sebagai perkiraan dan baca bidang usage untuk jumlah sebenarnya.

Token penting karena tiga alasan.

1. Harga. Anda membayar per juta token, dengan satu tarif untuk input (prompt Anda) dan tarif yang lebih tinggi untuk output (jawaban model).
2. Jendela konteks. Prompt dan jawaban berbagi satu batas. Pada API ini, jendela tersebut adalah 100.000 token secara total.
3. Kecepatan. Output dihasilkan satu token demi satu token, sehingga jawaban panjang membutuhkan waktu lebih lama daripada jawaban pendek.

Dengan tarif di situs ini, $0,15 per 1M token input dan $0,50 per 1M token output, permintaan dengan 2.000 token input dan 500 token output biayanya 2.000 x $0,15 / 1.000.000 = $0,0003 untuk input ditambah 500 x $0,50 / 1.000.000 = $0,00025 untuk output. Itu adalah $0,00055 secara total, sehingga seribu permintaan seperti itu biayanya $0,55. Tarif saat ini selalu ada di halaman harga.

Memanggil API LLM dari kode

Anda dapat menulis panggilan HTTP secara manual, tetapi SDK menghemat usaha. Karena API ini kompatibel dengan OpenAI, pustaka OpenAI resmi berfungsi setelah Anda mengubah dua nilai: base URL dan kuncinya.

Python

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.codingllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a careful code reviewer."},
        {"role": "user", "content": "What is wrong with: for i in range(len(x)): print(x[i])"},
    ],
    temperature=0.3,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.codingllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a CLI that renames files." }],
});

console.log(resp.choices[0].message.content);

Simpan kunci dalam variabel lingkungan atau tempat penyimpanan rahasia. Kunci yang disematkan ke dalam kode front-end atau repositori publik dapat digunakan oleh siapa saja yang menemukannya, dan biaya akan jatuh pada Anda.

Fitur yang mengubah kotak chat menjadi blok bangunan

Completion polos berguna, tetapi sebagian besar program nyata menggunakan setidaknya satu dari yang berikut.

Streaming

Atur stream: true dan server mengirim jawaban sebagai server-sent events, token demi token. Pengguna melihat teks muncul segera alih-alih menunggu balasan lengkap. Angka penggunaan tiba di akhir stream.

Mode JSON

Lewatkan response_format: {"type": "json_object"} dan model diarahkan untuk mengembalikan JSON yang valid. Ini adalah cara Anda mengekstrak bidang dari teks berantakan, mengklasifikasikan tiket, atau menghasilkan data terstruktur untuk langkah berikutnya dalam pipeline. Tetap validasi hasil dalam kode Anda dan beri tahu model dalam prompt kunci mana yang Anda harapkan.

Pemanggilan alat

Anda mendeskripsikan fungsi dalam array tools. Model mungkin menjawab dengan permintaan untuk memanggil salah satunya, dengan argumen yang diisi. Kode Anda menjalankan fungsi dan mengirim hasilnya kembali sebagai pesan dengan role: "tool". Model tidak pernah mengeksekusi apa pun sendiri. Model hanya meminta, dan Anda memutuskan apa yang sebenarnya dijalankan. Ini adalah mekanisme di balik agen coding yang membaca file dan menjalankan pengujian.

Kontrol sampling

temperature, top_p, stop, seed dan penalti pengulangan dilewatkan. Suhu rendah memberikan jawaban yang lebih stabil untuk kode dan ekstraksi. Nilai yang lebih tinggi memberikan prosa yang lebih bervariasi.

API yang di-host atau menjalankan model sendiri

Alternatif untuk API adalah menjalankan model open-weight pada perangkat keras Anda sendiri. Itu adalah pilihan yang adil, dan ada baiknya jujur tentang kapan itu menang.

Pertanyaan	API yang di-host	Self-hosted
Biaya awal	Tidak ada, Anda membayar per token	Pembelian atau penyewaan GPU
Waktu penyiapan	Menit	Jam hingga hari
Skala	Dibatasi oleh batas laju kunci Anda	Dibatasi oleh perangkat keras Anda
Data meninggalkan mesin Anda	Ya, ke penyedia	Tidak
Biaya saat menganggur	Nol	Anda membayar meskipun tidak ada yang berjalan

Jika Anda mengirim beberapa ribu permintaan sehari, atau penggunaan Anda bersifat tidak menentu, harga per token biasanya lebih mudah. Jika Anda memiliki beban kerja berat yang stabil dan aturan ketat yang melarang mengirim teks ke pihak ketiga, hosting lokal bisa menjadi pilihan yang lebih masuk akal. Banyak tim mulai dengan API untuk memvalidasi ide dan meninjau kembali pertanyaan ini nanti.

Batas, kesalahan, dan kebiasaan baik

Setiap API memiliki batas, dan mengetahui batas tersebut sejak awal menghemat waktu debugging. Pada layanan ini, kunci penuh memungkinkan 8 permintaan paralel dan 300 permintaan per menit. Kunci uji coba memungkinkan 2 dan 60. Body permintaan maksimum adalah 8 MB. Permintaan streaming mempertahankan slot konkurensinya hingga stream selesai, yang sering kali membuat orang lupa menutup stream yang mereka buka.

Melebihi batas akan mengembalikan HTTP 429. Kode error rate_limited berarti terlalu banyak permintaan per menit, dan concurrency berarti terlalu banyak sekaligus. 429 dengan header Retry-After: 5 menandakan overload sementara. Dalam ketiga kasus tersebut, respons yang tepat adalah menunggu dan mencoba lagi dengan backoff, bukan menghantam endpoint.

• Baca X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency dari header respons untuk melihat batas Anda, dan X-Balance-USD untuk memantau saldo Anda.
• Log X-Request-Id dengan setiap panggilan. Ini membuat pertanyaan dukungan jauh lebih cepat untuk dijawab.
• Atur timeout yang wajar dan batas panjang percakapan agar loop yang tidak terkendali tidak menghabiskan saldo Anda.
• Potong putaran lama dari obrolan sebelum mereka memenuhi jendela konteks.

Permintaan yang gagal atau ditolak tidak dikenakan biaya pada API ini, dan saldo tidak kedaluwarsa, sehingga kesalahan dalam pengujian hanya memakan sedikit biaya.

Memulai dengan API ini

Layanan ini adalah API teks yang kompatibel dengan OpenAI, yang di-host untuk satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini hanya teks: tidak ada gambar, audio, embedding, atau fine-tuning. Ini bukan API resmi dari vendor model mana pun. Prompt tidak digunakan untuk pelatihan.

Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API setelah masuk dengan Google atau dengan email dan kata sandi. Tidak memerlukan kartu dan berlaku selama 7 hari. Setelah itu, Anda isi saldo dengan jumlah bulat dari $20 hingga $500, dengan bonus 5% dari $50, 10% dari $100, dan 15% dari $200. Anda dapat membayar dengan kartu (Visa, Mastercard, Apple Pay, Google Pay) atau dengan kripto (USDT pada TRC20, USDC pada Base).

Langkah-langkahnya singkat: buat kunci API Anda, ikuti quickstart di dokumentasi, dan jalankan cuplikan Python di atas. Jika penggunaan utama Anda adalah bantuan pemrograman, halaman tentang model uncensored untuk agen coding membahas kasus tersebut secara lebih rinci.

Panduan lainnya

• VS Code LLM API: Hubungkan Editor Anda ke Kunci Anda Sendiri
• Bot Discord Coding AI: Bangun Satu dengan API LLM
• API LLM Uncensored untuk Agen Coding