API LLM là gì? Cách hoạt động và khi nào nên dùng

Tóm tắt ngắn

Vậy, API LLM là gì? Đó là dịch vụ cung cấp mô hình ngôn ngữ qua địa chỉ web. Bạn không tải mô hình về, không sở hữu GPU và không quản lý phần mềm suy luận. Bạn gửi một yêu cầu chứa cuộc trò chuyện, và dịch vụ trả về tin nhắn tiếp theo trong cuộc trò chuyện đó.

Hãy nghĩ về nó như cách bạn nghĩ về API thanh toán hoặc API bản đồ. Ai đó chạy cơ sở hạ tầng phức tạp, và bạn gọi nó từ chương trình của mình bằng khóa xác định bạn. Mô hình là sản phẩm, và API là cửa vào nó.

Cửa vào này là HTTP thuần với body JSON, nghĩa là nó hoạt động từ Python, Node, Go, kịch bản shell, macro bảng tính hoặc tiện ích mở rộng VS Code. Không có phần nào bị ràng buộc với một ngôn ngữ hay framework cụ thể.

Cách một yêu cầu và phản hồi trông như thế nào

Hầu hết API LLM ngày nay sao chép hình dạng mà OpenAI giới thiệu cho chat. Bạn gọi một endpoint, POST /v1/chat/completions, và gửi danh sách tin nhắn. Mỗi tin nhắn có một role và một số content.

• system đặt ra quy tắc và nhân cách cho toàn bộ cuộc trò chuyện.
• user là những gì người dùng (hoặc chương trình của bạn) nói.
• assistant là những gì mô hình đã nói trước đó, bạn gửi lại để nó nhớ chuỗi hội thoại.
• tool chứa kết quả của một hàm mà mô hình yêu cầu bạn chạy.

Chi tiết quan trọng là mô hình không có bộ nhớ giữa các lần gọi. Mọi yêu cầu phải chứa toàn bộ cuộc trò chuyện bạn muốn nó xem xét. Nếu bạn muốn bot chat nhớ mười lượt trao đổi trước đó, mã của bạn lưu trữ mười lượt đó và gửi chúng mỗi lần.

Đây là lệnh gọi hữu ích nhỏ nhất bằng curl. Nó sử dụng endpoint của trang web này, ID mô hình uncensored và token bearer.

Copycurl https://api.codingllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a mutex is in two sentences."}
    ]
  }'

Phản hồi là JSON. Văn bản bạn muốn nằm ở choices[0].message.content. Bên cạnh đó, bạn nhận được một đối tượng usage báo cáo số token đầu vào và đầu ra, đây là cơ sở để tính hóa đơn.

Token: đơn vị đo lường mọi thứ

Mô hình không đọc ký tự hay từ. Nó đọc token, là các đoạn văn bản thường là một từ ngắn hoặc một phần của từ dài hơn. Văn bản tiếng Anh trung bình hơi dưới một token mỗi từ, và mã có xu hướng sử dụng nhiều token hơn mỗi dòng do dấu câu và thụt lề. Hãy coi bất kỳ phép chuyển đổi chính xác nào là ước tính và đọc trường usage để có số đếm thực tế.

Token quan trọng vì ba lý do.

1. Giá cả. Bạn trả tiền theo triệu token, với một mức giá cho đầu vào (prompt của bạn) và mức giá cao hơn cho đầu ra (câu trả lời của mô hình).
2. Cửa sổ ngữ cảnh. Prompt và câu trả lời chia sẻ một giới hạn. Trên API này, cửa sổ là 100.000 token tổng cộng.
3. Tốc độ. Đầu ra được tạo ra từng token một, nên câu trả lời dài mất nhiều thời gian hơn câu trả lời ngắn.

Với các mức giá trên trang web này, $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, một yêu cầu với 2.000 token đầu vào và 500 token đầu ra tốn 2.000 x $0,15 / 1.000.000 = $0,0003 cho đầu vào cộng 500 x $0,50 / 1.000.000 = $0,00025 cho đầu ra. Tổng cộng là $0,00055, vậy một nghìn yêu cầu như vậy tốn $0,55. Các mức giá hiện tại luôn có trên trang giá cả.

Gọi API LLM từ mã

Bạn có thể viết lệnh gọi HTTP bằng tay, nhưng SDK tiết kiệm công sức. Vì API này tương thích OpenAI, các thư viện OpenAI chính thức hoạt động sau khi bạn thay đổi hai giá trị: base URL và khóa.

Python

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.codingllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a careful code reviewer."},
        {"role": "user", "content": "What is wrong with: for i in range(len(x)): print(x[i])"},
    ],
    temperature=0.3,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.codingllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a CLI that renames files." }],
});

console.log(resp.choices[0].message.content);

Giữ khóa trong biến môi trường hoặc kho bí mật. Khóa được dán vào mã giao diện người dùng hoặc kho lưu trữ công khai có thể được bất kỳ ai tìm thấy sử dụng, và các khoản phí sẽ tính vào bạn.

Tính năng biến hộp chat thành khối xây dựng

Một kết quả hoàn thành đơn thuần hữu ích, nhưng hầu hết các chương trình thực tế sử dụng ít nhất một trong những tính năng sau.

Truyền phát

Đặt stream: true và máy chủ gửi câu trả lời dưới dạng sự kiện gửi bởi máy chủ, từng token một. Người dùng thấy văn bản xuất hiện ngay lập tức thay vì chờ phản hồi đầy đủ. Số liệu sử dụng đến vào cuối luồng.

Chế độ JSON

Gửi response_format: {"type": "json_object"} và mô hình được hướng dẫn trả về JSON hợp lệ. Đây là cách bạn trích xuất trường từ văn bản lộn xộn, phân loại ticket hoặc tạo dữ liệu có cấu trúc cho bước tiếp theo trong quy trình. Vẫn hãy xác thực kết quả trong mã của bạn và cho mô hình biết trong prompt những khóa bạn mong đợi.

Gọi hàm

Bạn mô tả các hàm trong mảng tools. Mô hình có thể trả lời bằng một yêu cầu gọi một hàm, với các đối số đã điền. Mã của bạn chạy hàm và gửi kết quả lại dưới dạng tin nhắn với role: "tool". Mô hình không bao giờ tự thực thi bất cứ thứ gì. Nó chỉ yêu cầu, và bạn quyết định những gì thực sự chạy. Đây là cơ chế đằng sau các tác nhân mã hóa đọc tệp và chạy kiểm thử.

Điều khiển lấy mẫu

temperature, top_p, stop, seed và các mức phạt lặp (repetition penalty) được chuyển tiếp. Nhiệt độ thấp mang lại câu trả lời ổn định hơn cho mã và trích xuất. Các giá trị cao hơn mang lại văn bản đa dạng hơn.

API được lưu trữ hoặc tự chạy mô hình

Phương án thay thế cho API là chạy một mô hình trọng số mở trên phần cứng của riêng bạn. Đó là một lựa chọn hợp lý, và bạn nên thành thật nhận định khi nào nó vượt trội.

Câu hỏi	API lưu trữ	Tự lưu trữ
Chi phí ban đầu	Không, bạn trả tiền theo token	Mua hoặc thuê GPU
Thời gian thiết lập	Vài phút	Vài giờ đến vài ngày
Mở rộng	Giới hạn bởi giới hạn tốc độ của khóa của bạn	Giới hạn bởi phần cứng của bạn
Dữ liệu rời khỏi máy của bạn	Có, đến nhà cung cấp	Không
Chi phí khi nhàn rỗi	Không	Bạn vẫn phải trả phí ngay cả khi không có gì đang chạy

Nếu bạn gửi vài nghìn yêu cầu mỗi ngày, hoặc việc sử dụng của bạn có tính bùng nổ, thì giá theo token thường là con đường dễ dàng hơn. Nếu bạn có tải trọng nặng ổn định và các quy tắc nghiêm cấm gửi văn bản đến bất kỳ bên thứ ba nào, việc lưu trữ cục bộ có thể hợp lý hơn. Nhiều nhóm bắt đầu với API để xác minh ý tưởng và xem xét lại câu hỏi sau này.

Giới hạn, lỗi và thói quen tốt

Mỗi API đều có giới hạn, và việc biết sớm những giới hạn này sẽ tiết kiệm thời gian gỡ lỗi. Với dịch vụ này, khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 và 60. Kích thước tối đa của thân yêu cầu là 8 MB. Một yêu cầu truyền phát giữ vị trí đồng thời của nó cho đến khi luồng kết thúc, điều này thường khiến những người mở nhiều luồng và quên đóng chúng gặp khó khăn.

Vượt quá giới hạn sẽ trả về HTTP 429. Mã lỗi rate_limited có nghĩa là quá nhiều yêu cầu mỗi phút, và concurrency có nghĩa là quá nhiều yêu cầu cùng lúc. Mã 429 kèm tiêu đề Retry-After: 5 cho biết quá tải tạm thời. Trong cả ba trường hợp, phản ứng đúng là chờ đợi và thử lại với cơ chế backoff, thay vì gửi liên tục vào endpoint.

• Đọc X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency từ tiêu đề phản hồi để xem giới hạn của bạn, và X-Balance-USD để theo dõi tín dụng của bạn.
• Ghi lại X-Request-Id với mọi lệnh gọi. Điều này giúp các câu hỏi hỗ trợ được giải quyết nhanh hơn nhiều.
• Đặt thời gian chờ hợp lý và giới hạn độ dài hội thoại để một vòng lặp không kiểm soát được không thể tiêu tốn hết số dư của bạn.
• Cắt bớt các lượt hội thoại cũ trước khi chúng làm đầy cửa sổ ngữ cảnh.

Các yêu cầu thất bại hoặc bị từ chối không được tính phí trên API này, và tín dụng không hết hạn, nên một lỗi trong quá trình kiểm thử sẽ không tốn nhiều chi phí.

Bắt đầu với API này

Dịch vụ này là một API văn bản được lưu trữ, tương thích với OpenAI cho một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. Nó chỉ hỗ trợ văn bản: không hình ảnh, âm thanh, embedding hay fine-tuning. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Các prompt không được sử dụng để huấn luyện.

Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API sau khi đăng ký bằng Google hoặc bằng email và mật khẩu. Nó không cần thẻ và có hiệu lực trong 7 ngày. Sau đó, bạn có thể nạp tiền với bất kỳ số nguyên nào từ $20 đến $500, với ưu đãi 5% từ $50, 10% từ $100 và 15% từ $200. Bạn có thể thanh toán bằng thẻ (Visa, Mastercard, Apple Pay, Google Pay) hoặc bằng tiền mã hóa (USDT trên TRC20, USDC trên Base).

Các bước rất ngắn gọn: tạo khóa API của bạn, làm theo hướng dẫn nhanh trong tài liệu, và chạy đoạn mã Python ở trên. Nếu mục đích chính của bạn là hỗ trợ lập trình, trang về mô hình không kiểm duyệt cho agent lập trình sẽ đề cập chi tiết hơn về trường hợp này.

Hướng dẫn khác

• LLM API cho VS Code: kết nối trình soạn thảo với khóa riêng của bạn
• Bot Discord AI viết code: xây dựng một bot với LLM API
• API LLM Không Kiểm duyệt cho Agent lập trình