LLM API란 무엇인가? 작동 방식과 사용 시기

짧은 버전

그렇다면 LLM API란 무엇인가? 웹 주소로 언어 모델을 노출하는 서비스입니다. 모델을 다운로드하거나 GPU를 소유하거나 추론 소프트웨어를 관리할 필요가 없습니다. 대화 내용이 포함된 요청을 보내면 서비스에서 해당 대화의 다음 메시지를 반환합니다.

결제 API나 지도 API를 이와 비슷하게 생각하세요. 다른 곳에서 복잡한 인프라를 관리하고, 자신을 식별하는 키를 사용하여 자신의 프로그램에서 이를 호출합니다. 모델이 제품이고 API는 그 제품으로 가는 문입니다.

이 문은 JSON 본문이 있는 일반 HTTP이므로 Python, Node, Go, 셸 스크립트, 스프레드시트 매크로 또는 VS Code 확장 프로그램에서 작동합니다. 특정 언어나 프레임워크에 종속되지 않습니다.

요청과 응답의 형태

대부분의 LLM API는 OpenAI가 채팅을 위해 도입한 형식을 그대로 따릅니다. 하나의 엔드포인트 POST /v1/chat/completions를 호출하고 메시지 목록을 보냅니다. 각 메시지에는 role과 content이 있습니다.

• system은 전체 대화의 규칙과 페르소나를 설정합니다.
• user은 사람(또는 프로그램)이 말하는 내용입니다.
• assistant은 모델이 이전에 말한 내용으로, 스레드를 기억할 수 있도록 다시 보냅니다.
• tool은 모델이 실행하라고 요청한 함수의 결과를 담습니다.

핵심은 모델이 호출 간에 기억을 유지하지 않는다는 것입니다. 모든 요청에는 고려할 대화 전체를 포함해야 합니다. 지난 10번의 대화를 기억하는 채팅봇을 원한다면, 코드에서 해당 10번의 대화를 저장하여 매번 전송해야 합니다.

curl을 사용한 가장 간단한 호출 예시입니다. 이 사이트의 엔드포인트, 모델 ID uncensored 및 Bearer 토큰을 사용합니다.

Copycurl https://api.codingllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a mutex is in two sentences."}
    ]
  }'

응답은 JSON 형식입니다. 원하는 텍스트는 choices[0].message.content에 있습니다. 그 옆에는 입력된 토큰 수와 출력된 토큰 수를 보고하는 usage 객체가 포함되어 있으며, 이는 과금의 기준이 됩니다.

토큰: 모든 것의 측정 단위

모델은 문자나 단어를 읽지 않습니다. 토큰을 읽으며, 토큰은 짧은 단어 또는 긴 단어의 일부인 텍스트 조각입니다. 영어 문장은 단어당 1개 미만의 토큰을 평균적으로 사용하며, 구두점과 들여쓰기로 인해 코드 줄당 더 많은 토큰을 사용합니다. 정확한 변환은 추정치로 간주하고 실제 개수는 usage 필드를 확인하세요.

토큰이 중요한 세 가지 이유가 있습니다.

1. 가격. 입력(프롬프트)에는 하나의 요금, 출력(모델의 답변)에는 더 높은 요금을 적용하여 토큰 100만 개당 지불합니다.
2. 컨텍스트 창. 프롬프트와 답변은 하나의 제한을 공유합니다. 이 API에서 컨텍스트 창은 총 100,000 토큰입니다.
3. 속도. 출력은 토큰 하나씩 생성되므로 긴 답변이 짧은 답변보다 더 오래 걸립니다.

이 사이트의 요금은 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50입니다. 입력 토큰 2,000개와 출력 토큰 500개로 구성된 요청의 비용은 입력에 대해 2,000 x $0.15 / 1,000,000 = $0.0003, 출력에 대해 500 x $0.50 / 1,000,000 = $0.00025입니다. 총합은 $0.00055이며, 따라서 1,000번의 요청 비용은 $0.55입니다. 현재 요금은 항상 요금 페이지에 있습니다.

코드에서 LLM API 호출하기

HTTP 호출을 직접 작성할 수 있지만 SDK는 노력을 줄여줍니다. 이 API는 OpenAI와 호환되므로, Base URL과 키만 변경하면 공식 OpenAI 라이브러리가 작동합니다.

Python

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.codingllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a careful code reviewer."},
        {"role": "user", "content": "What is wrong with: for i in range(len(x)): print(x[i])"},
    ],
    temperature=0.3,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.codingllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a CLI that renames files." }],
});

console.log(resp.choices[0].message.content);

키는 환경 변수나 비밀 저장소에 보관하세요. 프론트엔드 코드나 공개 저장소에 붙여넣은 키를 찾은 사람은 누구나 사용할 수 있으며, 요금이 귀하에게 부과됩니다.

채팅 상자를 구성 요소로 만드는 기능

단순한 completion(응답 생성)도 유용하지만, 대부분의 실제 프로그램은 다음 기능 중 적어도 하나를 사용합니다.

스트리밍

stream: true를 설정하면 서버가 서버 전송 이벤트를 통해 토큰별로 답변을 전송합니다. 사용자는 전체 응답을 기다리지 않고 텍스트가 즉시 나타나는 것을 볼 수 있습니다. 사용량 데이터는 스트림 끝에 도착합니다.

JSON 모드

response_format: {"type": "json_object"}를 전달하면 모델이 유효한 JSON을 반환하도록 유도됩니다. 이는 지저분한 텍스트에서 필드를 추출하거나 티켓을 분류하거나 파이프라인의 다음 단계에 구조화된 데이터를 생성하는 방법입니다. 여전히 코드에서 결과를 검증하고 프롬프트에서 기대하는 키를 모델에 알려야 합니다.

함수 호출

함수를 tools 배열에 설명합니다. 모델은 인수가 채워진 함수 호출 요청으로 응답할 수 있습니다. 귀하의 코드는 함수를 실행하고 결과를 role: "tool" 메시지 형태로 다시 전송합니다. 모델은 자체적으로 아무것도 실행하지 않습니다. 요청만 하며, 실제로 무엇을 실행할지는 귀하가 결정합니다. 이는 파일을 읽고 테스트를 실행하는 코딩 에이전트의 메커니즘입니다.

샘플링 제어

temperature, top_p, stop, seed 및 반복 패널티는 그대로 전달됩니다. 낮은 temperature는 코드 및 추출 작업에서 더 안정적인 응답을 제공합니다. 높은 값은 더 다양한 문체를 생성합니다.

호스팅 API 또는 직접 모델 실행하기

API의 대안은 자체 하드웨어에서 오픈 웨이트 모델을 실행하는 것입니다. 이는 타당한 선택이며, 언제 이점이 있는지 정직하게 아는 것이 중요합니다.

질문	호스팅 API	자체 호스팅
선불 비용	없음, 토큰당 지불	GPU 구매 또는 임대
설정 시간	분	시간에서 일
확장성	API 키의 속도 제한에 따라 제한됨	하드웨어에 따라 제한됨
데이터가 로컬 머신을 벗어남	네, 제공업체로 전송됩니다	아니요
유휴 비용	0	실행 중이지 않아도 요금이 부과됨

하루에 수천 개의 요청을 보내거나 사용량이 급증하는 경우, 토큰 기반 요금이 일반적으로 더 쉬운 경로입니다. 안정적인 높은 부하와 텍스트를 제3자에게 전송하는 것을 금지하는 엄격한 규칙이 있는 경우 로컬 호스팅이 더 적합할 수 있습니다. 많은 팀은 아이디어를 검증하기 위해 API로 시작하고 나중에 이 문제를 다시 검토합니다.

제한, 오류 및 모범 사례

모든 API에는 제한이 있으며, 이를 조기에 알면 디버깅 시간을 절약할 수 있습니다. 이 서비스에서 전체 키는 동시 요청 8개와 분당 300개의 요청을 허용합니다. 체험 키는 2개와 60개를 허용합니다. 최대 요청 본문 크기는 8 MB입니다. 스트리밍된 요청은 스트림이 완료될 때까지 동시 요청 슬롯을 유지하며, 이는 많은 스트림을 열고 닫는 것을 잊는 사람들에게 문제가 됩니다.

제한을 초과하면 HTTP 429가 반환됩니다. 오류 코드 rate_limited은 분당 요청 수가 많음을 의미하고, concurrency은 동시에 많은 요청이 있음을 의미합니다. Retry-After: 5 헤더가 있는 429는 일시적인 과부하를 나타냅니다. 세 경우 모두 올바른 응답은 백오프로 기다리고 재시도하는 것이며, 엔드포인트에 요청을 쏟아붓는 것이 아닙니다.

• 응답 헤더에서 X-RateLimit-Limit-Requests 및 X-RateLimit-Limit-Concurrency 값을 확인해 한계치를 확인하고, X-Balance-USD로 크레딧 잔액을 모니터링하세요.
• 모든 호출에 X-Request-Id를 로그에 기록하세요. 이렇게 하면 지원 문의 답변이 훨씬 빨라집니다.
• 합당한 타임아웃과 대화 길이의 상한을 설정해 루프가 크레딧을 소모하지 않도록 하세요.
• 대화의 이전 턴은 컨텍스트 창이 가득 차기 전에 정리하세요.

이 API에서는 실패하거나 거부된 요청에는 요금이 부과되지 않으며 크레딧은 만료되지 않으므로 테스트 중 실수로 인한 비용은 적습니다.

이 API 시작하기

이 서비스는 독립적인 공급자가 운영하는 단일 오픈 웨이트 모델용 호스팅된 OpenAI 호환 텍스트 API로, 합법적인 성인 사용 목적을 위해 콘텐츠 거부 없이 답변하도록 조정되었습니다. 텍스트 전용입니다: 이미지, 오디오, 임베딩 또는 파인튜닝이 없습니다. 이는 어떤 모델 벤더의 공식 API도 아닙니다. 프롬프트는 학습에 사용되지 않습니다.

새로운 사용자는 Google 또는 이메일과 비밀번호로 가입한 후 API 키 페이지에서 한 번의 클릭으로 $0.50의 무료 체험 크레딧을 받을 수 있습니다. 카드가 필요 없으며 7일 동안 유효합니다. 이후 $20에서 $500까지 어떤 전체 금액으로든 충전할 수 있으며, $50부터 5%, $100부터 10%, $200부터 15%의 보너스가 제공됩니다. 카드(Visa, Mastercard, Apple Pay, Google Pay) 또는 암호화폐(TRC20의 USDT, Base의 USDC)로 결제할 수 있습니다.

단계는 간단합니다: API 키 생성, 문서의 빠른 시작 가이드를 따르고 위의 Python 스크립트를 실행하세요. 주요 용도가 프로그래밍 지원이라면 코딩 에이전트용 무검열 모델 페이지에서 해당 사례를 더 자세히 다룹니다.

더 많은 가이드

• VS Code LLM API: 편집기에 자신의 키 연결하기
• Discord 봇 코딩 AI: LLM API로 봇 만들기
• 코딩 에이전트용 무검열 LLM API