Előfeltételek: SDK és környezet
Kezdje a preferált OpenAI-kompatibilis SDK telepítésével. Csak egy érvényes API-kulcsra és az alap URL-re van szüksége a szolgáltatáshoz.
Exportálja a kulcsot környezeti változókba, hogy a szkriptjei biztonságosan hozzáférhessenek hozzá. Hozzon létre egy fiókot Google-fiókkal vagy e-mail címmel a kulcs azonnali megszerzéséhez. Ehhez a lépéshez nem szükséges telefonszám-ellenőrzés.
Győződjön meg arról, hogy a környezete támogatja a szabványos HTTP könyvtárakat. Az API szabványos JSON payloadokat vár minden kéréshez. Nem kell gyártó-specifikus illesztőprogramokat telepítenie.
Az alap URL beállítása
Irányítsd SDK-kliensedet a dedikált uncensored inferencia végpontra. A bázis URL lecseréli a szabványos OpenAI végpontot a konfigurációdban.
Használja a HTTPS://api.apikeymistral.com/v1 címet alap URL-ként. Ez biztosítja, hogy az összes kérés a nagy teljesítményű szervereinkhez irányuljon. Nem kell módosítania a végpont elérési útját, ha az SDK alapértelmezetten a /chat/completions útvonalat használja.
Tartsa API kulcsát memóriában vagy egy biztonságos tárolóban. A kulcs hitelesíti az összes kérést, amelyet elküld erre az URL-re.
Az első POST kérés végrehajtása
Küldjön egy szabványos chat completion kérést szöveges kimenetért. Használja a "uncensored" modellazonosítót a finomhangolt modellünk eléréséhez.
Adja meg a hőmérsékletet és egyéb paramétereket a kreativitás szabályozására. A végpont szabványos JSON törzseket fogad üzenetek tömbjével.
Íme egy alap curl parancs a kapcsolódás teszteléséhez:
curl https://api.apikeymistral.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "return json object with keys name age"}]
}'Ellenőrizze, hogy a válasz tartalmazza a generált szöveget. Ellenőrizze, hogy a státuszkód 200 a siker esetén.
Python SDK integráció
Konfigurálja a Python klienst, hogy az alap URL-ünket használja. Inicializálja a klienst az API-kulcsával és a testreszabott végponttal.
Hívja meg a chat.completions.create metódust a prompttal. A válasz objektum a generált szöveget a choices[0].message.content mezőben tartalmazza.
Kezelje gracefully a lehetséges hibákat, mint például az átfutási korlátok vagy az érvénytelen kulcsok. Naplózze a tokenfelhasználást, ha szükséges a költségkövetéshez.
from openai import OpenAI
client = OpenAI(base_url="https://api.apikeymistral.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Ez a megközelítés bármely OpenAI-kompatibilis könyvtárral működik. Újra felhasználhatja meglévő kódját minimális módosításokkal.
Node SDK integráció
Inicializálja a Node.js klienst a testreszabott bázis URL-lel. Adja meg az API-kulcsot a konfigurációs objektumban.
Hívjd meg a chat.completions.create függvényt a kívánt paraméterekkel. A válasz a szabványos OpenAI formátumot követi.
Feldolgozza a streamet vagy a végső választ attól függően, ahogy szükséges. A hibakezelésnek hálózati problémákat vagy hitelesítési hibákat kell fogadnia.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.apikeymistral.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Ez a beállítás lehetővé teszi az uncensored inference gyors integrálását Node alkalmazásaiba.
Streamelt válaszok kezelése
A streamelés engedélyezéséhez állítsa a stream=true értéket a kérésben. Az API chunkokban adja vissza az adatokat generálás közben.
Feldolgozza minden darabot a valós idejű kimenet megjelenítéséhez a felhasználók számára. Halmozza fel a tartalmat a teljes válasz megszerzéséhez.
Figyelje a tokenfelhasználást a stream utolsó darabjában. Ez segít a költségek pontos nyomon követésében.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)A streamelés csökkenti az észlelt késleltetést hosszú válaszok esetén. Ideális chat felületekhez és interaktív alkalmazásokhoz.
Korlátok, hibák és kontextus ablak
Értsd meg a technikai korlátokat a szolgáltatásmegszakítások elkerülése érdekében. A kontextusablak 100 000 tokenes korlátot támogat a prompt és a kiegészítés együttvéve.
Max. kimenet 16,000 token kérésenként. Állítsa be explicit módon a max_tokens értéket, hogy elkerülje a 2,048 alapértelmezett elérését.
A sebességkorlátok percenként 300 kérelemet tesznek lehetővé kulcsonként. Egyszerre 8 párhuzamos kérést indíthat.
Kezeld a 401-es hibákat a kulcs érvényességének ellenőrzésével. A 402-es hibák elégtelen hitelt jeleznek. A 429-es hibák azt jelentik, hogy elérted a sebességkorlátot.
A 8 MB-os törzsméret-limitet meghaladó kérések sikertelenek lesznek. Tervezze meg a payloadt ennek megfelelően.