Prerequisiti: SDK e ambiente
Inizia installando il tuo SDK compatibile con OpenAI preferito. Hai bisogno solo di una chiave API valida e dell'URL di base per il nostro servizio.
Esporta la chiave nelle variabili di ambiente del tuo sistema affinché gli script possano accedervi in modo sicuro. Crea un nuovo account tramite Google o email per ricevere la tua chiave istantaneamente. Non è richiesta la verifica del numero di telefono per questo passaggio.
Assicurati che il tuo ambiente supporti le librerie HTTP standard. L'API prevede payload JSON standard per tutte le richieste. Non è necessario installare driver specifici del fornitore.
Impostazione dell'URL di base
Indirizza il client SDK al nostro endpoint dedicato per l'inferenza senza filtri. L'URL di base sostituisce l'endpoint standard OpenAI nella tua configurazione.
Usa HTTPS://api.apikeymistral.com/v1 come URL di base. Questo garantisce che tutte le richieste vengano instradate attraverso i nostri server ad alta capacità. Non è necessario modificare il percorso dell'endpoint se il tuo SDK predefinisce /chat/completions.
Mantieni la tua chiave API in memoria o in una vault sicura. La chiave autentica ogni richiesta che invii a questo URL.
Esecuzione della tua prima richiesta POST
Invia una richiesta standard di completamento chat per ottenere un output testuale. Usa l'ID del modello "uncensored" per accedere al nostro modello ottimizzato.
Specificare la temperatura e altri parametri per controllare la creatività. L'endpoint accetta corpi JSON standard con l'array messages.
Ecco un comando curl base per testare la connettività:
curl https://api.apikeymistral.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "return json object with keys name age"}]
}'Verifica che la risposta contenga il testo generato. Verifica che il codice di stato sia 200 per il successo.
Integrazione SDK Python
Configura il client Python per utilizzare il nostro URL di base. Inizializza il client con la tua chiave API e l'endpoint personalizzato.
Chiama il metodo chat.completions.create con il tuo prompt. L'oggetto di risposta contiene il testo generato in choices[0].message.content.
Gestisci potenziali errori come i limiti di frequenza o le chiavi non valide con grazia. Registra l'utilizzo dei token se necessario per il tracciamento dei costi.
from openai import OpenAI
client = OpenAI(base_url="https://api.apikeymistral.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Questo approccio funziona con qualsiasi libreria compatibile con OpenAI. È possibile riutilizzare il codice esistente con modifiche minime.
Integrazione SDK Node
Inizializza il client Node.js con l'URL di base personalizzato. Passa la tua chiave API nell'oggetto di configurazione.
Invoca la funzione chat.completions.create con i parametri desiderati. La risposta segue il formato standard OpenAI.
Elabora lo stream o la risposta finale come necessario. La gestione degli errori dovrebbe intercettare i problemi di rete o i fallimenti di autenticazione.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.apikeymistral.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Questa configurazione ti consente di integrare l'inferenza uncensored nelle tue applicazioni Node rapidamente.
Gestione delle risposte in streaming
Abilita lo streaming impostando stream=true nella tua richiesta. L'API restituisce i dati in chunk man mano che vengono generati.
Elabora ogni chunk per visualizzare l'output in tempo reale agli utenti. Accumula il contenuto per ottenere la risposta completa.
Monitora l'utilizzo dei token nell'ultimo chunk dello stream. Questo ti aiuta a tracciare i costi in modo accurato.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Lo streaming riduce la latenza percepita per le risposte lunghe. È ideale per le interfacce chat e le applicazioni interattive.
Limiti, errori e finestra di contesto
Comprendere i limiti tecnici per evitare interruzioni del servizio. La finestra di contesto supporta 100.000 token per prompt e completamento combinati.
L'output max è 16.000 token per richiesta. Imposta max_tokens esplicitamente per evitare di raggiungere il default di 2.048.
I limiti di frequenza consentono 300 richieste al minuto per chiave. Puoi effettuare 8 richieste concorrenti contemporaneamente.
Gestisci gli errori 401 verificando la validità della chiave. Gli errori 402 indicano credito insufficiente. Gli errori 429 significano che hai raggiunto il limite di frequenza.
Le richieste che superano il limite di dimensione del corpo di 8 MB falliranno. Pianifica il tuo payload di conseguenza.