Ключ API mistral: Швидкий старт

Передумови: SDK та середовище

Почніть із встановлення бажаного SDK, сумісного з OpenAI. Вам потрібен лише дійсний API-ключ та базова URL-адреса нашого сервісу.

Експортуйте ключ до змінних середовища, щоб ваші скрипти могли безпечно до нього звертатися. Створіть новий акаунт через Google або електронну пошту, щоб миттєво отримати ключ. Для цього кроку не потрібна верифікація за номером телефону.

Переконайтеся, що ваше середовище підтримує стандартні бібліотеки HTTP. API очікує стандартні JSON-пейлоади для всіх запитів. Вам не потрібно встановлювати драйвери від постачальника.

Налаштування базової URL-адреси

Направте клієнт SDK на наш виділений ендпоінт для інференсу необмежених моделей. Базова URL-адреса замінює стандартний ендпоінт OpenAI у вашій конфігурації.

Використовуйте HTTPS://api.apikeymistral.com/v1 як базовий URL. Це забезпечує маршрутизацію всіх запитів через наші сервери з високою пропускною здатністю. Вам не потрібно змінювати шлях до кінцевої точки, якщо ваш SDK за замовчуванням використовує /chat/completions.

Зберігайте ваш API-ключ у пам’яті або в безпечному сховищі. Ключ автентифікує кожен запит, який ви надсилаєте на цей URL.

Зроблення першого POST-запиту

Надішліть стандартний запит chat completion для отримання текстового виводу. Використовуйте ідентифікатор моделі "uncensored" для доступу до нашої налаштованої моделі.

Вкажіть температуру та інші параметри, щоб контролювати креативність. Кінцевий пункт приймає стандартні тіла JSON з масивом повідомлень.

Ось базова команда curl для перевірки з'єднання:

Copycurl https://api.apikeymistral.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "return json object with keys name age"}]
  }'

Перевірте, чи містить відповідь згенерований текст. Переконайтеся, що код стану дорівнює 200 для успішного виконання.

Інтеграція Python SDK

Налаштуйте клієнт Python для використання нашого базового URL. Ініціалізуйте клієнт з вашим API-ключем та користувацьким кінцевим пунктом.

Викличте метод chat.completions.create з вашим промптом. Об'єкт відповіді містить згенерований текст у choices[0].message.content.

Обробляйте потенційні помилки, такі як перевищення лімітів або недійсні ключі, коректно. Логуйте використання токенів, якщо це необхідно для відстеження витрат.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apikeymistral.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Цей підхід працює з будь-якою бібліотекою, сумісною з OpenAI. Ви можете повторно використовувати існуючий код із мінімальними змінами.

Інтеграція Node SDK

Ініціалізуйте клієнт Node.js з користувацьким базовим URL. Передайте свій API-ключ у об'єкті конфігурації.

Викличте функцію chat.completions.create з бажаними параметрами. Відповідь відповідає стандартному формату OpenAI.

Обробляйте потік або фінальну відповідь за потреби. Обробка помилок має перехоплювати мережеві проблеми або невдалі сприви автентифікації.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apikeymistral.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Ця конфігурація дозволяє швидко інтегрувати uncensored інференс у ваші Node-додатки.

Обробка потокових відповідей

Увімкніть потокову передачу, встановивши stream=true у запиті. API повертає дані чанками по мірі їх генерації.

Обробляйте кожен фрагмент, щоб відображати вивід у реальному часі для ваших користувачів. Акумулюйте вміст, щоб отримати повну відповідь.

Моніторьте використання токенів у останньому чанку потоку. Це допомагає точно відстежувати витрати.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Потокова передача зменшує сприйнятну затримку для довгих відповідей. Вона ідеально підходить для чат-інтерфейсів та інтерактивних додатків.

Ліміти, помилки та контекстне вікно

Розуміння технічних обмежень, щоб уникнути переривання служби. Вікно контексту підтримує 100 000 токенів для запиту та виконання разом.

Максимальний вихід становить 16,000 токенів на запит. Встановіть max_tokens явно, щоб уникнути досягнення значення за замовчуванням 2,048.

Ліміти дозволяють 300 запитів на хвилину на ключ. Ви можете виконувати 8 паралельних запитів одночасно.

Вирішуйте помилки 401, перевіряючи валідність ключа. Помилки 402 вказують на недостатність кредитів. Помилки 429 означають, що ви вичерпали ліміт швидкості.

Запити, що перевищують ліміт розміру тіла в 8 МБ, завершаться помилкою. Плануйте свій завантажений контент відповідним чином.