AiHummer
Română▾
Autentificare
v1.0.x▾
v1.0.xstable
{ }Swagger
Acces și integrări/BYOK și furnizori LLM

BYOK și furnizori LLM

v1.0.x · actualizat 2026-06-26

AiHummer nu cere niciodată un model plătit. Din start funcționează pe modele gratuite și locale și pe un transport bazat pe abonamentul Codex/ChatGPT, iar dacă niciun model nu este conectat deloc, runtime-ul recurge la un mock determinist, astfel încât platforma tot pornește și poate fi testată. Atunci când chiar doriți un model anume, îl aduceți chiar dumneavoastră — fie ca o configurație la nivel de proces, fie, per tenant, cu BYOK (“bring your own key”, aduceți-vă propria cheie).

Furnizori LLM acceptați

AiHummer comunică cu orice furnizor care expune un API de chat în stil OpenAI, plus Anthropic și transportul bazat pe abonamentul ChatGPT. În practică, asta acoperă:

Furnizor Cum se conectează Note
Anthropic API-ul nativ Anthropic Modelele Claude
OpenAI API-ul de chat OpenAI
Orice endpoint compatibil cu standardul OpenAI API URL de gateway compatibil OpenAI Modele locale, OpenRouter, API-ul compatibil OpenAI al Gemini etc.
Transport Codex / abonament ChatGPT Transport bazat pe abonament Folosește un abonament ChatGPT în loc de o cheie API contorizată

[!WARNING] Niciun API de model plătit nu este vreodată obligatoriu. AiHummer funcționează pe modele gratuite/locale și pe transportul bazat pe abonamentul Codex/ChatGPT, iar dacă niciun model nu este configurat, runtime-ul folosește un mock determinist — gateway-ul tot pornește și răspunde. BYOK și cheile plătite sunt complet opționale.

Conectarea unui model cu variabile de mediu

Un model este selectat cu patru variabile de mediu. Setați furnizorul și modelul, indicați un URL de gateway pentru endpointurile compatibile OpenAI și furnizați o cheie doar dacă endpointul are nevoie de una:

AIHUMMER_LLM_PROVIDER=openai
AIHUMMER_LLM_MODEL=gpt-4o-mini
AIHUMMER_LLM_GATEWAY_URL=https://api.openai.com/v1
AIHUMMER_OPENAI_API_KEY=sk-...

Pentru un server local compatibil OpenAI, indicați URL-ul de gateway către el, iar cheia de obicei nu este necesară:

AIHUMMER_LLM_PROVIDER=openai
AIHUMMER_LLM_MODEL=qwen2.5-instruct
AIHUMMER_LLM_GATEWAY_URL=http://127.0.0.1:8080/v1

Dacă AIHUMMER_LLM_PROVIDER / AIHUMMER_LLM_MODEL lipsesc, se folosește mock-ul determinist.

BYOK: chei per tenant

Acolo unde variabilele de mediu configurează un singur model la nivel de proces, BYOK permite fiecărui tenant să furnizeze propriile credențiale LLM. Cheile BYOK sunt gestionate din API-ul de administrare:

GET  /v1/admin/byok
POST /v1/admin/byok

Cheile BYOK sunt stocate în seiful criptat, exact ca orice altă credențială — ele nu sunt niciodată scrise în loguri sau expuse în contextul modelului. Acesta este mecanismul care permite unei implementări multitenant să păstreze complet separat facturarea modelului și materialul de cheie al fiecărui client.

Alegerea între env și BYOK

  • Folosiți variabilele de mediu AIHUMMER_LLM_* pentru un model implicit sau single-tenant pe care întregul gateway ar trebui să-l folosească.
  • Folosiți BYOK atunci când diferiți tenanți trebuie să folosească chei diferite, furnizori diferiți sau să fie facturați separat — cheia per tenant suprascrie valoarea implicită pentru acel tenant.

[!TIP] Deoarece orice endpoint compatibil cu standardul OpenAI API este acceptat, puteți pune un server de model local, OpenRouter sau un endpoint Gemini compatibil OpenAI în spatele AIHUMMER_LLM_GATEWAY_URL fără a schimba nimic altceva în AiHummer.

Cum se raportează acest lucru la restul modelului de acces

Cheile BYOK sunt credențiale de model și se află în același seif criptat ca Conexiunile și secretele partajate/personale. Diferența este domeniul de aplicare: BYOK răspunde la ce model și ce cheie folosește acest tenant, în timp ce domeniul personal vs partajat răspunde la cu ale cui credențiale rulează un anumit apel de unealtă.

Unde mai departe