AiHummer
Eesti▾
SisselogimineKonto
v1.6.x▾
{ }Swagger

BYOK ja LLM-i teenusepakkujad

v1.6.x · uuendatud 2026-11-09

Ühendage päris mudelipakkuja, et saada kasutatavaid vastuseid. Tasuline API-võti pole kohustuslik: kasutage kohalikku OpenAI-ühilduvat mudelit, toetatud tellimust või oma API-võtit.

Kui sa siiski soovid konkreetset mudelit, tood sa selle ise — kas protsessitasandi konfiguratsioonina või iga üürniku jaoks, koos TOOK (tooge oma võti)

Toetatud LLM-i pakkujad

AiHummer suhtleb loomulikult iga teenusega, mis pakub OpenAI-tüüpi vestluse API-d, jõuab teiste teenusteni läbi välise LLM-silla ja toetab ChatGPT-tellimuse transporti. Tegelikkuses hõlmab see:

Teenusepakkuja Kuidas see ühendub Märkmed
OpenAI Looduslik OpenAI-ühilduv tee (AIHUMMER_OPENAI_*)
Ükskõik milline OpenAI-API standardne lõpp-punkt Sama kohaliku tee: AIHUMMER_OPENAI_BASE_URL Kohalikud mudelid, OpenRouter, Gemini OpenAI-ühilduv API jne.
Antroopiline Veebiliides Antroopiline eelhäälestus (OpenAI-ühilduv) või LLM-lüüsi kaudu (AIHUMMER_LLM_*) Claude mudelid; ühenda see bränditud teenusepakkuja valijast või lase kõrvalkäigu väraval hoida võtit
Codex / ChatGPT-tellimuse transport Tellimusel põhinev transport (AIHUMMER_CODEX_*) Kasutab ChatGPT tellimust, mitte mõõdetud API-võtit

[!WARNING] Ühendage päris mudelipakkuja, et saada kasutatavaid vastuseid. Tasuline API-võti pole kohustuslik: kasutage kohalikku OpenAI-ühilduvat mudelit, toetatud tellimust või oma API-võtit.

Mudelile seadete ühendamine

LLM võtmed on seadete-kataloog nupud (salvestatud andmebaasi): seadistage need administraatori liideses (Haldus → Seaded) või aihummer settings set, mitte sees gateway.env. Seal on kaks sõltumatut juhtmepanust — ära sega nende muutujaid.

(a) Looduslik OpenAI-ga ühilduv rada. Sild kutsub ise OpenAI-ga ühilduvat lõpp-punkti ja edastab ise võtme:

aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini

Sama rada töötab kohaliku OpenAI-ühilduva serveri, OpenRouteri või Gemini OpenAI-ühilduva lõpp-punkti jaoks — lihtsalt suuna sellele AIHUMMER_OPENAI_BASE_URL sellega.

(b) LLM-silla tee. AIHUMMER_LLM_GATEWAY_URL on OpenAI-ühilduva lõpp-punkti põhiosa URL — see on sama seade, mis on näidatud Seadistus. Suuna see värava kõrvalistmele, mis hoiab ise pakkuja võtmeid (ei läbi API-võtit AiHummeri kaudu), või otse teenusepakkuja OpenAI-ühilduva API kaudu (sel juhul esitate ka selle teenusepakkuja võtme). See erineb emakeelsest AIHUMMER_OPENAI_BASE_URL aadressil (a):

aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5

[!WARNING] Radade ei ühine: paaristamine AIHUMMER_LLM_GATEWAY_URL koos AIHUMMER_OPENAI_API_KEY ei tee midagi — ühtegi võtit ei edastata väravale tee; külgkaru kasutab oma võtmeid.

Kui pakkujat pole seadistatud, kuvatakse viga: AI mudeli pakkuja pole veel konfigureeritud – lisage see jaotisesse Mudelid

BYOK: iga üürniku võtmed

Kus keskkonnamuutujad konfigureerivad üht protsessitasandil kehtivat mudelit, TOOK las iga üürnik esitab oma LLM-i mandaadid. BYOK võtmeid hallatakse administraatori API-st:

GET  /v1/admin/byok
POST /v1/admin/byok

BYOK-võtmeid hoitakse krüpteeritud kohvris, nagu iga teistki mandaati — neid ei kirjutata kunagi logidesse ega kuvata mudeli kontekstis. Just see võimaldab multiklientide paigutusel hoida iga kliendi mudeli arveldamise ja võtmematerjali täielikult eraldi.

Valimine jagatud seadete ja BYOK-i vahel

  • Kasuta seda AIHUMMER_OPENAI_* / AIHUMMER_LLM_* seaded mille jaoks üksikkasutaja või vaikemudel, mida peaks kasutama kogu värav.
  • Kasuta TOOK kui erinevad üürnikud peavad kasutama erinevaid võtmeid, erinevad teenusepakkujad või arveldatakse eraldi — iga üürniku võti asendab vaikimisi seadistuse selle üürniku jaoks.

[!TIP] Kuna on aktsepteeritud iga OpenAI API standardile vastav lõpp-punkt, saate suunata AIHUMMER_OPENAI_BASE_URL kohalikus mudeliserveris, OpenRouteris või Geminis OpenAI-ga ühilduv lõpp-punkt ilma midagi muud AiHummeris muutmata.

Kuidas see seostub ülejäänud ligipääsumudeliga

BYOK-võtmed on mudeli mandaadid ja asuvad samas krüpteeritud varakambri salves kui Ühendused ja jagatud/isiklikud saladused. Erinevus on ulatuses: BYOK vastab millist mudelit ja võtit see rentnik kasutab, samas kui isiklik vs jagatud ulatus vastustele milliste volitustega antud tööriista kutse töötab.

Kuhu järgmine