BYOK ja LLM-i teenusepakkujad
Ühendage päris mudelipakkuja, et saada kasutatavaid vastuseid. Tasuline API-võti pole kohustuslik: kasutage kohalikku OpenAI-ühilduvat mudelit, toetatud tellimust või oma API-võtit.
Kui sa siiski soovid konkreetset mudelit, tood sa selle ise — kas protsessitasandi konfiguratsioonina või iga üürniku jaoks, koos TOOK (tooge oma võti)
Toetatud LLM-i pakkujad
AiHummer suhtleb loomulikult iga teenusega, mis pakub OpenAI-tüüpi vestluse API-d, jõuab teiste teenusteni läbi välise LLM-silla ja toetab ChatGPT-tellimuse transporti. Tegelikkuses hõlmab see:
| Teenusepakkuja | Kuidas see ühendub | Märkmed |
|---|---|---|
| OpenAI | Looduslik OpenAI-ühilduv tee (AIHUMMER_OPENAI_*) |
|
| Ükskõik milline OpenAI-API standardne lõpp-punkt | Sama kohaliku tee: AIHUMMER_OPENAI_BASE_URL |
Kohalikud mudelid, OpenRouter, Gemini OpenAI-ühilduv API jne. |
| Antroopiline | Veebiliides Antroopiline eelhäälestus (OpenAI-ühilduv) või LLM-lüüsi kaudu (AIHUMMER_LLM_*) |
Claude mudelid; ühenda see bränditud teenusepakkuja valijast või lase kõrvalkäigu väraval hoida võtit |
| Codex / ChatGPT-tellimuse transport | Tellimusel põhinev transport (AIHUMMER_CODEX_*) |
Kasutab ChatGPT tellimust, mitte mõõdetud API-võtit |
[!WARNING] Ühendage päris mudelipakkuja, et saada kasutatavaid vastuseid. Tasuline API-võti pole kohustuslik: kasutage kohalikku OpenAI-ühilduvat mudelit, toetatud tellimust või oma API-võtit.
Mudelile seadete ühendamine
LLM võtmed on seadete-kataloog nupud (salvestatud andmebaasi): seadistage need administraatori liideses (Haldus → Seaded) või aihummer settings set, mitte sees gateway.env. Seal on kaks sõltumatut juhtmepanust — ära sega nende muutujaid.
(a) Looduslik OpenAI-ga ühilduv rada. Sild kutsub ise OpenAI-ga ühilduvat lõpp-punkti ja edastab ise võtme:
aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini
Sama rada töötab kohaliku OpenAI-ühilduva serveri, OpenRouteri või Gemini OpenAI-ühilduva lõpp-punkti jaoks — lihtsalt suuna sellele AIHUMMER_OPENAI_BASE_URL sellega.
(b) LLM-silla tee. AIHUMMER_LLM_GATEWAY_URL on OpenAI-ühilduva lõpp-punkti põhiosa URL — see on sama seade, mis on näidatud Seadistus. Suuna see värava kõrvalistmele, mis hoiab ise pakkuja võtmeid (ei läbi API-võtit AiHummeri kaudu), või otse teenusepakkuja OpenAI-ühilduva API kaudu (sel juhul esitate ka selle teenusepakkuja võtme). See erineb emakeelsest AIHUMMER_OPENAI_BASE_URL aadressil (a):
aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5
[!WARNING] Radade ei ühine: paaristamine
AIHUMMER_LLM_GATEWAY_URLkoosAIHUMMER_OPENAI_API_KEYei tee midagi — ühtegi võtit ei edastata väravale tee; külgkaru kasutab oma võtmeid.
Kui pakkujat pole seadistatud, kuvatakse viga: AI mudeli pakkuja pole veel konfigureeritud – lisage see jaotisesse Mudelid
BYOK: iga üürniku võtmed
Kus keskkonnamuutujad konfigureerivad üht protsessitasandil kehtivat mudelit, TOOK las iga üürnik esitab oma LLM-i mandaadid. BYOK võtmeid hallatakse administraatori API-st:
GET /v1/admin/byok
POST /v1/admin/byok
BYOK-võtmeid hoitakse krüpteeritud kohvris, nagu iga teistki mandaati — neid ei kirjutata kunagi logidesse ega kuvata mudeli kontekstis. Just see võimaldab multiklientide paigutusel hoida iga kliendi mudeli arveldamise ja võtmematerjali täielikult eraldi.
Valimine jagatud seadete ja BYOK-i vahel
- Kasuta seda
AIHUMMER_OPENAI_*/AIHUMMER_LLM_*seaded mille jaoks üksikkasutaja või vaikemudel, mida peaks kasutama kogu värav. - Kasuta TOOK kui erinevad üürnikud peavad kasutama erinevaid võtmeid, erinevad teenusepakkujad või arveldatakse eraldi — iga üürniku võti asendab vaikimisi seadistuse selle üürniku jaoks.
[!TIP] Kuna on aktsepteeritud iga OpenAI API standardile vastav lõpp-punkt, saate suunata
AIHUMMER_OPENAI_BASE_URLkohalikus mudeliserveris, OpenRouteris või Geminis OpenAI-ga ühilduv lõpp-punkt ilma midagi muud AiHummeris muutmata.
Kuidas see seostub ülejäänud ligipääsumudeliga
BYOK-võtmed on mudeli mandaadid ja asuvad samas krüpteeritud varakambri salves kui Ühendused ja jagatud/isiklikud saladused. Erinevus on ulatuses: BYOK vastab millist mudelit ja võtit see rentnik kasutab, samas kui isiklik vs jagatud ulatus vastustele milliste volitustega antud tööriista kutse töötab.
Kuhu järgmine
- Isiklikud vs jagatud volikirjad
- Ühendused (kasutajapõhine OAuth2)
- Sissejuhatus — tasustamata mudelid põhimõte kontekstis.