BYOK ja LLM-i teenusepakkujad — AiHummer Dokumendid

AiHummer ei nõua kunagi tasulist mudelit. Karbist välja töötab see tasuta ja kohalike mudelitega ning Codex/ChatGPT tellimuse transpordiga, ja kui ühtegi mudelit üldse ühendatud ei ole, langeb jooksuaeg deterministlikule mööndusmudelile, nii et platvorm käivitub siiski ja on testitav. Kui sa siiski soovid konkreetset mudelit, tood sa selle ise — kas protsessitasandi konfiguratsioonina või iga üürniku jaoks, koos TOOK (tooge oma võti)

Toetatud LLM-i pakkujad

AiHummer suhtleb loomulikult iga teenusega, mis pakub OpenAI-tüüpi vestluse API-d, jõuab teiste teenusteni läbi välise LLM-silla ja toetab ChatGPT-tellimuse transporti. Tegelikkuses hõlmab see:

Teenusepakkuja	Kuidas see ühendub	Märkmed
OpenAI	Looduslik OpenAI-ühilduv tee (`AIHUMMER_OPENAI_*`)
Ükskõik milline OpenAI-API standardne lõpp-punkt	Sama kohaliku tee: `AIHUMMER_OPENAI_BASE_URL`	Kohalikud mudelid, OpenRouter, Gemini OpenAI-ühilduv API jne.
Antroopiline	Veebiliides Antroopiline eelhäälestus (OpenAI-ühilduv) või LLM-lüüsi kaudu (`AIHUMMER_LLM_*`)	Claude mudelid; ühenda see bränditud teenusepakkuja valijast või lase kõrvalkäigu väraval hoida võtit
Codex / ChatGPT-tellimuse transport	Tellimusel põhinev transport (`AIHUMMER_CODEX_*`)	Kasutab ChatGPT tellimust, mitte mõõdetud API-võtit

[!WARNING] Mingi tasuline mudeli API ei ole kunagi kohustuslik. AiHummer töötab tasuta/lokaalsete mudelitega ja Codex/ChatGPT-tellimuse transport ja kui ühtegi mudelit ei ole seadistatud täitmisajal kasutatakse deterministlikku moki — väravaport käivitub ja reageerib ikka. BYOK ja tasulised võtmed on täiesti vabatahtlikud.

Mudelile seadete ühendamine

LLM võtmed on seadete-kataloog nupud (salvestatud andmebaasi): seadistage need administraatori liideses (Haldus → Seaded) või aihummer settings set, mitte sees gateway.env. Seal on kaks sõltumatut juhtmepanust — ära sega nende muutujaid.

(a) Looduslik OpenAI-ga ühilduv rada. Sild kutsub ise OpenAI-ga ühilduvat lõpp-punkti ja edastab ise võtme:

aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini

Sama rada töötab kohaliku OpenAI-ühilduva serveri, OpenRouteri või Gemini OpenAI-ühilduva lõpp-punkti jaoks — lihtsalt suuna sellele AIHUMMER_OPENAI_BASE_URL sellega.

(b) LLM-silla tee. AIHUMMER_LLM_GATEWAY_URL on OpenAI-ühilduva lõpp-punkti põhiosa URL — see on sama seade, mis on näidatud Seadistus. Suuna see värava kõrvalistmele, mis hoiab ise pakkuja võtmeid (ei läbi API-võtit AiHummeri kaudu), või otse teenusepakkuja OpenAI-ühilduva API kaudu (sel juhul esitate ka selle teenusepakkuja võtme). See erineb emakeelsest AIHUMMER_OPENAI_BASE_URL aadressil (a):

aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5

[!WARNING] Radade ei ühine: paaristamine AIHUMMER_LLM_GATEWAY_URL koos AIHUMMER_OPENAI_API_KEY ei tee midagi — ühtegi võtit ei edastata väravale tee; külgkaru kasutab oma võtmeid.

Kui kumbki tee ei ole seadistatud, kasutatakse deterministlikku moki.

BYOK: iga üürniku võtmed

Kus keskkonnamuutujad konfigureerivad üht protsessitasandil kehtivat mudelit, TOOK las iga üürnik esitab oma LLM-i mandaadid. BYOK võtmeid hallatakse administraatori API-st:

GET  /v1/admin/byok
POST /v1/admin/byok

BYOK-võtmeid hoitakse krüpteeritud kohvris, nagu iga teistki mandaati — neid ei kirjutata kunagi logidesse ega kuvata mudeli kontekstis. Just see võimaldab multiklientide paigutusel hoida iga kliendi mudeli arveldamise ja võtmematerjali täielikult eraldi.

Valimine jagatud seadete ja BYOK-i vahel

Kasuta seda AIHUMMER_OPENAI_* / AIHUMMER_LLM_* seaded mille jaoks üksikkasutaja või vaikemudel, mida peaks kasutama kogu värav.
Kasuta TOOK kui erinevad üürnikud peavad kasutama erinevaid võtmeid, erinevad teenusepakkujad või arveldatakse eraldi — iga üürniku võti asendab vaikimisi seadistuse selle üürniku jaoks.

[!TIP] Kuna on aktsepteeritud iga OpenAI API standardile vastav lõpp-punkt, saate suunata AIHUMMER_OPENAI_BASE_URL kohalikus mudeliserveris, OpenRouteris või Geminis OpenAI-ga ühilduv lõpp-punkt ilma midagi muud AiHummeris muutmata.

Kuidas see seostub ülejäänud ligipääsumudeliga

BYOK-võtmed on mudeli mandaadid ja asuvad samas krüpteeritud varakambri salves kui Ühendused ja jagatud/isiklikud saladused. Erinevus on ulatuses: BYOK vastab millist mudelit ja võtit see rentnik kasutab, samas kui isiklik vs jagatud ulatus vastustele milliste volitustega antud tööriista kutse töötab.

Kuhu järgmine

Isiklikud vs jagatud volikirjad
Ühendused (kasutajapõhine OAuth2)
Sissejuhatus — tasustamata mudelid põhimõte kontekstis.