BYOK och LLM-leverantörer
Anslut en riktig modellleverantör för att få användbara svar. En betald API-nyckel krävs inte: använd en lokal OpenAI-kompatibel modell, en stödd prenumeration eller din egen API-nyckel.
När du väl vill ha en specifik modell tar du med den själv — antingen som en processomfattande konfiguration eller, per hyresgäst, med Ta med din egen nyckel (”ta med din egen nyckel”).
Stödda LLM-leverantörer
AiHummer talar direkt med vilken leverantör som helst som exponerar ett OpenAI-liknande chatt-API, når andra leverantörer genom en extern LLM-gateway och stöder ChatGPT-prenumerationstransporten. I praktiken omfattar det:
| Leverantör | Hur det ansluter | Anteckningar |
|---|---|---|
| OpenAI | Inhemsk OpenAI-kompatibel väg (AIHUMMER_OPENAI_*) |
|
| Vilken som helst OpenAI-API-standardendpoint | Samma ursprungliga väg: AIHUMMER_OPENAI_BASE_URL |
Lokala modeller, OpenRouter, Geminis OpenAI-kompatibla API, etc. |
| Antropisk | Webbgränssnitt Antropisk förinställning (OpenAI-kompatibel) eller via LLM-gatewayen (AIHUMMER_LLM_*) |
Claude-modeller; anslut det från den varumärkta leverantörsväljaren, eller låt sidokorgsgatewayen hålla nyckeln |
| Codex / ChatGPT-prenumeration transport | Prenumerationsbaserad transport (AIHUMMER_CODEX_*) |
Använder en ChatGPT-prenumeration istället för en mätbar API-nyckel |
[!WARNING] Anslut en riktig modellleverantör för att få användbara svar. En betald API-nyckel krävs inte: använd en lokal OpenAI-kompatibel modell, en stödd prenumeration eller din egen API-nyckel.
Koppla en modell med inställningar
LLM-nycklarna är inställningar-katalog knappar (lagrade i databasen): ställ in dem i administratörsgränssnittet (Management → Settings) eller med aihummer settings set, inte i gateway.env. Det finns två oberoende ledningsvägar — blanda inte deras variabler.
(a) Den inhemska OpenAI-kompatibla vägen. Gatewayen anropar själv en OpenAI-kompatibel endpoint och skickar nyckeln själv:
aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini
Samma väg fungerar för en lokal OpenAI-kompatibel server, OpenRouter eller Geminis OpenAI-kompatibla slutpunkt — peka bara AIHUMMER_OPENAI_BASE_URL på det.
(b) LLM-gateway-vägen. AIHUMMER_LLM_GATEWAY_URL är bas-URL:en för en OpenAI-kompatibel slutpunkt — detta är samma inställning som visas i Konfiguration. Rikta den mot en gateway-sidecar som innehåller själva leverantörsnycklarna (ingen API-nyckel går igenom AiHummer), eller direkt hos en leverantörs OpenAI-kompatibla API (i vilket fall du också tillhandahåller den leverantörens nyckel). Den är skild från den inhemska AIHUMMER_OPENAI_BASE_URL i sökvägen (a):
aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5
[!WARNING] Vägarna kombineras inte: parning
AIHUMMER_LLM_GATEWAY_URLmedAIHUMMER_OPENAI_API_KEYgör ingenting — ingen knapp vidarebefordras på gatewayen sökväg; sidovagnen använder sina egna nycklar.
Om ingen leverantör har konfigurerats visas felet: Ingen AI-modellleverantör är konfigurerad ännu – lägg till en i avsnittet Modeller
BYOK: nycklar per hyresgäst
Där miljövariablerna konfigurerar en enda modell som gäller för hela processen, Ta med din egen nyckel låt varje hyresgäst tillhandahålla sina egna LLM-referenser. BYOK-nycklar hanteras från admin-API:
GET /v1/admin/byok
POST /v1/admin/byok
BYOK-nycklar lagras i det krypterade valvet, precis som alla andra referenser — de skrivs aldrig i loggar eller visas i modellens kontext. Detta är vad som gör det möjligt för en multitenantinstallation att hålla varje kunds modellfakturering och nyckelmaterial helt separat.
Att välja mellan delade inställningar och BYOK
- Använd
AIHUMMER_OPENAI_*/AIHUMMER_LLM_*inställningar för en ensamhyres- eller standardmodell som hela gatewayen bör använda. - Använd Ta med din egen nyckel när olika hyresgäster måste använda olika nycklar, olika leverantörer, eller faktureras separat — den per-tenant-nyckeln åsidosätter standarden för den hyresgästen.
[!TIP] Eftersom vilken OpenAI-API-standardendpoint som helst accepteras, kan du peka
AIHUMMER_OPENAI_BASE_URLpå en lokal modellserver, OpenRouter eller en Gemini OpenAI-kompatibel slutpunkt utan att ändra något annat i AiHummer.
Hur detta relaterar till resten av åtkomstmodellen
BYOK-nycklar är modelluppgifter och finns i samma krypterade valv som Kontakter och delade/personliga hemligheter. Skillnaden är omfattning: BYOK svarar vilken modell och vilken nyckel denna hyresgäst använder, medan personlig vs delad omfångsbesvarar vilka behörigheter ett givet verktygskall körs med.
Vart härnäst
- Personliga vs delade autentiseringsuppgifter
- Anslutningar (per-användare OAuth2)
- Introduktion — de icke-betalande modellerna princip i sammanhang.