AiHummer
Svenska▾
Logga inKonto
v1.6.x▾
{ }Swagger

BYOK och LLM-leverantörer

v1.6.x · uppdaterad 2026-11-09

Anslut en riktig modellleverantör för att få användbara svar. En betald API-nyckel krävs inte: använd en lokal OpenAI-kompatibel modell, en stödd prenumeration eller din egen API-nyckel.

När du väl vill ha en specifik modell tar du med den själv — antingen som en processomfattande konfiguration eller, per hyresgäst, med Ta med din egen nyckel (”ta med din egen nyckel”).

Stödda LLM-leverantörer

AiHummer talar direkt med vilken leverantör som helst som exponerar ett OpenAI-liknande chatt-API, når andra leverantörer genom en extern LLM-gateway och stöder ChatGPT-prenumerationstransporten. I praktiken omfattar det:

Leverantör Hur det ansluter Anteckningar
OpenAI Inhemsk OpenAI-kompatibel väg (AIHUMMER_OPENAI_*)
Vilken som helst OpenAI-API-standardendpoint Samma ursprungliga väg: AIHUMMER_OPENAI_BASE_URL Lokala modeller, OpenRouter, Geminis OpenAI-kompatibla API, etc.
Antropisk Webbgränssnitt Antropisk förinställning (OpenAI-kompatibel) eller via LLM-gatewayen (AIHUMMER_LLM_*) Claude-modeller; anslut det från den varumärkta leverantörsväljaren, eller låt sidokorgsgatewayen hålla nyckeln
Codex / ChatGPT-prenumeration transport Prenumerationsbaserad transport (AIHUMMER_CODEX_*) Använder en ChatGPT-prenumeration istället för en mätbar API-nyckel

[!WARNING] Anslut en riktig modellleverantör för att få användbara svar. En betald API-nyckel krävs inte: använd en lokal OpenAI-kompatibel modell, en stödd prenumeration eller din egen API-nyckel.

Koppla en modell med inställningar

LLM-nycklarna är inställningar-katalog knappar (lagrade i databasen): ställ in dem i administratörsgränssnittet (Management → Settings) eller med aihummer settings set, inte i gateway.env. Det finns två oberoende ledningsvägar — blanda inte deras variabler.

(a) Den inhemska OpenAI-kompatibla vägen. Gatewayen anropar själv en OpenAI-kompatibel endpoint och skickar nyckeln själv:

aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini

Samma väg fungerar för en lokal OpenAI-kompatibel server, OpenRouter eller Geminis OpenAI-kompatibla slutpunkt — peka bara AIHUMMER_OPENAI_BASE_URL på det.

(b) LLM-gateway-vägen. AIHUMMER_LLM_GATEWAY_URL är bas-URL:en för en OpenAI-kompatibel slutpunkt — detta är samma inställning som visas i Konfiguration. Rikta den mot en gateway-sidecar som innehåller själva leverantörsnycklarna (ingen API-nyckel går igenom AiHummer), eller direkt hos en leverantörs OpenAI-kompatibla API (i vilket fall du också tillhandahåller den leverantörens nyckel). Den är skild från den inhemska AIHUMMER_OPENAI_BASE_URL i sökvägen (a):

aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5

[!WARNING] Vägarna kombineras inte: parning AIHUMMER_LLM_GATEWAY_URL med AIHUMMER_OPENAI_API_KEY gör ingenting — ingen knapp vidarebefordras på gatewayen sökväg; sidovagnen använder sina egna nycklar.

Om ingen leverantör har konfigurerats visas felet: Ingen AI-modellleverantör är konfigurerad ännu – lägg till en i avsnittet Modeller

BYOK: nycklar per hyresgäst

Där miljövariablerna konfigurerar en enda modell som gäller för hela processen, Ta med din egen nyckel låt varje hyresgäst tillhandahålla sina egna LLM-referenser. BYOK-nycklar hanteras från admin-API:

GET  /v1/admin/byok
POST /v1/admin/byok

BYOK-nycklar lagras i det krypterade valvet, precis som alla andra referenser — de skrivs aldrig i loggar eller visas i modellens kontext. Detta är vad som gör det möjligt för en multitenantinstallation att hålla varje kunds modellfakturering och nyckelmaterial helt separat.

Att välja mellan delade inställningar och BYOK

  • Använd AIHUMMER_OPENAI_* / AIHUMMER_LLM_* inställningar för en ensamhyres- eller standardmodell som hela gatewayen bör använda.
  • Använd Ta med din egen nyckel när olika hyresgäster måste använda olika nycklar, olika leverantörer, eller faktureras separat — den per-tenant-nyckeln åsidosätter standarden för den hyresgästen.

[!TIP] Eftersom vilken OpenAI-API-standardendpoint som helst accepteras, kan du peka AIHUMMER_OPENAI_BASE_URL på en lokal modellserver, OpenRouter eller en Gemini OpenAI-kompatibel slutpunkt utan att ändra något annat i AiHummer.

Hur detta relaterar till resten av åtkomstmodellen

BYOK-nycklar är modelluppgifter och finns i samma krypterade valv som Kontakter och delade/personliga hemligheter. Skillnaden är omfattning: BYOK svarar vilken modell och vilken nyckel denna hyresgäst använder, medan personlig vs delad omfångsbesvarar vilka behörigheter ett givet verktygskall körs med.

Vart härnäst