BYOK- ja LLM-tarjoajat
AiHummer ei koskaan vaadi maksullista mallia. Valmiina se toimii ilmaisilla ja paikallisilla malleilla sekä Codex/ChatGPT-tilaustransportilla, ja jos yhtään mallia ei ole kytketty, ajonaikainen järjestelmä palaa deterministiseen malliin, joten alusta käynnistyy silti ja on testattavissa. Kun haluat tietyn mallin, tuot sen itse — joko prosessikohtaisena asetuksena tai, vuokralaista kohden, sillä tavalla että Tuo oma laite (tuo oma avain).
Tuetut LLM-tarjoajat
AiHummer puhuu natiivisti kaikille palveluntarjoajille, jotka tarjoavat OpenAI-tyyppisen chat-API:n, saavuttaa muut palveluntarjoajat ulkoisen LLM-portin kautta ja tukee ChatGPT-tilausväylää. Käytännössä se kattaa:
| Tarjoaja | Miten se yhdistyy | Muistiinpanot |
|---|---|---|
| OpenAI | Natiivinen OpenAI-yhteensopiva polku (AIHUMMER_OPENAI_*) |
|
| Mikä tahansa OpenAI-API-standardipäätepiste | Sama alkuperäinen polku: AIHUMMER_OPENAI_BASE_URL |
Paikalliset mallit, OpenRouter, Geminin OpenAI-yhteensopiva API jne. |
| Antropinen | Verkkokäyttöliittymä Antropinen esiasetus (OpenAI-yhteensopiva) tai LLM-portin kautta (AIHUMMER_LLM_*) |
Claude-mallit; yhdistä se brändätyn tarjoajan valitsimesta, tai anna sidecar-portin pitää avain |
| Codex / ChatGPT-tilaustransportti | Tilauspohjainen liikenne (AIHUMMER_CODEX_*) |
Käyttää ChatGPT-tilausta sen sijaan, että käyttäisi mittarillista API-avainta |
[!WARNING] Yksikään maksettu mallin API ei ole koskaan pakollinen. AiHummer toimii ilmaisilla/paikallisilla malleilla ja Codex/ChatGPT-tilaustransportti, ja jos mallia ei ole määritetty ajoaika käyttää determinististä mallia — portti käynnistyy edelleen ja vastaa. BYOK ja maksulliset avaimet ovat täysin valinnaisia.
Mallin johdotus asetuksilla
LLM-avaimet ovat asetukset-luettelo nupit (tallennettu tietokantaan): aseta ne hallintaliittymässä (Hallinta → Asetukset) tai käyttämällä aihummer settings set, ei sisällä gateway.env. On kaksi riippumatonta johdotuspolkua — älä sekoita heidän muuttujiaan.
(a) Natiivi OpenAI-yhteensopiva polku. Portti kutsuu OpenAI-yhteensopivaa päätepistettä itse ja välittää avaimen itse:
aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini
Sama polku toimii paikallisen OpenAI-yhteensopivan palvelimen, OpenRouterin tai Geminin OpenAI-yhteensopivan päätepisteen kanssa — osoita vain AIHUMMER_OPENAI_BASE_URL siihen.
(b) LLM-portaalireitti. AIHUMMER_LLM_GATEWAY_URL on OpenAI-yhteensopivan päätepisteen perus-URL — tämä on sama asetus, joka näkyy Konfiguraatio. Kohdista se porttikäytävän sivuvaunuun, joka hallinnoi tarjoajan avaimia itse (ei mikään API-avain kulje AiHummerin kautta), tai suoraan palveluntarjoajan OpenAI-yhteensopiva API-rajapinta (jonka tapauksessa toimitat myös kyseisen palveluntarjoajan avaimen). Se on erillinen alkuperäisestä AIHUMMER_OPENAI_BASE_URL polussa (a):
aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5
[!WARNING] Polut eivät yhdisty: parittaminen
AIHUMMER_LLM_GATEWAY_URLkanssaAIHUMMER_OPENAI_API_KEYei tee mitään — mitään näppäintä ei välitetä edelleen portin kautta polku; sivuvaunu käyttää omia avaimiaan.
Jos kumpikaan polku ei ole määritetty, käytetään determinististä mokkia.
BYOK: vuokralaiskohtaiset avaimet
Missä ympäristömuuttujat määrittävät yksittäisen prosessikohtaisen mallin, Tuo oma laite annetaan kullekin vuokralaiselle mahdollisuus toimittaa omat LLM-tunnistetietonsa. BYOK-avaimia hallitaan hallinta-API:n kautta:
GET /v1/admin/byok
POST /v1/admin/byok
BYOK-avaimet säilytetään salatussa holvissa, aivan kuten kaikki muut tunnistetiedot — niitä ei koskaan kirjata lokitiedostoihin tai näytetä mallin kontekstissa. Tämä mahdollistaa sen, että monivuokrausjärjestelmä voi pitää jokaisen asiakkaan mallin laskutuksen ja avainelementit täysin erillään.
Valitseminen jaettujen asetusten ja BYOK:n välillä
- Käytä
AIHUMMER_OPENAI_*/AIHUMMER_LLM_*asetukset jonkin varten yhden vuokralaisen tai oletusmalli, jota koko portin tulisi käyttää. - Käyttää Tuo oma laite kun eri vuokralaiset joutuvat käyttämään eri avaimia, eri palveluntarjoajia, tai laskutetaan erikseen — vuokralaikohtaista avainta käytetään oletusarvon sijaan tuolle vuokralaiselle.
[!TIP] Koska mikä tahansa OpenAI-API-standardin päätepiste hyväksytään, voit osoittaa
AIHUMMER_OPENAI_BASE_URLpaikallisella mallipalvelimella, OpenRouterilla tai Geminillä OpenAI-yhteensopiva päätepiste muuttamatta mitään muuta AiHummerissa.
Miten tämä liittyy muun käyttöoikeusmallin kanssa
BYOK-avaimet ovat mallin tunnistetietoja ja sijaitsevat samassa salatussa holvissa kuin Yhteydet ja jaetut/henkilökohtaiset salaisuudet. Ero on laajuudessa: BYOK vastaa mikä malli ja avain tätä vuokralaista käyttää, kun taas henkilökohtainen vs jaettu laajuuden vastaukset jonkun työkalupyyntöjen kanssa käytettävien tunnistetietojen mukaisesti.
Minne seuraavaksi
- Henkilökohtaiset vs. jaetut tunnistetiedot
- Yhteydet (käyttäjäkohtainen OAuth2)
- Johdanto — ilmaiset mallit periaate kontekstissa.