BYOK un LLM pakalpojumu sniedzēji
AiHummer nekad nepieprasa maksas modeli. No kastes tas darbojas uz bezmaksas un lokāliem modeļiem un Codex/ChatGPT abonementa transportu, un ja nekādi modeļi vispār nav pieslēgti, izpildes laikā tiek izmantots deterministisks makets, tāpēc platforma joprojām tiek palaista un ir testējama. Kad jūs patiešām vēlaties konkrētu modeli, jūs to piesakāt pats — vai nu kā vispārīgu procesa konfigurāciju, vai katram nomniekam atsevišķi. Paņem savu ierīci (paņem savu atslēgu)
Atbalstītie LLM pakalpojumu sniedzēji
AiHummer dzimtā valodā runā ar jebkuru pakalpojumu sniedzēju, kas piedāvā OpenAI tipa tērzēšanas API, sasniedz citus pakalpojumu sniedzējus caur ārēju LLM vārteju un atbalsta ChatGPT abonēšanas transportu. Praktiski tas aptver:
| Sniedzējs | Kā tas savienojas | Piezīmes |
|---|---|---|
| OpenAI | Dabīgais OpenAI saderīgais ceļš (AIHUMMER_OPENAI_*) |
|
| Jebkura OpenAI API standarta gala punkts | Tā pati vietējā ceļš: AIHUMMER_OPENAI_BASE_URL |
Vietējie modeļi, OpenRouter, Gemini OpenAI saderīgais API utt. |
| Antropisks | Tīmekļa lietotāja saskarne Antropisks iepriekš iestatīts (saderīgs ar OpenAI) vai caur LLM vārteju (AIHUMMER_LLM_*) |
Claude modeļi; pieslēdziet to no zīmola pakalpojumu sniedzēja izvēlnes vai ļaujiet sidecar vārtejai turēt atslēgu |
| Kodekss / ChatGPT abonementa transports | Transporta pakalpojumi, kas balstīti uz abonementu (AIHUMMER_CODEX_*) |
Izmanto ChatGPT abonementu, nevis maksas API atslēgu |
[!WARNING] Nevienmēr ir obligāti jāizmanto maksas modeļa API. AiHummer strādā ar bezmaksas/lokāliem modeļiem un Kodekss/ChatGPT-abonementa transports, un ja nav konfigurēts modelis izpildlaiks izmanto deterministisku spoguļobjektu — vārteja joprojām startē un reaģē. BYOK un maksātās atslēgas ir pilnīgi izvēles.
Modeļa vadu pieslēgšana ar iestatījumiem
LLM atslēgas ir iestatījumu-katalogs pogas (saglabātas datubāzē): iestatiet tās administrācijas saskarnē (Pārvaldība → Iestatījumi) vai ar aihummer settings set, ne iekšā gateway.env. Tur ir divi neatkarīgi vadu ceļi — nesajauciet viņu mainīgos.
(a) Vietējais OpenAI saderīgais ceļš. Vārteja pati izsauc OpenAI saderīgu galapunktu un pati nodod atslēgu:
aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini
Tā pati ceļa daba darbojas lokālam OpenAI saderīgam serverim, OpenRouter vai Gemini OpenAI saderīgam galapunktam — vienkārši norādi uz to AIHUMMER_OPENAI_BASE_URL pie tā.
(b) LLM-vārtejas ceļš. AIHUMMER_LLM_GATEWAY_URL ir OpenAI saderīga gala punkta pamat URL — tas ir tas pats iestatījums, kas parādīts Konfigurācija. Norādiet to uz vārtejas sānsomu, kas tur nodrošinātāja atslēgas pašas (bez API atslēgas, kas tiek nodota caur AiHummer), vai tieši pie pakalpojumu sniedzēja OpenAI saderīgā API (šajā gadījumā arī piegādājat šī pakalpojumu sniedzēja atslēgu). Tas atšķiras no vietējā AIHUMMER_OPENAI_BASE_URL ceļā (a):
aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5
[!WARNING] Takas nesajaucas: pārošana
AIHUMMER_LLM_GATEWAY_URLarAIHUMMER_OPENAI_API_KEYneko nedara — neviena taustiņa netiek pārsūtīta uz vārteju ceļš; sānskrejs izmanto savus atslēgas.
Ja neviens ceļš nav konfigurēts, tiek izmantots deterministiskais makets.
BYOK: katra nomnieka atslēgas
Kur vides mainīgie konfigurē vienu visaptverošu procesu modeli, Paņem savu ierīci ļauj katram nomniekam nodrošināt savus LLM akreditācijas datus. BYOK atslēgas tiek pārvaldītas no administratora API:
GET /v1/admin/byok
POST /v1/admin/byok
BYOK atslēgas tiek glabātas šifrētā krātuvē, tāpat kā visi pārējie akreditācijas dati — tās nekad netiek ierakstītas žurnālos vai parādītas modeļa kontekstā. Tas ļauj daudzlietotāju izvietošanai pilnībā atdalīt katra klienta modeļa norēķinus un atslēgu materiālu.
Izvēle starp koplietotajiem iestatījumiem un BYOK
- Izmantojiet
AIHUMMER_OPENAI_*/AIHUMMER_LLM_*iestatījumi par viena nomnieka vai noklusējuma modelis, ko izmantos visa vārteja. - Lietot Paņem savu ierīci kad dažādiem īrniekiem jāizmanto dažādas atslēgas, dažādi pakalpojumu sniedzēji, vai tiks rēķināts atsevišķi — nomnieka atslēga atsver noklusējumu tam īrniekam.
[!TIP] Tā kā tiek pieņemts jebkurš OpenAI API standarta galapunkts, jūs varat norādīt
AIHUMMER_OPENAI_BASE_URLvietējā modeļa serverī, OpenRouter vai Gemini OpenAI saderīgs galapunkts, nemainot neko citu AiHummer.
Kā tas attiecas uz pārējo piekļuves modeli
BYOK atslēgas ir modeļa akreditācijas dati un atrodas tajā pašā šifrētajā glabātuvē kā Savienojumi un koplietotās/personiskās slepenas lietas. Atšķirība ir apjomā: BYOK atbild uz jautājumu kuru modeli un atslēgu šis nomnieks izmanto, savukārt personisks vs kopīgs atbildes darbības joma ar kuru akreditācijas datiem tiek izpildīts konkrētā rīka izsaukums.
Kur uz nākamo
- Personīgās vs kopīgās akreditācijas
- Savienojumi (vienam lietotājam paredzēts OAuth2)
- Ievads — neapmaksātie modeļi principiāls kontekstā.