Süsteeminõuded
AiHummer on hosti-sünnipärane toode: see töötab süsteemd all release-tarballina, seega on nõuded tahtlikult väikesed. Ainus keeruline sõltuvus on Linuxi host PostgreSQL-iga. Kõik muu — sidecar-id, tõeline mudel, vektoripood — on valikuline ja seda saab hiljem administraatori tööliidesest lisada.
[!NOTE] AiHummer on hosti-lokaalne, mitte Docker. See paigaldub kui tarball, mis töötab all systemd alates
~/.aihummer(kasutaja kodukataloog, kes käivitas installer). Sul ei ole vaja konteineri käitusajam, Kubernetes ega midagi orkestreerija.
Operatsioonisüsteem
AiHummer töötab Ainult Linux. Windowsi või macOS-i serveri versiooni ei ole — gateway ja selle lisarakendused on pakitud arhitektuuripõhiselt Linuxi artefaktidena ning paigaldatakse systemdi abil. (Kliendi rakendus on eraldi mobiili- ja lauaarvuti rakendus; see on kanal, mitte server.)
- Kaasaegne 64-bitine Linuxi distributsioon koos
systemd. x86_64(amd64) võiarm64— installer tõmbab vastava arhitektuuri komplekti.sudo/root-i juurdepääs on ei ole rangelt vajalik: tavaline paigaldus käib läbisudo, kuid installeri käivitamine ilma juurõigusteta installib AiHummeri juurõiguseta režiimis režiim allsystemd --user— see Paigaldus.
Andmebaas
PostgreSQL on ainult tugev sõltuvus ja kõigi olekute ainus tõeallikas. pgcrypto laiendus on nõutav — see toetab krüpteeritud mandaadivaramut. Ilma andmebaasita käivitub värav vähendatud ainult tervise režiimis ja ei paku midagi kasulikku.
[!IMPORTANT] Luba
pgcryptosihtandmebaasis enne esimest käivitamist:CREATE EXTENSION IF NOT EXISTS pgcrypto;
Sild ühendub kaudu DSN-i AIHUMMER_DATABASE_URL. Mitme üürniku isoleerimise jaoks saate täiendavalt osutada AIHUMMER_DB_APP_URL piiratud juures aihummer_app roll, et aktiveerida Postgresi rea taseme turvalisus; kohalikud paigaldused seadistavad selle automaatselt. Andmebaasi migratsioonid on edasisuunas turvalised ja rakendatakse automaatselt omaniku puul olevat nõuandest lähtuvat lukku kasutades.
Riistvara
Need numbrid on juhised ühe-hosti juurutuse jaoks, kus kasutatakse gateway’d koos PostgreSQL-iga. Sidecarid (STT/TTS, brauser, vektoripood) lisavad oma jalajälje ja paigaldatakse tavaliselt samale hostile ainult väikeste juurutuste puhul.
| Profiil | Protsessor | RAM | Ketass | Märkmed |
|---|---|---|---|---|
| Miinimum (eval) | 2 vCPU | 2 GB | 10 GB | Gateway + Postgres, moki mudel, ilma kõrvalprotsessideta |
| Soovitatav | 4 vCPU | 8 GB | 40 GB SSD | Värav + Postgres + paar kõrvalprotsessi |
| Hääl / kohalikud mudelid | 8+ vCPU (GPU valikuline) | 16+ GB | 80+ GB SSD | STT/TTS, manustaja, kohalik LLM lõpp-punkt |
Ketta kasutus kasvab vestluste ajaloo, meediumiploki kataloogi tõttu (AIHUMMER_BLOB_DIR), teadmiste omandamine ja auditi säilitamine. Planeeri PostgreSQL varukoopiad (pg_dump + WAL/PITR) vastavalt.
Kaasreisijad (valikuline)
Külgkorvid on eraldatud HTTP-teenused, igaüks oma süsteemi sees olevas systemd üksuses. Värav saab nendeni URL-i kaudu, nii et sidecar saab töötada samal hostil, teisel hostil või saate viidata olemasolevale eksemplarile. Need on kõik tasuta/kohalikud ja ei ole kunagi vajalikud põhilise juurutuse jaoks.
| Sidecar | Vaikimisi pordinumber | Võimaldab |
|---|---|---|
| STT (kiirem sosin) | 8001 | Kõne teksti jaoks häälkäikude puhul |
| TTS (edge-tts) | 8002 | Tekst kõneks kõnepööretes |
| Video (ffmpeg) | 8005 | Video mõistmine |
| SearXNG | 8888 | See web_search tööriist |
| Chrome/CDP | 9222 | See browser / computer tööriistad |
STT, TTS, video, veebiotsing (SearXNG) ja brauser (CloakBrowser) paigaldatakse kõik paigaldaja poolt karbist välja. Otsingu ja brauseri laadungid tulevad kaasa allkirjastatud paigaldaja komplektis ja paigaldatakse võrguühenduseta: lülita need välja lippudega --no-search / --no-browser või ühenda kohaliku paigalduse asemel juba töötav eksemplar lippudega --external-search=URL / --external-browser=URL. Hääle-külgkorvid jäta vahele AIHUMMER_SKIP_* muutujatega. Semantiline manustaja on osalemiseks (--with-embedder): see tõmbab PyTorchi (sadu MB), ja ilma selleta langeb mälu tagasi leksikaalse otsingu peale. Vaata Paigaldus.
[!NOTE] Node.js (versioon 20 või uuem) tuleb samuti kaasa paigaldaja komplektis ja paigaldatakse võrguühenduseta, nii et Node.js pistikprogrammid — AiHummeri rakendus, pocket-agent ja kanalikonnektorid — töötavad karbist välja isegi distributsioonidel, mille enda Node.js on liiga vana.
LLM-i pakkujad
AiHummeri kasutamiseks ei ole kunagi vaja tasulist mudelit. See töötab kohe tasuta/kohalike mudelite ja Codex/ChatGPT-tellimuse transporti kasutades; iga üürniku BYOK-võtmed on rangelt valikulised.
Toetatud teenusepakkujad:
- Antrupotiline.
- OpenAI.
- Ükskõik milline OpenAI-API standardne lõpp-punkt — kohalikud mudeliserverid, OpenRouter või Näiteks Gemini OpenAI-ühilduv lõpp-punkt.
- Codex / ChatGPT-tellimuse transport — juhtida mudelit läbi ChatGPT tellimus, mitte arveldatud API-võti.
[!TIP] Kui käivitad värava mudelita ühendamata (
AIHUMMER_LLM_PROVIDER/AIHUMMER_LLM_MODEL/AIHUMMER_LLM_GATEWAY_URL), vastused tulevad deterministlikust pilkama nii et saate kanaleid kinnitada ja ühenduse loomise eelne marsruutimine reaalse mudeliga.
[!NOTE] AiHummer paljastab ainult OpenAI-ga ühilduva
POST /v1/chat/completionslõpp-punkt. Seal on ei/v1/modelsvõi/v1/embeddingsHTTP lõpp-punkt ja vaadeldavus on OTLP-push (ilma Prometheuseta)/metrics).
Kuhu järgmine
- Valmis juurutamiseks? Mine aadressile Paigaldus.
- Tahad esimese jooksu sammu-sammult läbi käia? Vaata Kiirjuhend.
- Tahad esmalt vaimset mudelit? Loe seda Sissejuhatus.