BYOK और LLM प्रदाता — AiHummer डॉक्स

AiHummer को कभी भी भुगतान किए गए मॉडल की आवश्यकता नहीं होती है। बॉक्स से बाहर यह मुफ्त और स्थानीय मॉडलों और एक Codex/ChatGPT-सदस्यता परिवहन पर चलता है, और यदि कोई मॉडल बिल्कुल भी जुड़ा नहीं है तो रनटाइम एक निर्धारक मॉक पर वापस चला जाता है ताकि प्लेटफ़ॉर्म अभी भी शुरू हो और परीक्षण योग्य रहे। जब आप किसी विशिष्ट मॉडल की इच्छा रखते हैं, तो आप इसे स्वयं लाते हैं — या तो एक प्रक्रिया-व्यापी कॉन्फ़िगरेशन के रूप में या, प्रति किरायेदार, के साथ बीवायओके (अपनी कुंजी स्वयं लाएं)।

समर्थित LLM प्रदाता

AiHummer किसी भी प्रदाता से मूल रूप से बात करता है जो OpenAI-शैली के चैट API को उजागर करता है, एक बाहरी LLM गेटवे के माध्यम से अन्य प्रदाताओं तक पहुंचता है, और ChatGPT-सब्सक्रिप्शन ट्रांसपोर्ट का समर्थन करता है। व्यावहारिक रूप में यह शामिल करता है:

प्रदाता	यह कैसे जुड़ता है	नोट्स
ओपनएआई	नेटिव OpenAI-संगत पथ (`AIHUMMER_OPENAI_*`)
कोई भी OpenAI-API-मानक एंडपॉइंट	वही मूल पथ: `AIHUMMER_OPENAI_BASE_URL`	स्थानीय मॉडल, ओपनराउटर, जेमिनी का OpenAI-अनुकूल एपीआई, आदि।
मानवजन्य	वेब-यूआई मानवजन्य प्रिसेट (OpenAI-संगत) या LLM गेटवे के माध्यम से (`AIHUMMER_LLM_*`)	क्लॉड मॉडल; इसे ब्रांडेड प्रदाता पिकर से जोड़ें, या साइडकार गेटवे को कुंजी रखने दें
कोडेक्स / चैटजीपीटी-सदस्यता परिवहन	सदस्यता-आधारित परिवहन (`AIHUMMER_CODEX_*`)	मापी गई API कुंजी के बजाय ChatGPT सदस्यता का उपयोग करता है

[!WARNING] कोई भी पेड मॉडल एपीआई कभी अनिवार्य नहीं है। AiHummer मुफ्त/स्थानीय मॉडल पर काम करता है और कोडेक्स/चैटजीपीटी-सदस्यता परिवहन, और यदि कोई मॉडल कॉन्फ़िगर नहीं किया गया है तो रनटाइम एक निर्धारक नकली का उपयोग करता है — गेटवे अभी भी शुरू होता है और प्रतिक्रिया करता है। BYOK और भुगतान किए गए कुंजी पूरी तरह से वैकल्पिक हैं।

सेटिंग्स के साथ एक मॉडल को वायर करना

एलएलएम कुंजियाँ हैं सेटिंग्स-कैटलॉग नॉब्स (डेटाबेस में संग्रहीत): उन्हें एडमिन UI (प्रबंधन → सेटिंग्स) में सेट करें या के साथ aihummer settings setमें नहीं gateway.env. वहाँ हैं दो स्वतंत्र वायरिंग पथ — उनके वेरिएबल्स को मिलाएँ नहीं।

(a) नेटिव OpenAI-संगत पथ। गेटवे स्वयं एक OpenAI-संगत एंडपॉइंट को कॉल करता है और स्वयं कुंजी पास करता है:

aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini

सही वही रास्ता एक स्थानीय OpenAI-संगत सर्वर, OpenRouter या Gemini के OpenAI-संगत एन्डपॉइंट के लिए काम करता है — बस इंगित करें AIHUMMER_OPENAI_BASE_URL इस पर।

(b) LLM-गेटवे पथ। AIHUMMER_LLM_GATEWAY_URL एक OpenAI-संगत एंडपॉइंट का बेस URL है — यह वही सेटिंग है जो में दिखाई जाती है कॉन्फ़िगरेशन. इसे एक गेटवे साइडकार की ओर इशारा करें जो स्वयं प्रदाता कुंजियों को रखता है (कोई API कुंजी AiHummer के माध्यम से नहीं जाती), या सीधे किसी प्रदाता के OpenAI-संगत API पर (जिस मामले में आप उस प्रदाता की कुंजी भी प्रदान करते हैं)। यह मूल से अलग है AIHUMMER_OPENAI_BASE_URL पथ (a) में:

aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5

[!WARNING] पथ मिलते नहीं हैं: जोड़ी बनाना AIHUMMER_LLM_GATEWAY_URL के साथ AIHUMMER_OPENAI_API_KEY कुछ नहीं करता — कोई कुंजी गेटवे पर अग्रेषित नहीं की जाती पथ; साइडकार अपनी ही कुंजी का उपयोग करता है।

यदि कोई भी पथ कॉन्फ़िगर नहीं किया गया है, तो निर्धारक मॉक का उपयोग किया जाता है।

BYOK: प्रति-किरायेदार कुंजियाँ

जहाँ पर्यावरण चर एक एकल प्रक्रिया-व्यापक मॉडल को कॉन्फ़िगर करते हैं, बीवायओके आइए प्रत्येक किरायेदार अपनी खुद की LLM क्रेडेंशियल्स प्रदान करें। BYOK कुंजियाँ एडमिन API से प्रबंधित की जाती हैं:

GET  /v1/admin/byok
POST /v1/admin/byok

BYOK कुंजियाँ एन्क्रिप्टेड वॉल्ट में संग्रहीत की जाती हैं, ठीक वैसे ही जैसे हर अन्य प्रमाणपत्र — उन्हें कभी भी लॉग में नहीं लिखा जाता या मॉडल संदर्भ में प्रकट नहीं किया जाता। यही वह चीज़ है जो एक मल्टीटेनेंट डिप्लॉयमेंट को हर ग्राहक के मॉडल बिलिंग और कुंजी सामग्री को पूरी तरह से अलग रखने देती है।

साझा सेटिंग्स और BYOK के बीच चयन करना

का उपयोग करें AIHUMMER_OPENAI_* / AIHUMMER_LLM_* सेटिंग्स के लिए सिंगल-टेनेंट या डिफ़ॉल्ट मॉडल जिसे पूरे गेटवे को उपयोग करना चाहिए।
उपयोग करें बीवायओके जब विभिन्न किरायेदारों को विभिन्न कुंजी का उपयोग करना आवश्यक हो, अलग प्रदाता, या अलग से बिल किया जाना — प्रति-किरायेदार कुंजी डिफ़ॉल्ट को ओवरराइड करती है उस किरायेदार के लिए।

[!TIP] क्योंकि कोई भी OpenAI-API-मानक एंडपॉइंट स्वीकार किया जाता है, आप इशारा कर सकते हैं AIHUMMER_OPENAI_BASE_URL एक स्थानीय मॉडल सर्वर, ओपनराउटर, या जेमिनी पर AiHummer में कुछ भी बदले बिना OpenAI-संगत एंडपॉइंट।

यह शेष एक्सेस मॉडल से कैसे संबंधित है

BYOK कुंजियाँ मॉडल प्रमाणपत्र हैं और उसी एन्क्रिप्टेड वॉल्ट में रहती हैं जैसे संबंध और साझा/व्यक्तिगत रहस्य। अंतर का दायरा है: BYOK यह उत्तर देता है कि यह ग्राहक कौन सा मॉडल और कुंजी इस्तेमाल करता है, जबकि व्यक्तिगत बनाम साझा स्कोप उत्तर जिन क्रेडेंशियल्स के साथ किसी दिए गए टूल कॉल को चलाया जाता है।

अगला कहाँ

व्यक्तिगत बनाम साझा प्रमाण पत्र
कनेक्शन (प्रति-उपयोगकर्ता OAuth2)
परिचय — बिना भुगतान वाले मॉडल संदर्भ में सिद्धांत।