Vlastní model v cloudu

Od verze v0.89-beta si správce hostované instance (KB Cloud Lite, Pro i AI Agent) může v Správě organizace připojit vlastní model: AI asistent pak nemyslí na naší AI, ale na službě, kterou zadáte vy — typicky na vašem počítači s grafickou kartou doma nebo ve firmě, nebo u poskytovatele podle vašeho výběru (OpenAI, OpenRouter nebo jakékoli jiné OpenAI-kompatibilní API — pak stačí jejich adresa a váš API klíč, žádný tunel).

Co z toho máte:

• Váš hardware, odkudkoliv. Doma zapnete počítač s modelem, přihlásíte se do killBottlenecku z kanceláře, z vlaku nebo z mobilu — a asistent myslí na vašem stroji.
• Tahy bez kvóty. Tahy na vlastním modelu se do týdenní kvóty tarifu nepočítají. Výkon platíte vy (elektřina, nebo účet u poskytovatele), proto za ně nic neúčtujeme.
• Vaše data jdou tam, kam řeknete. Text rozhovorů asistenta a výtahy z map odcházejí na adresu, kterou zadáte — ne k nám ani k našemu dodavateli AI.

Co zůstává na naší AI i s vlastním modelem (a čerpá kvótu): čtení fotek v asistentovi a přepis hlasovek. Obrázky přes vlastní model přijdou v další verzi.

Co potřebujete

1. Model s OpenAI-kompatibilním API (adresa obvykle končí /v1). Doma to je nejčastěji llama.cpp llama-server nebo Ollama (ta OpenAI tvar umí na /v1); u poskytovatele dostanete adresu, název modelu a klíč.
2. Veřejnou adresu s HTTPS, na kterou náš server dosáhne. Adresy ve vaší síti (192.168.…, 10.…), localhost ani adresy Tailscale (100.x) z cloudu nejdou — náš server je vidět nesmí (chrání to ostatní zákazníky na sdíleném stroji). Řešení je tunel, viz níže.
3. Klíč u modelu. Model na internetu bez klíče = kdokoli vám na něm může počítat. Zapněte ho (llama-server --api-key …) a stejný klíč zadejte v killBottlenecku.

Bezpečné zpřístupnění domácího počítače

Podrobný návod krok za krokem

Instalace llama.cpp, klíč, tunel, autostart a bezpečnostní desatero pro Windows, Mac i Linux: Model doma na PC.

Nikdy neotvírejte port modelu rovnou do internetu

Přesměrování portu na routeru vystaví model (a často i zbytek vašeho počítače) celému světu bez šifrování. Použijte jednu z cest níže — všechny dají HTTPS zdarma a nevyžadují žádný otevřený port.

A) Cloudflare Tunnel (nejjednodušší na vyzkoušení)

# 1) model s klíčem, jen na místní adrese
llama-server -m model.gguf --port 8080 --host 127.0.0.1 --api-key MUJ-TAJNY-KLIC

# 2) tunel — vypíše veřejnou adresu https://…trycloudflare.com
cloudflared tunnel --url http://127.0.0.1:8080

Adresa z rychlého tunelu se mění při každém spuštění; pro trvalý provoz si založte pojmenovaný tunel na vlastní doméně (zdarma, návod u Cloudflare).

B) Tailscale Funnel — máte-li Tailscale, tailscale funnel 8080 vystaví port na veřejnou adresu https://pocitac.tailnet.ts.net. Pozor: samotná adresa v tailnetu (100.x) z cloudu nejde, Funnel ano.

C) Vlastní reverse proxy (Caddy, nginx) na veřejném serveru s HTTPS a kontrolou klíče. Pro Ollamu, která vlastní klíč nemá, je proxy s kontrolou hlavičky Authorization jediná správná cesta.

Nastavení v killBottlenecku

killbottleneck.com

Sekce Vlastní model nebo API klíč je jen na hostované instanci — hned nad AI kredity.

1. Správa organizace → Vlastní model nebo API klíč.
2. Vyplňte adresu API (např. https://moje-gpu.example.com/v1), model (přesný název u vaší služby, např. gpt-oss:20b) a případně API klíč. U poskytovatele: OpenAI = https://api.openai.com/v1 + klíč sk-…, OpenRouter = https://openrouter.ai/api/v1 + název modelu v jejich tvaru (např. openai/gpt-4.1-mini) + klíč sk-or-….
3. Otestovat připojení — killBottleneck zavolá /models a krátký dotaz na chat. Dokud test neprojde, hledejte chybu v tunelu nebo v názvu modelu, ne v killBottlenecku.
4. Zapněte přepínač Asistent používá váš vlastní model a Uložit. Od té chvíle jde každý tah asistenta na váš model; v sekci AI kredity vidíte, že se tahy nepočítají.

Klíč se nikdy nevrací do prohlížeče a v databázi instance leží šifrovaný. Odchází jen na adresu, kterou jste zadali — když adresu změníte na jinou službu a nový klíč nevyplníte, starý se smaže (na cizí službu by odejít nesměl).

Pokročilé: pole navíc do každého volání (JSON), např. vypnutí přemýšlení u llama-serveru: {"chat_template_kwargs":{"enable_thinking":false}}.

Když vlastní model neodpovídá

Asistent řekne rovnou, že váš vlastní model neodpovídá — a nic potichu nepřepne na naši AI (vybrali jste si vlastní model záměrně). Zkontrolujte, že počítač běží, tunel je zapnutý a klíč sedí; nebo vlastní model v administraci vypněte a asistent se vrátí k naší AI s kvótou. Odpověď musí přijít do 100 s (tunely delší odpovědi utnou) — na slabém počítači volte menší model.

Které modely se osvědčily

Asistent volá nástroje (zakládá kroky, čte Můj den…), takže model musí umět tool calling. Ověřené: gpt-oss:20b (16 GB grafika), Qwen3.8 (27B, od 24 GB). Menší modely často odpoví, ale nástroje volají nespolehlivě. U cizího poskytovatele platí doporučení ze stránky konfigurace — uvažujícím modelům (gpt-5-, o4-) se vyhněte.

Co to znamená právně

Službu, na kterou vlastní model míří, si vybíráte vy a odpovídáte za ni vy — není to náš sub-zpracovatel. Náš závazek „AI vždy v EU, bez logů“ platí pro naši AI; u vlastního modelu záleží na tom, kam ho nasměrujete (domácí počítač = data neopouštějí váš dům). Přesné znění je ve VOP (čl. 9) a Zpracovatelské smlouvě (čl. 6.4).