Model doma na PC

Tahle stránka je praktický návod k Vlastnímu modelu v cloudu: jak na vašem počítači s grafickou kartou rozjet model tak, aby na něj asistent v killBottlenecku dosáhl odkudkoliv — a aby se k němu zároveň nedostal nikdo jiný. Programovat nemusíte, jsou to tři příkazy. Počítejte s hodinou včetně stažení modelu.

Co bude na konci fungovat

Na PC běží model, který poslouchá jen sám pro sebe (na místní adrese) a chce klíč. Tunel mu dá veřejnou adresu s HTTPS. Tu adresu, název modelu a klíč zadáte v killBottlenecku — a asistent myslí doma, i když jste v kanceláři nebo s mobilem v autě. Tahy se nepočítají do kvóty, data neopouštějí váš dům.

Co budete potřebovat

• Grafickou kartu s 16 GB paměti (např. NVIDIA RTX 4060 Ti/5060 Ti 16 GB, RTX 3090/4090) pro model gpt-oss-20b, který máme s asistentem ověřený. S 24 GB jde i Qwen3.8 (27B). Karty s 8 GB rozjedou jen menší modely, a ty nástroje asistenta volají nespolehlivě.
• Windows 10/11, Linux nebo Mac a zhruba 15 GB volného místa na disku.
• Běžné internetové připojení. Asistent posílá krátké texty a dostává krátké odpovědi, rychlost linky nehraje roli; počítač ale musí být zapnutý, kdykoliv asistenta používáte.

Krok 1 — nainstalujte llama.cpp

llama.cpp je program, který model spouští a nabízí ho v OpenAI tvaru. Potřebujete z něj jen llama-server.

• Windows: v Releases stáhněte poslední balíček …-bin-win-cuda-x64.zip (NVIDIA; k němu i cudart-… z téhož vydání) nebo …-bin-win-vulkan-x64.zip (AMD, Intel) a rozbalte např. do C:\llama.
• Mac: brew install llama.cpp.
• Linux: balíček z Releases (…-bin-ubuntu-x64.zip) nebo sestavení podle README projektu.

Krok 2 — vymyslete klíč

Klíč je heslo, kterým se killBottleneck modelu prokazuje. Bez něj by na vaší grafice mohl počítat kdokoliv, kdo adresu uhodne. Udělejte si dlouhý náhodný:

# Windows (PowerShell)
-join ((48..57)+(65..90)+(97..122) | Get-Random -Count 32 | ForEach-Object {[char]$_})

# Mac / Linux
openssl rand -hex 16

Výsledek si uložte do správce hesel — budete ho zadávat na dvou místech (u modelu a v killBottlenecku) a nikam jinam nepatří.

Krok 3 — spusťte model s klíčem

V terminálu (Windows: PowerShell ve složce s llama-server.exe):

llama-server -hf ggml-org/gpt-oss-20b-GGUF --alias gpt-oss-20b \
  --host 127.0.0.1 --port 8080 --api-key MUJ-TAJNY-KLIC -c 16384 -ngl 99

Co které části znamenají:

část	proč
-hf ggml-org/gpt-oss-20b-GGUF	model se při prvním spuštění sám stáhne (~12 GB, chvíli to trvá)
--alias gpt-oss-20b	název, pod kterým model uvidí killBottleneck — ten zadáte do pole Model
--host 127.0.0.1	poslouchá jen sám pro sebe — nikdo v síti ani na internetu ho nevidí
--api-key MUJ-TAJNY-KLIC	sem patří klíč z kroku 2
-c 16384	délka paměti rozhovoru; asistent posílá i výtahy z map, méně než 16 tisíc nedávejte
-ngl 99	celý model na grafiku (bez toho počítá procesor a odpovědi trvají minuty)

killbottleneck.com

Správně nastartovaný model: 25/25 vrstev na grafice a poslouchá jen na 127.0.0.1.

Až se objeví řádek server is listening on http://127.0.0.1:8080, otevřete v prohlížeči http://127.0.0.1:8080. Uvidíte rozhraní llama.cpp, které chce klíč — to je v pořádku, přesně tak se má chovat i vůči komukoliv dalšímu.

Krok 4 — dejte modelu veřejnou adresu (tunel)

Nikdy neotvírejte port 8080 na routeru

„Přesměrování portu“ vystaví model celému internetu bez šifrování a bez ochrany routeru. Tunel dělá opak: ven jde jen odchozí spojení z vašeho PC, žádný port se neotvírá, HTTPS je zdarma a vidět je jen ten jeden program.

A) Cloudflare Tunnel — na vyzkoušení (adresa se mění s každým spuštěním)

Nainstalujte cloudflared (Windows winget install Cloudflare.cloudflared, Mac brew install cloudflared, Linux balíček z návodu Cloudflare) a ve druhém okně terminálu spusťte:

cloudflared tunnel --url http://127.0.0.1:8080

killbottleneck.com

Adresa z rámečku je to, co zadáte do killBottlenecku (plus /v1).

B) Tailscale Funnel — natrvalo, zdarma (adresa zůstává stejná)

Máte-li Tailscale (zdarma pro domácí použití), stačí:

tailscale funnel --bg 8080

Dostanete stálou adresu ve tvaru https://nazev-pc.vas-tailnet.ts.net. Při prvním spuštění vás Tailscale pošle na stránku, kde Funnel pro tento počítač povolíte. Pozor: samotná adresa v tailnetu (100.x.y.z) z cloudu nejde — ta je soukromá; Funnel ano.

C) Vlastní doména natrvalo — v Cloudflare si založte pojmenovaný tunel (cloudflared tunnel create …, návod u Cloudflare); adresa pak je např. https://gpu.vase-domena.cz a přežije i restart.

Krok 5 — zadejte to do killBottlenecku

Správa organizace → Vlastní model nebo API klíč:

pole	co zadat
Adresa API	adresa z tunelu + /v1, např. https://quiet-maple-garden-example.trycloudflare.com/v1
Model	gpt-oss-20b (co jste dali do --alias)
API klíč	klíč z kroku 2

Klikněte Otestovat připojení — do pár sekund víte, jestli to sedí. Pak zapněte přepínač a Uložit. Celou obrazovku i význam polí popisuje Vlastní model v cloudu.

Pokročilé: gpt-oss umí „přemýšlet“, což odpověď zdržuje. Do pole navíc dejte {"chat_template_kwargs":{"reasoning_effort":"low"}} a asistent odpovídá rychleji.

Bezpečnostní desatero

1. Model poslouchá jen na 127.0.0.1 — nikdy 0.0.0.0.
2. Klíč vždy (--api-key), dlouhý a náhodný; stejný klíč nikde jinde.
3. Žádný otevřený port na routeru. Jen tunel.
4. Tunel vystavuje jen port 8080 — ne vaši plochu, soubory ani ostatní programy.
5. Klíč měníte? Změňte ho na obou místech naráz (u modelu i v killBottlenecku).
6. Když model nepoužíváte dny, tunel vypněte (Ctrl+C) — co neběží, nejde napadnout.
7. llama.cpp aktualizujte jako každý program (nové vydání = nový zip).
8. Adresu z tunelu nikam neposílejte — kdo ji zná a uhodne klíč, počítá na vaší grafice.
9. Zůstane-li vám adresa z rychlého tunelu v cizích rukou, nevadí: po restartu je jiná.
10. Co odchází z killBottlenecku ven, je text rozhovoru a výtahy z map — k vám domů. Fotky a hlasovky zůstávají na naší AI (viz Kam data odcházejí).

Aby to jelo samo

• Usínání vypnout. Windows: Nastavení → Napájení → Uspat: Nikdy (obrazovku zhasnout můžete). Uspaný počítač = asistent říká „model neodpovídá“.
• Spouštět po startu. Nejjednodušší je dávka start-model.cmd se dvěma řádky (llama-server … a cloudflared …) v Plánovači úloh „Při přihlášení“; na Linuxu dvě systemd služby (Restart=always).
• Stálá adresa. Rychlý tunel Cloudflare mění adresu při každém startu — pro trvalý provoz zvolte Tailscale Funnel nebo pojmenovaný tunel, jinak adresu v killBottlenecku přepisujete.
• Spotřeba. Grafika v klidu bere pár wattů; při odpovědi na pár sekund tolik co při hraní. Doma vyjde provoz na koruny denně — proto za tahy na vlastním modelu nic neúčtujeme.

Když to nejede

co vidíte	kde hledat
Test: nelze se připojit	tunel neběží, nebo chybí /v1 na konci adresy
Test: 401 / unauthorized	klíč v killBottlenecku se liší od --api-key
Test: model not found	název v poli Model ≠ --alias
asistent: model neodpovídá	PC usnul, tunel spadl, nebo odpověď trvá přes 100 s — zkuste reasoning_effort: low nebo menší model
odpovědi trvají minuty	model neběží na grafice — chybí -ngl 99, nebo se do paměti karty nevešel
asistent „nic neudělá“, jen povídá	model neumí volat nástroje — vraťte se ke gpt-oss-20b

Které modely se osvědčily

model	paměť grafiky	poznámka
gpt-oss-20b (ggml-org/gpt-oss-20b-GGUF)	16 GB	ověřený s asistentem, volá nástroje spolehlivě
Qwen3.8 27B	24 GB	ověřený, pomalejší start
modely do 8 GB	8 GB	odpoví, ale kroky a Můj den přes nástroje zakládají nespolehlivě

Chcete-li místo domácího PC použít poskytovatele (OpenAI, OpenRouter…), tunel nepotřebujete — stačí jejich adresa a klíč, viz Vlastní model v cloudu.