inferctl
Panel w terminalu do modeli na serwerach GPU: flota na żywo, deploy przez playbooki Ansible, kontenery i czat z wdrożonym modelem. Pracuje na repozytorium IaC, czyli na tych samych playbookach, modułach Terraform i profilach, z których stawiamy infrastrukturę. Cztery widoki, cztery krótkie pętle.
Flota serwerów na żywo
Serwer GPU w jednym oknie terminala: obciążenie każdej karty NVIDIA Blackwell w procentach, kontenery z portami i czasem działania, wykrywanie crash-loopów. Auto-odświeżanie co 5 s, bez wychodzenia z terminala.
Deploy w jednym formularzu
Profil z repozytorium IaC wypełnia formularz, model wybierasz z NFS, opcje vLLM to checkboxy. Podgląd składa komendę ansible-playbook na żywo, więc przed startem widać dokładnie, co pójdzie na serwer.
Ansible w akcji
Deploy to zwykły playbook Ansible z tego samego repozytorium infrastruktury, w którym żyją moduły Terraform i inwentarz serwerów. Log PLAY i TASK leci obok stanu GPU, a health check kończy wdrożenie odpowiedzią 200 OK.
Porozmawiaj z modelem
Czat z wdrożonym modelem przez API zgodne z OpenAI, bez wychodzenia z terminala. Blok Think pokazuje rozumowanie, wywołania narzędzi pojawiają się po kolei, a licznik tok/s mierzy strumień na żywo.
