Pulsar
Au hasard Rechercher EN English

LLMKube

Self-hostedOpen sourceIAIntelligence artificielle

Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.

Capture d’écran de LLMKube
Images : source du projet

246 étoiles

Site Code source

Licence
Apache-2.0
Plateformes
Go, Docker, K8S
Thèmes
Generative Artificial Intelligence (GenAI)
Version
v0.10.12 · 27 octobre 2026
Dernière activité
28 octobre 2026
Repéré sur
awesome-selfhosted