Nicht nur für Maker: Project Nomad – Internet zum Mitnehmen (ohne Internet)
… Lokale KI / LLMs: Ollama-Modelle auswählen, GPU-Beschleunigung einrichten, Inferenz-Performance benchmarken – praktischer Einstieg in Edge-AI. …
Tracked topic
… Lokale KI / LLMs: Ollama-Modelle auswählen, GPU-Beschleunigung einrichten, Inferenz-Performance benchmarken – praktischer Einstieg in Edge-AI. …
… Und zwar installiert ihr Ollama, das gibt es für Linux, macOS und Windows. Und wenn das installiert ist, tippt ihr einfach „Ollama“ auf der Kommandozeile ein und dann wählt ihr aus „Launch Hermes-Agent install “ und dann fragt Ollama, welchen Provider ihr nehmen wollt, also welches LLM. …
… Dabei wird aus einer Linux-Maschine mit ordentlicher GPU ein KI-Server mit Open-Source-Software wie Ollama und Open WebUI. …
… Meta kündigt Unterstützung durch Ollama, LM Studio, Unsloth, llama.cpp, ExecuTorch, MLX, vLLM, SGLang sowie Hosting-Angebote von Together AI, Fireworks AI und OpenRouter an. …
… Letztere können lokal betriebene Modelle über Ollama, vLLM oder LM Studio einbinden. …
… Zur Not kann man sowas wie Distrobox benutzen, das hat bei mir mit Ollama ganz gut funktioniert. …