Ollama tarda mucho en la primera respuesta: mantener el modelo cargado
Tras unos minutos sin uso, la siguiente pregunta tarda mucho (p. ej. el asistente de voz de Home Assistant).
Por qué pasa (diagnóstico)
- Ollama descarga el modelo de memoria tras 5 minutos sin uso, por defecto.
Solución paso a paso
- Para todo el servidor:
OLLAMA_KEEP_ALIVE=-1(siempre cargado) o una duración como24h. - Por petición: parámetro
keep_aliveen/api/generateo/api/chat. - Precarga al arrancar:
ollama run modelo "". - Ten en cuenta que la memoria queda ocupada.
Requisitos
- RAM/VRAM suficiente
- Ollama
Compatibilidad
- Linux
- macOS
- Windows
Verificación
Basado en la documentación oficial citada; aún no probado en este laboratorio.
Fuentes
- Ollama — FAQ (keep_alive) (en inglés)
Guías relacionadas
- Ollama no usa la GPU
- ¿Mi tarjeta gráfica sirve para Ollama?
- Usar Ollama (LLM local) como agente de conversación en Home Assistant
- Ollama no responde desde otro ordenador de la red
- Ollama «olvida» lo que le has dicho: ampliar el contexto
- Guardar los modelos de Ollama en otro disco
Más guías de IA local.