Ollama tarda mucho en la primera respuesta: mantener el modelo cargado

Tras unos minutos sin uso, la siguiente pregunta tarda mucho (p. ej. el asistente de voz de Home Assistant).

Por · revisada en · Nivel: Intermedio · Cómo verificamos

Por qué pasa (diagnóstico)

Solución paso a paso

  1. Para todo el servidor: OLLAMA_KEEP_ALIVE=-1 (siempre cargado) o una duración como 24h.
  2. Por petición: parámetro keep_alive en /api/generate o /api/chat.
  3. Precarga al arrancar: ollama run modelo "".
  4. Ten en cuenta que la memoria queda ocupada.

Requisitos

Compatibilidad

Verificación

Basado en la documentación oficial citada; aún no probado en este laboratorio.

Fuentes

Guías relacionadas

Más guías de IA local.

Abrir en Friki Labs →