Ollama «olvida» lo que le has dicho: ampliar el contexto
Con textos largos o conversaciones extensas, el modelo ignora la primera parte.
Por qué pasa (diagnóstico)
- Ollama usa por defecto una ventana de contexto limitada (4096 tokens según su FAQ).
- Más contexto = más memoria necesaria.
Solución paso a paso
- Para todo el servidor: variable
OLLAMA_CONTEXT_LENGTH=8192(en el servicio, como en la ficha de acceso en red). - Dentro de
ollama run:/set parameter num_ctx 8192. - Por API:
"options": {"num_ctx": 8192}. - Comprueba con
ollama psque el modelo sigue cabiendo en la GPU.
Requisitos
- RAM/VRAM suficiente
- Ollama
Compatibilidad
- Linux
- macOS
- Windows
Verificación
Basado en la documentación oficial citada; aún no probado en este laboratorio.
Fuentes
- Ollama — FAQ (tamaño de contexto) (en inglés)
Guías relacionadas
- Ollama no responde desde otro ordenador de la red
- Guardar los modelos de Ollama en otro disco
- Ollama no usa la GPU
- Usar Ollama (LLM local) como agente de conversación en Home Assistant
- ¿Mi tarjeta gráfica sirve para Ollama?
- Ollama tarda mucho en la primera respuesta: mantener el modelo cargado
Más guías de IA local.