8, 12, 16 o 24 GB de memoria gráfica ayudan en la selección inicial. La utilidad diaria de un modelo local también depende de su versión, del contexto y del uso simultáneo. Comparar la memoria evita compras inadecuadas.
Qué ocupa realmente la memoria gráfica
La planificación contempla tres áreas: los pesos del modelocargados, la memoria de contexto, incluida la caché KV y los búferes de ejecución del backend utilizado. Además, debe quedar espacio para otras aplicaciones GPU y una reserva operativa. En una tarjeta dedicada habitual, la RAM del sistema y la memoria gráfica son recursos distintos.
Los sistemas con memoria compartida tienen otro presupuesto: sistema operativo, aplicaciones y modelo usan el mismo fondo. También allí el piloto debe medir la memoria realmente disponible y la tarea real. La capacidad nominal no basta en ninguna de las dos arquitecturas.
4 bits: un cálculo útil con límites claros
La «B» de 7B o 70B significa miles de millones de parámetros. Una estimación de pesos con 4 bits uniformes es: número de parámetros × 4 ÷ 8 = bytes. La cuantización almacena los pesos con menor precisión. Su efecto en las respuestas debe comprobarse para cada tarea.
| Clase de modelo | Tamaño teórico a 4 bits | Qué implica |
|---|---|---|
| 7–8B | 3,5–4,0 GB ≈ 3,26–3,73 GiB | Punto de partida compacto para una primera prueba; deben añadirse el archivo concreto y el contexto. |
| 14B | 7,0 GB ≈ 6,52 GiB | El cálculo por sí solo no demuestra una ejecución completa en una tarjeta de 8 GB. |
| 32B | 16,0 GB ≈ 14,90 GiB | Incluso un presupuesto nominalmente suficiente para los pesos no deja espacio para el resto de la ejecución. |
| 70B | 35,0 GB ≈ 32,60 GiB | En este cálculo simplificado, los pesos ya superan una sola tarjeta de 24 GB. |
Un GGUF concreto es mayor o tiene otra composición. Métodos como Q4_K_M no almacenan todos sus componentes simplemente a cuatro bits por parámetro. Por eso, la planificación debe indicar el archivo exacto del modelo y su variante de cuantización prevista.
Ejemplo verificable de los directorios oficiales Qwen: las partes Q4_K_M sumadas de Qwen2.5-Instruct ocupan para 7B aproximadamente 4,68 GB / 4,36 GiB, para 14B 8,99 GB / 8,37 GiB y para 32B 19,85 GB / 18,49 GiB. Son tamaños de archivo, no consumos VRAM medidos. Muestran por qué «32B a 4 bits cabe en 16 GB» no es una promesa fiable para esta versión.
Cómo valorar 8, 12, 16 o 24 GB
| Clase de capacidad | Ámbito útil de prueba | Aspectos importantes |
|---|---|---|
| 8 GB | Versión compacta de 7–8B y contexto limitado como punto de partida. | Otros usos de GPU y entradas largas pueden reducir rápidamente el margen. |
| 12 GB | Más margen para modelos compactos; probar una cuantización concreta de 14B. | Pesos, caché KV y búferes deben caber juntos en la memoria libre. |
| 16 GB | Reserva adicional para versiones adecuadas de modelos pequeños y medianos. | El Qwen2.5-32B-Q4_K_M citado ya supera esta clase como archivo completo. |
| 24 GB | Una cuantización adecuada de 32B puede entrar en la selección. | También deben probarse el contexto largo y las solicitudes paralelas. Esto no implica compatibilidad con 70B. |
Compruebe la unidad de la herramienta y la memoria libre . Dos tarjetas con igual capacidad pueden diferir mucho en ancho de banda, potencia, controladores y consumo. Más GB no equivalen a una validación del modelo ni a un benchmark.
El contexto y la simultaneidad deben formar parte de la prueba
La caché KV conserva valores intermedios necesarios para procesar. Su tamaño depende, entre otros factores, de la arquitectura, la longitud del contexto y el formato de almacenamiento. Los documentos largos, los historiales de chat y los extractos de conocimiento requieren espacio. La ventana máxima anunciada no es memoria utilizable sin coste.
Una prueba individual satisfactoria dice poco sobre solicitudes simultáneas. En Ollama, procesar contextos en paralelo aumenta la memoria ocupada; registre la configuración exacta. Pruebe una petición corta, un contexto realista más largo y la concurrencia esperada. Evalúe conjuntamente calidad, tiempo al primer token, duración total, errores y pico de memoria.
Un formato KV menor o cuantizado puede ahorrar memoria según el motor y el backend. También puede afectar a la precisión y al comportamiento. La cuantización de pesos y la de KV son ajustes distintos; compárelos con los mismos casos de prueba profesionales.
Descargar trabajo en CPU y RAM: posible, con otro comportamiento
Motores como llama.cpp admiten repartir la ejecución entre CPU y GPU. Así puede utilizarse un modelo cuyo requisito total supere la memoria gráfica. Se necesitan RAM suficiente y una ruta de datos adecuada. Un SSD no convierte la VRAM que falta en memoria gráfica igual de rápida.
El offloading cambia la ruta de ejecución y, a menudo, el tiempo de respuesta; sin medir no puede cuantificarse su efecto seriamente. En Ollama, ollama psayuda a comprobar el reparto CPU/GPU actual. Varias GPU tampoco equivalen automáticamente a un único dispositivo grande: compatibilidad, reparto y transferencias entre tarjetas deben revisarse en la arquitectura.
Antes de comprar: validar una configuración concreta
- Definir el modelo: versión exacta, cuantización, licencia y calidad deseada.
- Definir la carga: presupuesto de contexto, longitud de entrada/salida y solicitudes simultáneas.
- Comprobar el entorno: GPU concreta, backend, controladores, sistema, RAM, refrigeración y alimentación.
- Medir: capacidad libre, consumo máximo, tiempos y errores de contenido en un piloto representativo.
- Decidir: reutilizar hardware, ampliarlo de forma dirigida o elegir un servicio local, externo o híbrido.
DAXS integra la selección de modelo y hardware en su TI existente y en la operación acordada. La página especializada LLM locales e infraestructuradescribe el marco. El artículo sobre el piloto de carga para IA local muestra la evaluación con tareas realistas; Costes y selección del modelo analiza la parte económica.
Hablar sobre la elección de modelo y hardware
Fuentes: Ollama: longitud del contexto (enlace externo) · Ollama: memoria, concurrencia y offloading (enlace externo) · llama.cpp: rutas de ejecución (enlace externo) · Hugging Face: GGUF (enlace externo) · directorios oficiales de archivos Qwen 7B (enlace externo), 14B (enlace externo), 32B (enlace externo). Orientación para inferencia; no es una prueba de entrenamiento, una oferta de hardware ni una supuesta medición de cliente.
