En el host Proxmox existente aún hay capacidad para un servicio de IA. ¿Basta con instalar una tarjeta gráfica y crear una máquina virtual? Puede ser una solución razonable si la asignación de GPU, los recursos del host y el mantenimiento se planifican juntos.
En passthrough, una GPU física pertenece a una VM
El passthrough PCIe da a una máquina virtual el control de un dispositivo físico. La VM de IA utiliza la GPU mediante su propio controlador invitado. Durante esa asignación, el host y las demás VM no pueden utilizar simultáneamente la misma tarjeta para sus propios cálculos.
Dentro de la VM de IA, un servicio de modelos compartido puede procesar varias solicitudes. Esto es distinto de repartir la tarjeta entre varias VM. La idoneidad de una solución vGPU separada depende también de la GPU, el hipervisor, los controladores, las configuraciones admitidas y las licencias.
Una VM ofrece un entorno de sistema claramente asignado: sistema operativo, servidor de modelos y datos necesarios pueden administrarse juntos. La GPU sigue siendo un dispositivo físico con requisitos propios.
Comprobar toda la cadena de hardware antes de instalar
La documentación de Proxmox exige compatibilidad con IOMMU, incluida la reasignación de interrupciones. CPU, placa base, firmware y compatibilidad con Linux deben encajar. La sola indicación VT-d o AMD-Vi no sustituye esta comprobación.
También importa el grupo IOMMU de la ranura elegida. La GPU y sus funciones asociadas deben estar adecuadamente separadas de otros dispositivos necesarios. La documentación Linux VFIO explica por qué el grupo constituye el límite de asignación y aislamiento. Otra ranura puede dar lugar a una agrupación diferente.
También se comprueban espacio, conexión eléctrica PCIe, alimentación y refrigeración. En el invitado hacen falta un controlador GPU adecuado y compatibilidad del servicio de modelos. Para passthrough de GPU, Proxmox suele recomendar q35 con OVMF/UEFI y PCIe; el firmware de la tarjeta también debe ser compatible. La configuración concreta depende del hardware utilizado.
La capacidad disponible es un presupuesto compartido
El ejemplo de planificación parte de un host de virtualización existente con aplicaciones empresariales y una VM de IA adicional. Tiempo de CPU, memoria, almacenamiento y red siguen siendo recursos compartidos. Una importación de documentos sin límites o el arranque de un modelo no deben ralentizar inesperadamente las otras aplicaciones.
Por eso se asignan a la VM una configuración comprensible y límites de carga. Memoria gráfica, longitud de contexto y solicitudes simultáneas se prueban juntas. Asignar más RAM a la VM no aumenta la VRAM física de la tarjeta. Descargar trabajo en la CPU puede cambiar el comportamiento y requiere una medición específica.
Para comparar de forma justa se registran versión del modelo, entradas, contexto y concurrencia. Se evalúan calidad, primera respuesta, salida posterior, espera e impacto en las otras VM. Un porcentaje genérico de sobrecarga de virtualización sería poco útil sin esa prueba concreta.
VM o máquina dedicada: ¿qué cambia en la operación?
| Pregunta | VM de IA con passthrough de GPU | Servidor de IA dedicado |
|---|---|---|
| Recursos | GPU asignada de forma fija; coordinar los demás recursos del host con las VM existentes. | Los recursos de cálculo y memoria están disponibles para el sistema propio. |
| Mantenimiento | Planificar juntos controladores invitados, operación de modelos y actualizaciones de Proxmox/host. | Sistema operativo y modelos en un ámbito de mantenimiento separado. |
| Cambio de host | Los dispositivos PCI asignados directamente impiden la migración en vivo habitual. Para trasladar una VM detenida, comprobar hardware de destino y asignación adecuados. | Traslado o sustitución mediante una recuperación preparada en otro hardware. |
| Copia de seguridad | Considerar juntos discos de VM, coherencia de aplicaciones, configuración y asignación de dispositivos. | Organizar por separado datos del sistema/aplicaciones y restauración. |
| Esfuerzo | Puede aprovecharse la infraestructura existente; incluir integración y dependencias adicionales del host. | Prever hardware propio y recursos del emplazamiento, con mantenimiento más claramente separado. |
Un clúster existente no hace que una VM de IA vinculada a hardware físico pueda trasladarse automáticamente sin interrupción. Reiniciarla en otro nodo exige recursos GPU compatibles, una asignación válida y un procedimiento realmente probado. Los requisitos del servicio determinan si esa preparación basta o conviene otro nodo de servicio.
Una restauración debe demostrar algo más que el arranque de la VM
Una copia del disco virtual no contiene el estado en ejecución de la tarjeta gráfica física. Por eso, al restaurar se comprueban también versiones de modelos, configuración, permisos de datos y nueva asignación del dispositivo. Una instantánea en el mismo host no sustituye una copia de seguridad separada.
La aceptación incluye un reinicio normal de la VM, un reinicio del host, un cambio de controlador/kernel en la ventana de mantenimiento prevista y una restauración planificada. Después se comprueban una solicitud real al modelo y las demás aplicaciones. Así se ve si el dispositivo vuelve a estar disponible correctamente tras reiniciar.
Un acelerador usado solo para cálculo no necesita un monitor conectado a la GPU. La consola Proxmox no muestra sin más la imagen de una GPU en passthrough. El servicio de IA se utiliza mediante su interfaz o API prevista.
Respaldar la decisión con un piloto limitado
DAXS aclara primero tarea, host existente, alcance de uso e interrupción aceptable. Un piloto limitado prueba después asignación del dispositivo, calidad funcional e impacto operativo. Según el resultado, pueden ser adecuados una VM, una máquina propia o un servicio externo.
La visión de Proxmox para empresas explica la elección general de plataforma. La página sobre infraestructura LLM local y el piloto de pruebas de carga profundizan en el dimensionamiento. Para el servicio compartido, el artículo sobre Ollama y Open WebUI complementa la arquitectura.
Comentar el modelo operativo de IA y la infraestructura existente.
Fuentes: Proxmox: passthrough PCIe (enlace externo) · Proxmox: migración de máquinas virtuales (enlace externo) · Linux: VFIO y grupos IOMMU (enlace externo) · NVIDIA: matriz de compatibilidad vGPU (enlace externo) · Ollama: compatibilidad de hardware (enlace externo).
