IA generativa en sus propias GPU, dentro de su propio perímetro

Enviar datos de clientes, de pagos o internos en un prompt a un servicio alojado en el extranjero es procesar esos datos fuera de Nigeria, que es precisamente lo que la directiva pretende evitar. Que un uso concreto esté en el alcance depende de los datos implicados. Ejecutar el modelo en su propia infraestructura elimina la cuestión por completo. Esto no es asesoramiento legal; confirme la interpretación con su función de cumplimiento.

Para asistentes con recuperación aumentada, procesamiento documental, clasificación y resumen, los modelos de pesos abiertos actuales en el rango de 8B a 70B rinden al nivel requerido, y lo medimos sobre su propio conjunto de evaluación antes de comprometernos. Para scoring y detección de anomalías, los modelos son suyos y nunca dependieron de un LLM alojado. Donde un modelo alojado es realmente mejor, la diferencia suele ser menor que el coste de cumplimiento.

Un asistente privado para unos cientos de usuarios funciona con holgura en dos a cuatro GPU de centro de datos con un modelo cuantizado de 8B a 32B. Modelos mayores o miles de usuarios necesitan más; el scoring de fraude en Triton a menudo no necesita ninguna y funciona en CPU. Dimensionamos a partir del rendimiento de tokens medido y los objetivos de latencia, no de reglas generales, y MIG permite que una GPU sirva varias cargas pequeñas.

Los pesos, imágenes y parches nuevos se descargan en un host de staging conectado, se verifican por hash, se escanean y se firman, y después se transfieren en soportes cifrados al enclave, donde las firmas se comprueban de nuevo antes del registro. Cada importación queda registrada con quién la hizo y cuándo. Con cadencia mensual se convierte en rutina.

Cada modelo del registro lleva una ficha con su licencia, descripción de los datos de entrenamiento, resultados de evaluación y aprobador. Cada inferencia lleva la versión del modelo, y los prompts y respuestas se registran en un índice de auditoría. Para los modelos de scoring se generan informes de importancia de características y de deriva para la función de riesgo de modelo.

Los ingenieros de NuxFamily prestan el soporte directamente sobre los servidores de inferencia, la pila GPU, el índice vectorial y los componentes de MLOps, desde la primera respuesta hasta la causa raíz. La cobertura incluye parches de seguridad, gestión de versiones, actualizaciones controladas de modelos y, en el nivel Mission Critical, un ingeniero designado y acompañamiento en inspecciones del CBN y auditorías de gobierno de modelos. Los términos exactos del SLA se recogen en el contrato de soporte.

Sí. El mismo pool de GPU admite fine-tuning eficiente en parámetros (LoRA) para clasificación, extracción y estilo de dominio, con seguimiento en MLflow. Recomendamos empezar por la recuperación y el diseño de prompts, que resuelven la mayoría de los casos de uso de asistente, y hacer fine-tuning solo donde una evaluación muestre una mejora medible.