Caso de uso 01
Asistente privado sobre políticas y normativa
Un banco quiere un asistente interno que responda a las preguntas del personal sobre procedimientos, circulares del CBN y condiciones de producto, citando la fuente. Ninguno de los documentos puede salir de la red del banco.
Tecnologías
- LLM de pesos abiertos
- Servidor de inferencia GPU
- OpenSearch
- Apache Kafka
- Kubernetes
- MinIO
- OpenMetadata
Resultado esperado
El personal obtiene respuestas con fuente en segundos; el banco conserva cada documento, prompt y respuesta dentro de su propio perímetro.
Métrica: Respuestas ancladas en fuentes citadas, 0 llamadas externas
- 1Ingerir documentos. Políticas, circulares y manuales extraídos de los repositorios documentales con los permisos conservados por documento.
- 2Fragmentar y vectorizar. Texto dividido, vectorizado con un modelo de pesos abiertos y almacenado con metadatos para filtrado.
- 3Indexar para recuperación. Vectores y palabras clave indexados juntos; la búsqueda híbrida devuelve pasajes que el usuario está autorizado a ver.
- 4Generar con citas. Un LLM de pesos abiertos responde únicamente a partir de los pasajes recuperados y enlaza cada afirmación con su fuente.
- 5Evaluar y monitorizar. Un conjunto de pruebas con preguntas reales del personal se puntúa en cada cambio de modelo o prompt antes de publicar.
- 6Auditar cada respuesta. Prompts, pasajes recuperados y respuestas registrados en el país con retención para revisión.