IA local y privada para datos sensibles
Las ventajas de la IA sin que un solo documento sensible salga de tu red.
Para organizaciones que no pueden enviar contratos, historiales médicos, expedientes de personal o código fuente a una API pública de IA. Ejecuto modelos open-weight en tu propio hardware o en tu nube privada, los conecto a tus documentos y enmascaro los datos personales antes de que ningún modelo los vea, hasta entornos totalmente aislados sin ruta a internet.
¿Te suena?
- Legal, compliance o el comité de empresa dicen no a ChatGPT y Copilot con datos internos
- La plantilla pega igualmente textos sensibles en herramientas públicas de IA porque no hay una opción segura
- Nadie sabe qué modelo y qué GPU bastan, y el proyecto se atasca en la pregunta del hardware
- El entorno está desconectado por diseño, así que la IA en la nube ni se plantea
Cómo lo trabajo
- 1
Elegir el caso de uso y los datos
Empezamos con una tarea que ahorre tiempo de verdad, como buscar en contratos o responder preguntas internas, y acordamos qué datos puede ver el modelo y cuáles nunca.
- 2
Modelo y hardware adecuados
Elijo un modelo open-weight y una cuantización que encajen con la tarea, lo pruebo con tus propias preguntas y dimensiono la GPU según la memoria medida, no según un folleto del fabricante.
- 3
Tus documentos, primero enmascarados
Los documentos se indexan en PostgreSQL con pgvector dentro de tu red. Nombres, identificadores y emails se enmascaran antes de que ningún modelo vea un prompt, y cada respuesta cita sus fuentes.
- 4
Un gateway y auditoría completa
La plantilla entra con inicio de sesión único, cada petición pasa por un gateway interno de IA con cuotas y enrutado, y un registro de auditoría guarda quién preguntó qué y qué fuentes se usaron. El tráfico de salida se bloquea en el firewall.
- 5
Aislado cuando hace falta
Para entornos sin conexión, los modelos entran por una transferencia unidireccional con hashes y firmas comprobados, llegan a un registro offline y se evalúan antes de publicarlos. Las actualizaciones siguen el mismo camino.
Interactivo
¿Qué GPU necesita tu modelo?
Elige tamaño del modelo y precisión. Los pesos ocupan parámetros × bytes por parámetro; un 20 % más cubre la caché KV con contextos normales.
Tamaño del modelo (miles de millones de parámetros)
Precisión
≈ 19 GB
memoria de GPU necesaria
1×
cabe en 24 GB (RTX 4090)
- 1× 24 GB (RTX 4090)
- 1× 32 GB (RTX 5090)
- 1× 48 GB (L40S)
- 1× 80 GB (H100)
- 1× 96 GB (RTX PRO 6000 Blackwell)
- 1× 141 GB (H200)
Regla práctica para planificar, no un benchmark. Contextos largos y muchos usuarios en paralelo necesitan más caché KV; 4 bits cuesta algo de calidad.
Todas las calculadoras y checklistsLo que obtienes
- Una recomendación de modelo y hardware basada en pruebas con tus propias preguntas
- Servicio de modelos con vLLM u Ollama en tus servidores o en tu nube privada
- Búsqueda en tus documentos con PostgreSQL y pgvector, con citas de las fuentes
- Enmascarado de datos personales, inicio de sesión único, cuotas y registro de auditoría
- Una vía de actualización offline para entornos aislados y runbooks para tu equipo
Preguntas frecuentes
¿Los modelos abiertos están a la altura de ChatGPT?
Para tareas acotadas sobre tus propios documentos, normalmente sí. Por eso pruebo los modelos candidatos con tus propias preguntas antes de comprar hardware, para decidir con tus resultados y no con benchmarks.
¿Qué hardware necesitamos?
Depende del tamaño del modelo, la cuantización y cuántas personas lo usan a la vez. La calculadora de GPU de esta página da una primera estimación; el tamaño final sale de medir el modelo elegido con tu carga.
¿Puede funcionar totalmente sin conexión?
Sí. Los modelos, los embeddings, la base de datos vectorial y la monitorización corren dentro del enclave. Las actualizaciones entran por una transferencia unidireccional con hashes y firmas verificados.
¿Podemos combinar modelos locales y en la nube?
Sí. El gateway interno enruta según la clase de dato: lo sensible se queda en el modelo local y el resto puede usar un modelo en la nube si tu política lo permite.
¿Cómo lo cobras?
Tras una llamada de 30 minutos: un alcance cerrado desde el caso de uso hasta un piloto en marcha, o unos días al mes para construirlo y operarlo con tu equipo.
Para saber más
- IA privada para datos sensibles: un LLM local que supera la revisión de seguridad
- LLM locales en una red air-gapped: IA para tus datos más sensibles
- Quiero ejecutar un LLM local: ¿qué servidor compro?
- Sistemas air-gapped: software crítico sin conexión a internet
- MiniMax M3: ¿un modelo puntero que puedes ejecutar tú mismo?
Hablemos
Cuéntame qué estás construyendo; te respondo en 1 o 2 días laborables.
- mail@dominikheinrich.ch
- Empresa
- MADO Consulting
- Sígueme en LinkedIn
Disponible en todo el mundo en remoto. Presencial bajo petición, según el país.
Abre aquí el calendario de reservas de Calendly. Al cargarlo se envían datos a Calendly (ver aviso legal).