FinOps para el gasto en IA: tokens, caché, enrutado y presupuestos que aguantan

Las facturas de IA se comportan distinto que las de cloud. No hay un servidor ocioso que apagar por la noche; cada pregunta de un cliente, cada documento que lee un agente y cada reintento en un bucle se paga por token, y una sola función con un prompt de sistema largo puede costar en silencio más que el resto de la plataforma. La buena noticia: la misma disciplina que reduce los costes cloud funciona aquí, con algunas palancas nuevas. Este es el orden que sigo, con la guía de IA de esta web como ejemplo a lo largo del texto.

Dominik Heinrich

8 de noviembre de 202611 min de lectura

1. Ver el coste por función, no por proveedor

La factura de un proveedor de IA dice cuánto has gastado, no en qué. Cada respuesta de la API incluye el recuento de tokens de entrada y de salida, y no necesitas más: regístralo junto con la función que hizo la llamada, el equipo responsable y, en un producto multicliente, el cliente. El trabajo de la FinOps Foundation sobre FinOps para IA empieza en el mismo sitio que el FinOps clásico: primero atribuir, luego optimizar.

En cuanto existe ese registro, un informe diario por función cambia la conversación. "Han subido los costes de IA" pasa a ser "el resumen de documentos cuesta cuatro veces lo que el chat, y casi todo es un cliente que relanza la misma exportación". Esa es una frase con la que un product owner puede hacer algo.

javascript

// One log line per AI call: enough to report cost per feature every day
const res = await callModel(request);
log.info({
  event: "ai_usage",
  feature: "doc-summary",      // which product feature made the call
  team: "documents",
  tenant: request.tenantId,
  model: res.model,
  input_tokens: res.usage.input_tokens,
  output_tokens: res.usage.output_tokens,
  cached_tokens: res.usage.cached_tokens ?? 0,
});

Cómo se controla el gasto en IA: las funciones del producto envían peticiones etiquetadas a un gateway de IA con límites de tokens, presupuestos, caché de prompts y de respuestas y un router; el router manda las peticiones fáciles a un modelo pequeño, las difíciles a uno grande, el trabajo no urgente a APIs batch y el volumen estable a un modelo propio; el consumo llega a un panel de costes por función con alertas de presupuesto y un informe diario en el chat del equipo. — El gasto en IA bajo control: etiqueta cada petición, cachea y enruta en un gateway, manda a batch lo que pueda esperar e informa por función cada día.

2. Saber qué pagas en una factura de tokens

Cuatro cosas mueven la factura. Tokens de entrada: todo lo que envías, incluido el prompt de sistema, los documentos recuperados y el historial completo de la conversación, otra vez en cada turno. Tokens de salida: normalmente bastante más caros que los de entrada. Tokens de razonamiento o "thinking": en los modelos que piensan antes de responder también se cobran; la lista de precios de Gemini de Google indica el precio de salida incluidos los tokens de thinking. Y la entrada en caché, mucho más barata que la nueva cuando el proveedor puede reutilizarla.

El mayor coste silencioso suele ser el historial. Un chat que reenvía veinte turnos anteriores los paga veinte veces. La guía de esta web conserva los últimos doce turnos, corta los mensajes a 1.500 caracteres y limita la longitud de la respuesta; en Gemini además usa un nivel de thinking bajo, que es rápido y suficiente para una guía de una web.

Consejo práctico

Fija una longitud máxima de salida por función. Una respuesta de chat y el resumen de un contrato necesitan límites muy distintos, y una salida sin límite es la manera en que un mal prompt se convierte en una tarde cara.

3. Cachear lo que se repite

La mayor parte del tráfico de IA se repite más de lo que parece. La caché de prompts del proveedor premia un inicio estable: pon primero la parte larga que no cambia, la base de conocimiento o las instrucciones, y después la parte de cada petición. Anthropic cobra las lecturas de caché a una fracción del precio normal de entrada, una décima parte en la mayoría de modelos; OpenAI aplica la caché automáticamente y descuenta hasta un 95 % los tokens de entrada reutilizados; Gemini tiene caché implícita. Nada de eso funciona si arriba del todo del prompt hay una marca de tiempo o un ID aleatorio.

La segunda caché es la tuya. Muchos visitantes hacen la misma primera pregunta, así que la guía de esta web guarda las respuestas a primeras preguntas durante seis horas y responde sus preguntas sugeridas con respuestas preparadas que no necesitan ninguna llamada a la API. Esas respuestas aparecen al instante y no cuestan nada por visita.

4. Enrutar: el modelo más pequeño que hace el trabajo

No todas las peticiones necesitan el mejor modelo. Clasificar un ticket, extraer una fecha o responder una pregunta a partir de unas FAQ cortas funciona con un modelo pequeño y rápido por una fracción del precio; razonar sobre un contrato largo o planificar una tarea de agente en varios pasos quizá necesite el grande. Un router delante de los proveedores decide en cada petición, por función, por longitud o con una clasificación rápida, y solo escala cuando el modelo pequeño no basta.

Decide con datos, no por intuición: mantén un pequeño conjunto de preguntas reales con las respuestas que esperas, ejecútalo contra los modelos candidatos y compara la calidad por euro. La guía de esta web funciona con un modelo rápido y uno aún más ligero como reserva; cuando se agota la cuota diaria del plan gratuito para el modelo principal, el ligero sigue respondiendo en vez de que el chat se quede mudo.

5. Mandar a batch todo lo que pueda esperar

Procesar documentos por la noche, reetiquetar un catálogo, evaluar las respuestas de soporte de la semana pasada: nada de eso necesita respuesta en dos segundos. Las APIs batch reciben un archivo de peticiones y devuelven los resultados en un día, con descuento. La Batch API de OpenAI anuncia un 50 % menos de coste con un plazo de 24 horas, la Batch API de Gemini de Google procesa peticiones al 50 % del coste estándar con un objetivo de 24 horas, y Anthropic también ofrece una Batch API con descuento.

El patrón es sencillo: todo lo que ningún usuario está esperando va a una cola, la cola se vacía en un job batch según un horario, y los resultados acaban donde los habría dejado el camino interactivo. En una pipeline nocturna, eso por sí solo reduce más o menos a la mitad la línea de IA de la factura.

6. Límites y presupuestos en un solo sitio

Los incidentes caros en IA son bucles: un agente que no deja de llamar a una herramienta, un script que reintenta sin backoff, un bot que inunda un chat público. Pon un gateway entre tus apps y los proveedores y dale límites duros: tokens por minuto y una cuota por clave o por función. En Azure API Management es la política llm-token-limit, y llm-emit-token-metric envía el consumo de tokens con tus propias dimensiones a Azure Monitor. Las claves se quedan en el gateway, nunca en las apps.

Alrededor, los controles clásicos de FinOps: presupuestos con alertas de previsión en la gestión de costes de tu cloud, límites de gasto del proveedor donde existan, y el mismo informe diario y breve en el chat del equipo que funciona para los costes cloud. Los endpoints públicos necesitan su propia protección: la guía de esta web permite 20 preguntas por visitante en diez minutos, algo que ningún visitante real alcanza y cualquier scraper sí.

xml

<!-- Azure API Management, inbound: hard limits per key, usage per feature -->
<llm-token-limit counter-key="@(context.Subscription.Id)"
                 tokens-per-minute="20000"
                 token-quota="2000000" token-quota-period="Monthly"
                 estimate-prompt-tokens="false" />
<llm-emit-token-metric namespace="ai-usage">
  <dimension name="Feature" value="@(context.Request.Headers.GetValueOrDefault(&quot;x-feature&quot;, &quot;unknown&quot;))" />
  <dimension name="Subscription ID" />
</llm-emit-token-metric>

7. Saber cuándo compensa alojarlo tú

A partir de cierto volumen, un precio por token pierde frente a una máquina propia: tráfico estable y previsible, un modelo que basta en su versión de pesos abiertos y, a menudo, datos que de todos modos no deberían salir de tu red. Por debajo de ese volumen, la API gana en coste, en rapidez para cambiar y en la gente que no necesitas para operarla. La comparación honesta incluye la electricidad, la operación y el tiempo para mantener los modelos al día, no solo el hardware.

La herramienta de abajo te da la primera cifra para esa decisión: elige un tamaño de modelo y cuánta gente lo usa, y te muestra la memoria necesaria y la máquina más pequeña que la tiene. Mi artículo sobre qué servidor comprar para un LLM local recorre el resto.

Interactivo

¿Qué equipo para un LLM local?

Elige un modelo y cómo lo vas a usar. Verás cuánta memoria necesita y las máquinas más pequeñas que lo soportan, desde un mini PC hasta un servidor con GPU.

Partir de

Tamaño del modelo (miles de millones de parámetros)70B

Modelo mixture-of-experts

Precisión

Quién lo usa

≈ 42 GB

memoria necesaria

128 GB

memoria en la configuración más pequeña que cabe

Configuración más pequeña que cabe

Mini PC con AMD Ryzen AI Max+ 395

La vía más barata a mucha memoria: hasta 128 GB de LPDDR5x-8000 de 256 bits (unos 256 GB/s) compartidos con la gráfica Radeon 8060S, de 45 a 120 W. Funciona con llama.cpp, LM Studio y Ollama.

≤ 7 tokens/s, límite superior para un usuario en esa máquina

Todas las opciones, aproximadamente de menor a mayor inversión

PC con GeForce RTX 5090Se queda corto
Rápida para modelos que caben en 32 GB. Tarjeta de consumo: ruidosa, caliente, sin memoria ECC, 575 W de potencia gráfica total.
Mini PC con AMD Ryzen AI Max+ 395Cabe · 128 GB
La vía más barata a mucha memoria: hasta 128 GB de LPDDR5x-8000 de 256 bits (unos 256 GB/s) compartidos con la gráfica Radeon 8060S, de 45 a 120 W. Funciona con llama.cpp, LM Studio y Ollama.
≤ 7 tokens/s, límite superior para un usuario en esa máquina
NVIDIA DGX SparkCabe · 128 GB
Superchip GB10 con 128 GB de memoria unificada y toda la pila CUDA. 273 GB/s limitan los modelos densos grandes; brilla con mixture-of-experts, desarrollo y pruebas de fine-tuning.
≤ 8 tokens/s, límite superior para un usuario en esa máquina
Mac Studio M5 MaxCabe · 128 GB
Hasta 128 GB de memoria unificada a 460–614 GB/s, y silencioso. MLX, llama.cpp, Ollama y LM Studio funcionan bien.
≤ 13–18 tokens/s, límite superior para un usuario en esa máquina
Workstation o servidor con RTX PRO 6000 Blackwell (1–2)Cabe · 96 GB
96 GB ECC GDDR7 a 1.792 GB/s y 600 W por tarjeta: la más rápida por usuario. Una o dos con vLLM forman un servidor para un equipo.
≤ 51 tokens/s, límite superior para un usuario en esa máquina
Servidor en rack con 2× L40SCabe · 96 GB
Dos GPUs de centro de datos de 48 GB con vLLM delante: la otra configuración de equipo del artículo para modelos de 30B a 70B.
Mac Studio M5 UltraCabe · 512 GB
Hasta 512 GB de memoria unificada a 1,2 TB/s, con 480 W continuos como máximo: la forma más sencilla de tener un modelo muy grande en el escritorio.
≤ 34 tokens/s, límite superior para un usuario en esa máquina
NVIDIA DGX Station (GB300)Cabe · 748 GB
Una máquina de sobremesa con el superchip GB300 y 748 GB de memoria coherente, 252 GB de ellos HBM3e.
Servidor con H200 (hasta 8)Cabe · 141 GB
141 GB HBM3e a 4,8 TB/s y hasta 700 W por GPU; ocho superan el terabyte. vLLM reparte el modelo entre las GPUs.
NVIDIA DGX B200Cabe · 1440 GB
Ocho GPUs B200 con 1.440 GB HBM3e y 64 TB/s en total, unos 14,3 kW el sistema. Energía, refrigeración y operación pasan a ser el proyecto mayor.

Estimación para planificar, no un benchmark. Memoria = parámetros × bytes por parámetro, más un 20 % para la caché KV (documentos largos o pocas personas: +50 %, un equipo: +100 %, factores aproximados). Las máquinas con memoria unificada reservan un 10 % para el sistema. El límite de velocidad es el ancho de banda de memoria dividido entre los pesos leídos por token (solo los activos en mixture-of-experts); las cifras reales son menores. Datos de equipos de las fichas técnicas de los fabricantes, enlazadas en el artículo (ancho de banda del Ryzen calculado a partir de su LPDDR5x-8000 de 256 bits). Antes de comprar, prueba tu modelo y tus prompts dos semanas en GPUs alquiladas.

Ayuda para elegir el hardware Todas las calculadoras y checklists

Conclusión
El FinOps de IA es FinOps con tokens: atribuye cada llamada, envía menos, enruta al modelo más pequeño que funcione, manda a batch lo que pueda esperar y limítalo todo en un gateway.

Proyectos reales relacionados

Pruébalo tú mismo

¿Lo quieres en tu empresa? Hablemos mail@dominikheinrich.ch

Fuentes y guías oficiales

Más artículos