Entrevista reciente de SemiAnalysis: El almacenamiento aún tiene espacio para duplicarse, se debe ser cauteloso con el CPO a corto y medio plazo, y la CPU es solo un actor secundario

Fuente: Wall Street Watch

Cada capa de la infraestructura de IA está bajo presión simultáneamente, y las oportunidades coexisten con los errores de juicio.

Dylan Patel, fundador de SemiAnalysis, fue entrevistado recientemente en un pódcast, donde sistematizó las dinámicas centrales y la lógica de inversión en la actual pila de infraestructura de IA.

Su análisis abarca la economía de modelos, el superciclo de memoria, la revalorización de la CPU, los riesgos en la línea de tiempo del CPO, y las oportunidades estructurales en el suministro de energía para centros de datos.

En respuesta a las dudas generales del mercado sobre el retorno de inversión (ROI) en IA, Dylan reveló que Anthropic logró un flujo de caja libre positivo en el segundo trimestre de este año, con ingresos recurrentes anuales que superan los 50 mil millones de dólares y un margen bruto superior al 70%. En el sector empresarial, el reciente aumento de productividad traído por los nuevos modelos de IA ha superado con creces el aumento en los costos de computación, lo que ha llevado a las empresas a recortar otros gastos de software para mantener un presupuesto explosivo para IA.

En el ámbito de la evolución del hardware, la transición hacia modelos de inferencia está reconfigurando la demanda del mercado.

Dylan enfatiza que el almacenamiento enfrenta una escasez estructural que podría durar varios años, con un potencial de crecimiento de 2 a 3 veces; al mismo tiempo, aunque los agentes y el aprendizaje reforzado han incrementado la demanda de CPU, el mercado de vendedores ha fijado precios demasiado altos. El crecimiento de la CPU proviene principalmente de un "ajuste histórico", y su valor absoluto en los servidores de IA sigue siendo muy inferior al de las GPU.

Dylan considera que el tiempo de implementación a gran escala del muy esperado CPO (Co-Packaged Optics) se ha pospuesto claramente hasta finales de 2028 o 2029, lo que ha extendido inesperadamente el período de beneficios de los conectores de cobre. Además, las limitaciones en la transmisión y distribución de la red están obligando a los centros de datos a recurrir a "fuentes de energía detrás del medidor" (autogeneración), lo que genera grandes oportunidades de inversión en la cadena de suministro de energía industrial y conversión eléctrica, más allá de la inversión tradicional en chips.

Anthropic lidera el camino, la narrativa de la demanda de IA comienza a materializarse

En respuesta a las dudas sobre el ROI de las empresas de IA en el mercado, Dylan Patel proporcionó datos concretos.

"Anthropic ha logrado un flujo de caja libre positivo en el segundo trimestre, con ganancias en abril, mayo y parece que junio también será similar," dijo. Añadió que los ingresos recurrentes anuales de Anthropic ya superan los 50 mil millones de dólares, con un margen bruto superior al 70%. Los ingresos de OpenAI también han crecido rápidamente con el aumento en la adopción de Codex.

La trayectoria de gastos de SemiAnalysis también respalda esta tendencia. En noviembre del año pasado, el equipo de 90 personas de la empresa tenía un gasto anual de IA de menos de 100,000 dólares; para finales de enero de este año, debido al despliegue masivo de Claude Code, esta cifra se disparó a 4 millones de dólares anuales; actualmente ha alcanzado los 11 millones de dólares, con picos que en un momento alcanzaron los 14 millones de dólares anuales. "El costo de los empleados más el costo de IA ya supera un tercio, y es probable que alcance la mitad antes de fin de año."

También señaló que los modelos más nuevos y potentes no necesariamente son más caros en la práctica. Un modelo antiguo podría requerir 100,000 tokens y 10 interacciones para completar una tarea, mientras que un nuevo modelo podría necesitar solo 25,000 tokens y 1 interacción. "Cada vez que un modelo pasa de 4.6 Opus a 4.7 Opus, nuestros gastos disminuyen durante una semana y luego se disparan de nuevo, porque todos ven que ahora pueden hacer cosas que antes no podían."

Considera que esta es una de las razones clave por las que Anthropic tiene una ventaja en la competencia con OpenAI: mayor eficiencia de tokens y costos generales más bajos para los usuarios.

Memoria: escasez estructural, no un ciclo ordinario

Entre todas las categorías de hardware, Dylan Patel tiene la opinión más firme sobre la memoria.

"No es una escasez a corto plazo, es una escasez estructural que durará años," señala. Indica que la capacidad de producción de memoria solo crece entre un 20% y un 30% al año, mientras que la demanda del lado de IA está duplicándose, y la brecha entre ambos seguirá ampliándose.

La lógica central que impulsa este juicio proviene del impacto de los modelos de inferencia en la caché KV. La longitud del contexto en la inferencia conversacional tradicional se mide en miles de tokens, consumiendo una cantidad limitada de caché KV; pero con la aparición de modelos de inferencia como o1, la longitud del contexto ha crecido explosivamente, lo que ha llevado a una expansión drástica de la caché KV, convirtiendo la memoria en la categoría más beneficiada. SemiAnalysis publicará un informe en diciembre de 2024 que señalará específicamente esta tendencia.

Las restricciones rígidas del lado de la oferta obligarán al mercado descendente a redistribuir los limitados recursos de memoria. Predice que los electrónicos de consumo con baja elasticidad de precios serán los primeros en verse afectados: las ventas de fabricantes de teléfonos de gama media y baja han caído un 40%, y los precios del iPhone y MacBook aumentarán el próximo año. "La memoria seguirá subiendo de precio, y los electrónicos de consumo se verán comprimidos a un nuevo nivel, hasta que la IA obtenga la memoria que necesita, no se considerará suficiente."

Agrega que incluso si eventualmente llega un ciclo a la baja, "el crecimiento a largo plazo es indiscutible, de valle a valle."

CPU: oportunidades limitadas, no extrapolar en exceso

La CPU ha emergido como un nuevo protagonista en la narrativa de infraestructura de IA este año, pero Dylan Patel tiene una postura clara de advertencia al respecto.

La lógica de recuperación de la demanda de CPU es clara: el aprendizaje reforzado requiere una gran cantidad de CPU para ejecutar validaciones de entorno (pruebas de unidad de código, simulaciones, etc.); la inferencia de agentes requiere que los modelos llamen frecuentemente a herramientas e interactúen con el mundo real, operaciones que dependen en gran medida de la potencia de cálculo de la CPU.

Al mismo tiempo, en los últimos años, se han enviado grandes cantidades de chips de IA, y la CPU ha sido gravemente insuficiente, actualmente se encuentra en una fase de ajuste concentrado, beneficiando a ARM, Intel y AMD, y la CPU Vera de Nvidia también ha dado una guía de ingresos de 20 mil millones de dólares.

"Pero debo dar una advertencia importante: hay un gran efecto de ajuste aquí." Dijo que una vez que se complete el ajuste histórico, solo quedará la demanda incremental, y la demanda volverá a la normalidad. En términos absolutos, Blackwell cuesta alrededor de 50,000 dólares, la CPU alrededor de 5,000 dólares, incluso si en proporción se asignan más CPU, el monto en dólares sigue siendo muy inferior al de los chips de aceleración de IA.

"La memoria y los chips de aceleración de IA son lo principal, la CPU es una revalorización tras ser subestimada, ahora ya tiene un precio más razonable, pero no crecerá indefinidamente a un ritmo superior al de los chips de IA."

Interconexión óptica: optimismo a largo plazo, cautela a corto y medio plazo con el CPO

Las interconexiones de red y ópticas son otro campo donde el sentimiento del mercado es elevado, pero Dylan Patel tiene una actitud cautelosa respecto al ritmo de implementación del CPO (Co-Packaged Optics).

"El verdadero inicio de la producción a gran escala del CPO, según mi juicio, será entre finales de 2028 y 2029." Señala que actualmente, la tasa de rendimiento de fabricación, el diseño de chips y la madurez de la cadena de suministro no han alcanzado los estándares para un despliegue a gran escala, y la arquitectura Rubin de Nvidia y su sucesora Feynman seguirán utilizando soluciones completamente de cobre, el CPO en el lado de la GPU aún deberá esperar varias generaciones de iteraciones de chips.

Reveló que SemiAnalysis acaba de publicar un informe a sus clientes suscriptores institucionales, y que a medio plazo, en realidad ven más potencial en soluciones ópticas de cobre y no CPO, manteniendo una actitud cautelosa hacia el CPO. Algunos cambios en el diseño de chips descendentes (como la eliminación del diseño de 800V en el Rubin Ultra) han retrasado aún más el tiempo de implementación del CPO. Empresas de conectores de cobre como Amphenol se beneficiarán más de lo esperado.

"El CPO ocurrirá a largo plazo, el cobre será reemplazado a largo plazo, pero la línea de tiempo se ha retrasado, y a corto y medio plazo, el cobre aún tiene grandes oportunidades."

Energía: la autogeneración se convertirá en la norma, múltiples caminos de innovación

El suministro de energía para los centros de datos se está convirtiendo en la restricción física más dura para el crecimiento de la IA.

Según las predicciones de Dylan Patel, el consumo de energía de los nuevos centros de datos será de 20 GW este año, 30 GW el próximo año y 50 GW el año siguiente, con un crecimiento casi explosivo.

Descompone el problema energético en tres dimensiones: transmisión, generación y conversión. La transmisión es el eslabón más difícil de romper, involucrando políticas regulatorias, la estructura de monopolio de las compañías eléctricas locales y los mecanismos de distribución de costos, que difícilmente cambiarán a corto plazo. La generación y conversión, en cambio, ofrecen amplias oportunidades.

Predice que en los próximos años, la mitad del consumo de energía de los nuevos centros de datos provendrá de "fuentes detrás del medidor", es decir, de la autogeneración por parte de las empresas, en lugar de depender de la red eléctrica pública.

La solución principal en este momento es la planta de ciclo combinado de gas (CCGT), proveniente de empresas como GE Vernova, Mitsubishi y Siemens; al mismo tiempo, también han surgido soluciones no tradicionales como motores de pistón, turbinas de gas industriales e incluso motores adaptados de barcos, trenes y camiones. "Suena tosco, pero funciona, y ya se está utilizando."

A más largo plazo, estima que en aproximadamente dos años, el costo total de la energía solar combinada con almacenamiento será inferior al de la generación de gas; y en un horizonte más lejano, se vislumbran centros de datos en el espacio, donde los chips de computación se desplegarían en órbita, con paneles solares que no necesitan atravesar la atmósfera, lo que proporciona una densidad de energía mucho mayor que en la superficie, y sin necesidad de almacenamiento.

El lado de la conversión también está lleno de oportunidades de inversión, desde IGBT, carburo de silicio hasta MOSFET de nitruro de galio, así como transformadores sólidos, UPS y supercondensadores, toda la cadena de conversión de voltaje está evolucionando rápidamente.

Actualmente, el departamento de investigación más grande de SemiAnalysis no es el de semiconductores, sino el equipo interno conocido como "DEI" (centros de datos, energía e industria), que rastrea la dinámica de despliegue de cada centro de datos y planta de generación de energía en el mundo.

Aviso legal: Este contenido se brinda únicamente con fines informativos y de marca, y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Ningún evento, recompensa, evento en línea o información relacionada que se mencione aquí debe considerarse una recomendación, solicitud o invitación para comprar, vender, intercambiar u operar de cualquier otra forma con criptoactivos ni para utilizar ningún servicio. Los criptoactivos son altamente volátiles y pueden generar pérdidas. Los servicios y eventos en línea de WEEX pueden no estar disponibles en todas las regiones y están sujetos a las leyes, regulaciones y requisitos de elegibilidad aplicables. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con criptomonedas.