Challenges in Local Inference and Supply Chain
Oh, creo que hay toda clase de formas en que la
cadena de suministro es
muy poco evidente. Eh,
un ejemplo de esto es la gente—
mucha gente quiere inferencia local, y de algún modo asume
que el problema
ya está resuelto porque tendremos modelos de código abierto,
y podremos
ejecutarlos en nuestras computadoras, así que no necesitaremos todas estas cosas
en el
centro de datos. Pero desde una perspectiva de asignación global
en realidad,
es bastante terrible que todos tengan
un montón de
del suministro limitado mundial de DRAM en su propia computadora
y se use—
Mm.
—el cinco por ciento del tiempo. Es decir, quieres la máxima utilización en la nube
si
intentas, digamos, afrontar este entorno con tantas
limitaciones de suministro.
Y, y de algún modo, la intuición de todos, de m-muchas personas
es lo contrario de eso
End of transcript · 142 words · machine translated
Original transcript (English)
Oh, I think there are like all of these ways where the supply chain, it's just like super non-obvious. Um, an example of this is people-- a lot of people want local inference, and somehow they assume
that like the problem is solved now because we're gonna have open source models, and we're gonna be able to run them on our computers, and so we're not gonna need all this stuff in the
data center. But from like a global allocation perspective, actually, it's quite terrible to have everybody like have a bunch of the world's limited supply of DRAM sitting in their own computer
and being used- Mm. -five percent of the time. Like, you want maximum utilization in the cloud if you're trying to, like, deal with this very supply-constrained
environment. And, and somehow everyone's, m-many people's intuition is the opposite of that
