Running Local LLMs from USB Drive

Primero, necesitarás una memoria USB 3.

Recomiendo 64 gigabytes o más, para que puedas guardar más

LLM en ella. Formatea la unidad con el sistema de archivos exFAT

Haz clic derecho en la unidad,

elige «Formatear»,

y selecciona exFAT como sistema de archivos.

Para que cargue más rápido, conecta la memoria USB a un puerto

USB 3.0.

Luego, ve a la página de GitHub de Llama File.

El enlace está en la descripción. Haz clic en el enlace «Releases» de la derecha.

La versión más reciente aparecerá arriba.

Desplázate hasta la sección «Assets» y busca el archivo que empieza con Llama

File, seguido del número de versión, como Llama File cero

coma noventa y tres.

Haz clic en él para descargarlo.

Cuando se descargue el archivo, cámbiale el nombre a Llama File punto

EXE

y muévelo a tu memoria USB.

Cuando hayas terminado, ve al sitio web de Hugging Face.

Haz clic en «Models»,

Luego selecciona GGUF en la barra de navegación izquierda, bajo

Bibliotecas. Aquí puedes buscar modelos

y ordenarlos por

categorías.

Elige el modelo que quieras, pero que tenga catorce mil millones de parámetros o

menos si es un modelo denso, o treinta mil millones o menos para

modelos MoE. Buscaré el modelo Qwen tres ocho B.

modelo.

Cuando encuentres el modelo, haz clic en él.

Ve a la pestaña «Archivos y versiones» de la parte superior y descarga la versión que quieras.

Descargaré la versión cuantizada Q4 de Qwen tres ocho B.

Cuando termine la descarga, mueve el archivo GGUF a tu

memoria USB.

Y el último paso antes de ejecutar un LLM local desde una memoria USB

es crear un archivo .bat sencillo para iniciarlo.

Abre el Bloc de notas o cualquier editor de texto y escribe el siguiente comando

o cópialo y pégalo desde la descripción.

Luego, introduce el nombre completo del archivo del modelo

tal como aparece en tu unidad flash USB, incluido el

sufijo .gguf.

Guarda este archivo en la unidad flash USB con la extensión .bat

y ponle un nombre que te ayude a identificar el modelo, como «Run

Qwen

three eight b.bat». Luego ejecuta el

archivo.

El modelo se cargará en la memoria del sistema.

Esto puede tardar un minuto

o más, según el tamaño del modelo y tu computadora.

En mi computadora de escritorio, con ciento veintiocho

gigabytes de memoria DDR4 y un procesador Ryzen seven five thousand eight

hundred X,

tardó treinta y cuatro segundos en iniciarse.

Cuando termine de cargarse, Llama File se abrirá en tu navegador.

Para este tutorial,

solo cambiaré el mensaje del sistema, el nombre de usuario

y el nombre del bot.

Dejaré todos los demás ajustes en sus valores predeterminados y empezaré a chatear

escribir una pregunta en el cuadro de la parte inferior.

El modelo Qwen 3 8B

Q4 respondió a 7,15 tokens por segundo.

Probemos otro modelo. Esta vez usaré Qwen 3 30

B A3B Q4.

Es un modelo MoE con 30.000 millones de parámetros.

Este modelo respondió a 15,67 tokens por segundo.

Eso es todo. Una configuración totalmente portátil para ejecutar modelos

de lenguaje de gran tamaño

desde una memoria USB.

No requiere instalación, internet ni acceso de administrador.

Solo conéctala a cualquier PC con Windows y empieza a usarla.

Esta configuración es privada, fácil para principiantes y funciona completamente

sin conexión. Puedes alternar entre distintos modelos

y distintos ordenadores

y ejecutar tu propio asistente de IA directamente desde la memoria USB.

Cuéntanos tu experiencia o tus consejos en los comentarios.

Gracias por ver.