llmfit: la herramienta que recomienda la mejor IA local para tu hardware

El problema de elegir IA local

Instalar un modelo de IA local parece fácil hasta que lo intentas. Descargas un modelo de 7B parámetros, lo ejecutas con Ollama, y resulta que tu portátil con 8 GB de RAM no puede ni moverlo. Entonces pruebas uno más pequeño, pero la calidad de las respuestas es tan pobre que no sirve para nada. Y vuelta a empezar.

El trial-and-error con IAs locales es la forma más rápida de perder horas, ancho de banda y paciencia. Cada modelo pesa entre 2 y 40 GB, y sin saber exactamente qué va a funcionar en tu hardware, estás tirando dados.

Qué es llmfit

llmfit es una herramienta open source creada por Alex Jones que resuelve exactamente este problema. Es un CLI escrito en Rust que detecta tu hardware automáticamente (RAM, CPU, GPU, VRAM) y analiza cientos de modelos de IA de su catálogo para decirte cuáles funcionarán bien en tu máquina.

No es una recomendación genérica. Es un análisis preciso basado en tus especificaciones reales: cuánta memoria tienes, qué GPU, qué backend (CUDA, Metal, ROCm), y cuánto ancho de banda de memoria disponible. Luego puntúa cada modelo en cuatro dimensiones:

• Memory fit — ¿Cabe en tu RAM/VRAM?
• Speed — ¿Qué velocidad de tokens por segundo puedes esperar?
• Quality — ¿Qué calidad de respuestas ofrece el modelo?
• Context — ¿Cuánto contexto puede manejar sin degradarse?

Cómo lo usamos en CerveretaDev

En CerveretaDev instalamos y configuramos IAs locales para negocios que necesitan privacidad total: sus datos no salen de sus servidores. Antes, auditar el hardware de un cliente y recomendar el modelo adecuado era un proceso manual que dependía de nuestra experiencia y de tablas de compatibilidad que actualizábamos a mano.

Ahora, el flujo es directo:

1. Instalamos llmfit en la máquina del cliente (o conectamos por SSH).
2. Ejecutamos llmfit system — nos muestra exactamente qué hardware tiene: RAM total y disponible, CPU, GPU y VRAM, backend detectado.
3. Ejecutamos llmfit recommend --json — nos devuelve un ranking de modelos compatibles, puntuados por fit, velocidad, calidad y contexto, en formato JSON para integrarlo en nuestros scripts.
4. Filtramos por caso de uso con llmfit recommend --use-case coding o --use-case general, según lo que el cliente necesite.
5. Instalamos el modelo recomendado con Ollama o llama.cpp, según el backend disponible.

En menos de dos minutos sabemos exactamente qué modelo instalar. Sin prueba y error. Sin descargar modelos de 15 GB que no van a funcionar.

Comandos esenciales

Si quieres probar llmfit en tu máquina, estos son los comandos que más usamos:

• llmfit system — muestra tu hardware detectado (RAM, CPU, GPU, backend)
• llmfit recommend --json --limit 5 — top 5 modelos recomendados en JSON
• llmfit recommend --use-case coding — recomendaciones filtradas para programación
• llmfit fit --perfect -n 5 — solo modelos que encajan perfectamente
• llmfit search "llama 8b" — busca modelos por nombre, proveedor o tamaño
• llmfit info "Mistral-7B" — análisis detallado de un modelo específico
• llmfit (sin argumentos) — lanza la TUI interactiva con todo el catálogo

La instalación es simple: uv tool install -U llmfit o brew install llmfit en macOS. También disponible vía Docker: docker run ghcr.io/alexsjones/llmfit.

Plan mode: ¿qué hardware necesito?

llmfit también funciona en sentido inverso. Si un cliente sabe qué modelo quiere usar (por ejemplo, Llama 3 70B) pero no sabe qué hardware comprar, el Plan mode (llmfit plan) estima la RAM, VRAM y configuración de hardware necesaria para ejecutar ese modelo de forma óptima.

Es exactamente lo que necesitamos cuando un negocio nos pregunta: "¿Qué servidor necesito para correr IA en mis propios datos?". Ejecutamos el plan mode, le damos una respuesta concreta con números, no aproximaciones.

Por qué importa para tu negocio

Si estás considerando instalar IA local en tu empresa —ya sea por privacidad, coste o independencia de proveedores cloud—, la elección del modelo correcto no es opcional. Es la diferencia entre un sistema que funciona fluido y uno que es inutilizable.

llmfit convierte lo que antes era una decisión basada en intuición y foros de internet en un proceso determinista, medible y reproducible. Auditas el hardware, obtienes recomendaciones con datos, instalas el modelo, y funciona. A la primera.

En CerveretaDev integramos este tipo de herramientas en nuestro flujo de trabajo para asegurar que cada instalación de IA local que hacemos para un cliente esté optimizada desde el primer minuto. No instalamos modelos a ciegas. Medimos, analizamos y recomendamos con datos.

¿Quieres saber qué IA local funcionaría en tu hardware? Hablemos.