La IA local suena romantica porque promete privacidad, control y autonomia. Y a veces cumple. Pero tambien exige decisiones de hardware, runtimes, quantization y mantenimiento que nadie te cuenta cuando solo te muestran el video de una demo.
- Empieza por Ollama o un runtime simple, no por una pila exotica.
- Elige primero la tarea y luego el modelo, no al reves.
- Lo local vale mas la pena cuando privacidad, costo marginal o control ya importan de verdad.
La puerta de entrada correcta
Para principiantes, la mejor puerta de entrada suele ser Ollama o una capa equivalente que te deja descargar y correr modelos sin pelearte primero con toda la complejidad del stack. No porque sea la unica opcion, sino porque reduce friccion y te deja aprender lo que importa.
Modelos que conviene tener en el radar
- Llama: familia ampliamente soportada.
- Qwen: muy interesante por calidad y variedad de tamanos.
- Gemma: buen punto de entrada en varios entornos.
- Mistral: solido para ciertos casos y despliegues.
- DeepSeek open weights donde apliquen: atractivos por costo y ecosistema, pero revisar bien soporte y uso real.
El hardware cambia la conversacion
Dos personas pueden decir que 'el mismo modelo corre bien' y ambas estar diciendo la verdad desde hardware radicalmente distinto. RAM, VRAM, CPU, GPU, disco y quantization cambian por completo la experiencia.
Por eso, antes de emocionarte con un benchmark, define primero que maquina tienes y que latencia estas dispuesto a aceptar.
Cuando local AI es una excelente idea
- Procesas datos sensibles.
- Tu volumen repetido hace atractivo el costo marginal bajo.
- Quieres independencia de un proveedor para una parte del stack.
- Aceptas operar runtime, modelos y observabilidad.
Que leer despues
Conversa con la academia y deja criterio publico.
Ahora el acceso vive arriba a la derecha, como debe ser. Desde ahi puedes entrar, comentar y abrir el bot flotante para resolver dudas puntuales sin romper la lectura.
Los comentarios se moderan cuando hace falta, los aportes utiles se votan y el bot flotante responde corto, con contexto del articulo y limites claros de uso.