Cómo ejecutar modelos de IA localmente en Windows sin Internet

Conclusiones clave:

• Puede utilizar herramientas como Ollama para aprovechar las capacidades de los modelos de IA de código abierto directamente en su dispositivo.
• Al ejecutar estos modelos de IA localmente, evitará la dependencia de la nube y desbloqueará beneficios como privacidad e inferencias más rápidas.

Cómo ejecutar modelos de IA localmente en Windows con Ollama

Puede ejecutar modelos de IA como ChatGPT localmente en su computadora sin conexión a Internet. Muchos servicios le ayudan con este proceso. Sin embargo, lo demostraremos usando Ollama.

Descargar e instalar Ollama

Paso 1: Navegue al sitio web de Ollama y haga clic en Descargar botón.

Paso 2: Selecciona tu SO y haga clic Descargar.

Paso 3: Haga doble clic el archivo descargado > haga clic Instalar > sigue el Instrucciones de instalación.

Una vez instalado, deberías ver una ventana emergente que diga Ollama esta corriendo.

Etapa 4: Inicie su terminal. En Windows, presione ventanas + Rtipo cmdy golpe Ingresar.

Paso 5: Descargue su primer modelo de IA usando el siguiente comando. Asegúrese de reemplazar modelo con un modelo real sobre Ollama; estos podrían ser Llama 3, Phi 3, Mistral, Gemma, etc. Ten paciencia; Esto puede tardar un rato.

Ollama pull model

Cómo comunicarse con modelos descargados en Ollama

Ahora que ha instalado el modelo de IA, puede comunicarse con él. Esto es similar a comunicarse con las IA de Gemini o ChatGPT desde las interfaces web. Siga los pasos a continuación.

Paso 1: Lanzamiento Terminal en tu ordenador.

Paso 2: Escribe el dominio abajo. Puedes sustituir llama3 en el comando para el nombre del modelo que descargaste.

Ollama run llama3

Paso 3: Finalmente, escriba su mensaje y presione Ingresar como lo haría en ChatGPT o Gemini. Entonces deberías poder interactuar con la IA.

Preguntas más frecuentes

¿Se puede ejecutar IA generativa localmente?

Sí, puedes y, actualmente, la difusión estable es el medio más confiable. Herramientas como Stable Diffusion WebUI e InvokeAI brindan acceso a Stable Diffusion para la generación de imágenes locales.