LM Studio: así puedes usar CPU y GPU de AMD para usar chatbots con LLM

LM Studio: así puedes usar CPU y GPU de AMD para usar chatbots con LLM

marzo 7, 2024 Desactivado Por

La inteligencia artificial ha avanzado en gran medida en estos últimos años, donde nos hemos centrado en la IA generativa, aquella que puede crear contenido una vez ha sido entrenada. Aunque no lo parezca en un principio, ChatGPT pertenece a este segmento, pues genera texto en forma de respuesta para contestar a las preguntas y órdenes que le mandamos. Compañías como NVIDIA han querido meterse también en este sector tan popular con Chat with RTX y ahora incluso AMD también va a estar involucrada, pues sus CPU Ryzen AI y las GPU Radeon 7000 pueden ejecutar chatbots con LLM.

Hay muchas personas que siguen sin aceptar el entrenamiento y uso de IA para poder generar contenido de todo tipo usando como referencia lo que ha hecho el ser humano. Esto creó mucha controversia cuando vimos que Midjourney o Stable Diffusion generaban contenido que robaba trabajo a los artistas. Lo mismo podemos decir en cuanto a la creación de texto, pues se ha usado la inteligencia artificial para crear libros y novelas. De hecho, con OpenAI Sora, hasta se pueden crear vídeos, algo que generó cierta preocupación en Hollywood y la industria del cine.

Con LM Studio podemos usar CPU y GPU de AMD para ejecutar varios modelos de IA y chatbots

Aun así, todo esto queda detrás del impacto que ha producido ChatGPT, por ser un chatbot que es capaz de hacer muchísimas cosas, pudiendo reemplazar al ser humano en distintos trabajos. Las compañías han intentado lanzar sus propios chatbots sin demasiado éxito, pues la mayoría siguen empleando ChatGPT. Aun así, tenemos alternativas como Chat with RTX de NVIDIA, que como es habitual, es exclusivo de sus GPU, pidiendo usar una RTX 30 como mínimo. Este se anunció el mes pasado y ahora es el turno de AMD de competir contra su eterno rival.

AMD ofrece a los usuarios la posibilidad de ejecutar chatbots localizados basados en LLM desde una CPU AMD Ryzen AI o una GPU AMD Radeon 7000. Dependiendo de si queremos usar nuestro procesador o gráfica, tendremos que descargarnos una versión distinta de LM Studio, desarrollado por Element Labs. En el caso de la CPU Ryzen, tenemos la aplicación oficial de LM Studio que funciona tanto en Windows, Mac (chips M1/M2/M3) y Linux (en Beta). En cuanto a la GPU, tenemos LM Studio para AMD ROCm de código abierto.

Estos son los pasos a seguir en LM Studio

Para poder usar chatbots con LLM con AMD, primero tendremos que descargarnos una de las dos versiones de LM Studio. Tras esto, ejecutamos el archivo descargado y nos vamos a la pestaña de búsqueda, ubicada en la parte superior izquierda del programa. Aquí debemos escribir un código dependiendo del modelo LLM que queramos usar:

Si deseamos usar Mistral 7b ponemos «TheBloke/OpenHermes-2.5-Mistral-7B-GGUF«
Si preferimos ejecutar Meta Llama 2 7b copiamos y pegamos «TheBloke/Llama-2-7B-Chat-GGUF» en la pestaña

Una vez buscamos uno de estos modelos, nos aparecerán distintas versiones y simplemente escogemos la que queramos y le damos a descargar. En la guía se indica que vayamos al panel derecho y busquemos el modelo Q4 K_M, que es el recomendado para Ryzen AI. Tras esto, solo nos queda irnos a la pestaña de chat, elegir el modelo desde la pestaña desplegable tal y como vemos en la imagen y estaría listo si tenemos una CPU Ryzen AI. En el caso de que usemos una GPU Radeon 7000 para esto, debemos irnos a «GPU Offload» en el panel derecho y deslizarlo hasta «Max».

La entrada LM Studio: así puedes usar CPU y GPU de AMD para usar chatbots con LLM aparece primero en El Chapuzas Informático.