Ejecutar GLM 5.2 en un VPS con Ollama
GLM 5.2 es solo cloud en Ollama. Descubre qué modelo GLM cabe realmente en un VPS y cuánta RAM necesita cada cuantización en tu servidor.
¿Se puede ejecutar GLM 5.2 en un VPS?
Sí, pero no mediante una etiqueta oficial de Ollama. Al 25 de octubre de 2026, GLM 5.2 en la biblioteca de Ollama tiene exactamente una etiqueta, glm-5.2:cloud. Una etiqueta :cloud se ejecuta en los servidores de Ollama. Su servidor envía el prompt y recibe los tokens, por lo que los pesos nunca llegan al disco. Z.ai publica los pesos y documenta la implementación local con SGLang y vLLM. El repositorio de pesos de Z.ai sitúa el modelo en unos 753 mil millones de parámetros. Cuatro bits por parámetro para 753 mil millones de parámetros ocupan aproximadamente 377 GB de pesos. Esto es sólo el cálculo básico, sin contar el contexto, las activaciones ni el sistema operativo. Los planes de VPS publicados superan esa cantidad de memoria: Paragon ofrece su E-48 con 512 GB de RAM por 580 €/mes.
El modelo GLM que sí cabe en un servidor alquilado es glm-4.7-flash. Se publica con pesos descargables en 4 etiquetas. Es un modelo de mezcla de expertos. Esto significa que sólo se ejecuta una pequeña parte de la red para cada token. Z.ai lo describe como 30B-A3B: 30 mil millones de parámetros en total y unos 3 mil millones activos por token. Por eso, esta guía responde a la pregunta sobre la que puede actuar. Fije una etiqueta, dimensione el servidor, mida su propia velocidad y mantenga privado el endpoint.
Verifique la etiqueta antes de copiar cualquier comando, incluidos los de esta guía. La biblioteca de Ollama cambia sin previo aviso. Abra la lista de etiquetas de glm-4.7-flash y confirme que la etiqueta sigue existiendo. Si ha aparecido una versión más reciente de GLM con pesos locales, prefiera esa versión y registre la etiqueta que probó realmente.
Si quiere usar GLM 5.2 de todos modos, ollama run glm-5.2:cloud funciona después de ollama signin y, desde el lado del cliente, se comporta como cualquier otro modelo de Ollama. Comprenda lo que implica: el prompt sale de su servidor. Si el motivo para alojar el modelo por su cuenta es que los datos deben permanecer en su máquina, una etiqueta :cloud no cumple ese requisito.
Qué etiquetas de GLM existen y cuál fijar
Aquí importan dos entradas oficiales de GLM. glm-5.2 sólo está disponible en la nube en la biblioteca de Ollama. glm-4.7-flash es la versión local, y estas son sus etiquetas publicadas con el tamaño de descarga que Ollama indica para cada una. Si usó glm-5.1 anteriormente, tenga en cuenta que Ollama lo retiró el 25 de septiembre de 2026 y que su página de la biblioteca ya no muestra ningún modelo. Z.ai sigue publicando los pesos de GLM-5.1 y documentando su implementación local, por lo que la retirada de Ollama no hace que el modelo deje de estar disponible en otros lugares.
Los datos de este gráfico
[
{
"label": "q4_K_M",
"download_gb": 19
},
{
"label": "latest",
"download_gb": 19
},
{
"label": "q8_0",
"download_gb": 32
},
{
"label": "bf16",
"download_gb": 60
}
]Son cifras publicadas en la página de la biblioteca, no mediciones. latest y q4_K_M aparecen con 19 GB, por lo que latest actualmente corresponde a la compilación Q4. Esto puede cambiar con cualquier nueva publicación, por lo que nunca debe escribir un ollama pull glm-4.7-flash sin especificar en un script o un Dockerfile. Indique la cuantización. La etiqueta más grande, bf16, es una descarga de 60 GB que contiene los pesos bfloat16 sin cuantizar.
Una búsqueda en la biblioteca también devuelve cargas con nombres que incluyen un espacio de nombres y una barra, como someuser/glm-5.2. La barra indica que una cuenta de usuario la publicó, por lo que se trata de una nueva carga de la comunidad y no de la entrada oficial. Nadie garantiza qué pesos contiene. Trátela como trataría cualquier binario sin firma que encontrara en Internet.
Instalar Ollama y descargar la etiqueta exacta
El instalador de Ollama para Linux se ejecuta con un solo comando.
curl -fsSL https://ollama.com/install.sh | sh
ollama --versionEl instalador crea un servicio de systemd que se ejecuta con el usuario ollama. Confirme que se haya iniciado antes de descargar nada.
systemctl status ollama --no-pagerActive: active (running) significa que systemd considera que el servicio está en ejecución; no confirma que la API esté lista ni que el puerto esté escuchando. Compruebe la API por separado con curl -fsS http://127.0.0.1:11434/api/tags en la dirección y el puerto predeterminados. Si la unidad no existe, el instalador recurrió a una instalación del binario sin servicio, y la documentación de Ollama para Linux indica qué archivo de servicio se debe crear manualmente.
La página glm-4.7-flash indica una versión mínima de Ollama. Un binario antiguo no ejecuta el modelo lentamente, sino que lo rechaza: la descarga falla con un mensaje que indica que el modelo requiere una versión más reciente de Ollama. Vuelva a ejecutar el script de instalación para actualizarlo. Al 2 de noviembre de 2026, la versión actual es 0.40.13, muy superior a esa versión mínima.
Ahora descargue una etiqueta por nombre.
ollama pull glm-4.7-flash:q4_K_M
ollama lsollama ls debería mostrar glm-4.7-flash:q4_K_M con un tamaño cercano a los 19 GB publicados. Si la descarga falla a mitad de camino, no queda nada ejecutable, así que vuelva a ejecutar el mismo comando. En un plan pequeño, compruebe el espacio en disco antes de descargar: la instalación estándar para Linux guarda los modelos en /usr/share/ollama/.ollama/models, a menos que cambie la ubicación con OLLAMA_MODELS. Compruébelo con df -h /usr/share/ollama antes de comenzar.
¿Cuánta RAM necesita cada cuantización?
Empiece por el tamaño de descarga como valor mínimo y añada el resto. Los pesos deben permanecer en la memoria. Encima se encuentra la caché KV (caché de claves y valores), que es la memoria que usa el runtime para recordar los tokens que ya están en la conversación, además de los búferes de cómputo y de la memoria que esté usando el sistema operativo. Un equipo con exactamente 19 GB de RAM no ejecutará la etiqueta de 19 GB.
No existe un multiplicador único que sea correcto para todos los casos, porque la caché KV aumenta con la longitud de contexto permitida y el resto varía entre versiones del runtime. Por eso, mida en lugar de hacer estimaciones. Cargue el modelo con un prompt trivial y lea la cantidad que reservó el servidor.
ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama psollama ps muestra el modelo cargado con una columna SIZE y una columna PROCESSOR. SIZE es la cantidad que el runtime reservó realmente, y ese es el número que debe comparar con su planificación. PROCESSOR indica dónde se realiza el trabajo, por lo que 100% CPU significa que no intervino ninguna GPU.
Cuando el modelo no cabe, Ollama puede devolver un error de carga antes de que comience la generación. La presión de memoria y una terminación por falta de memoria son otros resultados posibles. Compruebe los registros del servicio con journalctl -u ollama --no-pager y los registros del kernel con journalctl -k | grep -i "out of memory" en lugar de suponer que todos los fallos de memoria son silenciosos.
El paso de la etiqueta Q4 de 19 GB a la etiqueta Q8 de 32 GB es el factor principal que puede controlar en esa cifra. Q4 reduce algo la calidad de salida, y cuánto se reduce depende de la tarea; la salida estructurada y las cadenas largas de razonamiento sufren más que el chat informal. Diferencias prácticas entre Q4, Q8 y FP16 merece una lectura antes de decidir, porque en un VPS que sólo usa CPU la elección de cuantización suele determinar si el modelo se ejecuta o no.
Qué ocurre en un VPS sin GPU
La mayoría de los planes VPS no incluyen GPU, y Ollama ejecutará el modelo en la CPU sin advertirlo. Que el resultado sea utilizable depende de la carga de trabajo y de su paciencia.
El diseño de mezcla de expertos mejora la velocidad. Sólo se utilizan aproximadamente 3 mil millones de los 30 mil millones de parámetros para cada token, por lo que el cálculo por token es mucho menor que el de un modelo denso de 30B. La memoria no se reduce. Todos los expertos deben permanecer residentes, porque el router puede seleccionar cualquiera de ellos para el siguiente token. Por tanto, un sistema sin GPU también necesita los 19 GB completos o más para la etiqueta Q4, y su rendimiento depende principalmente del ancho de banda de memoria, no de la frecuencia de reloj.
Esto tiene una consecuencia práctica: dos planes con el mismo número de núcleos y la misma RAM pueden generar texto a velocidades notablemente distintas porque sus subsistemas de memoria son diferentes. Un plan compartido añade una segunda variable, ya que el tiempo de CPU robado por un vecino ruidoso aparece como una cifra de tokens por segundo que cambia de una hora a otra. Por eso ningún valor publicado por otra persona predice el suyo, y por eso la sección siguiente presenta un procedimiento de medición en lugar de una tabla de resultados.
Mida sus propios tokens por segundo
El endpoint generate de Ollama devuelve campos de tiempo en su objeto JSON final. Divida la cantidad de tokens generados por la duración de la generación y obtendrá su velocidad con su plan y su prompt.
sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
"model": "glm-4.7-flash:q4_K_M",
"prompt": "Write a 200 word explanation of how TCP congestion control works.",
"stream": false,
"options": {"num_ctx": 8192}
}' | jq '{
tokens: .eval_count,
tokens_per_second: (.eval_count / .eval_duration * 1e9),
prompt_seconds: (.prompt_eval_duration / 1e9),
load_seconds: (.load_duration / 1e9)
}'eval_count indica cuántos tokens se generaron y eval_duration indica cuántos nanosegundos se emplearon en generarlos; por tanto, eval_count / eval_duration * 1e9 representa los tokens por segundo. prompt_eval_duration corresponde a la lectura de su prompt, que es lo que una persona percibe como la espera antes de que aparezca el primer token. load_duration indica el tiempo empleado en cargar el modelo desde el disco. Por eso es alto en la primera llamada después de reiniciar y casi nulo en la siguiente.
Ejecútelo tres veces y conserve el segundo y el tercer resultado, porque el primero incluye esa carga. Después, ejecútelo de nuevo con un prompt mucho más largo, ya que el procesamiento del prompt aumenta con la longitud de la entrada, mientras que la velocidad de generación no cambia. Anote los números junto al nombre de su plan y su cuantización. Este registro es más útil que cualquier benchmark que lea, porque se midió en el hardware por el que está pagando.
Cómo la longitud del contexto multiplica el uso de memoria
En un equipo sin GPU o con menos de 24 GiB de VRAM, Ollama usa de forma predeterminada un contexto de 4096 tokens. El modelo anuncia un valor mucho mayor, 198K tokens para glm-4.7-flash, pero no se obtiene de forma predeterminada y activarlo tiene un coste de memoria.
La caché KV contiene un vector de claves y un vector de valores por cada token, en cada capa. Su tamaño crece de forma lineal con el número de tokens permitidos. Pasar de 4096 a 32768 tokens multiplica por ocho el contexto, por lo que la caché KV también aumenta aproximadamente ocho veces. En un equipo dimensionado justo para alojar los pesos, esa asignación adicional puede hacer que el sistema empiece a usar swap. Por eso, un equipo que respondía bien a solicitudes cortas puede volverse extremadamente lento cuando alguien pega un documento largo. Si necesita un contexto más largo en el mismo equipo, almacenar la caché KV en q8_0 en lugar de f16 reduce aproximadamente a la mitad esa asignación sin modificar los pesos. Las preguntas frecuentes de Ollama indican que q8_0 usa aproximadamente la mitad de memoria que f16, que es el valor predeterminado para OLLAMA_KV_CACHE_TYPE. La caché cuantizada sólo se aplica cuando flash attention está habilitado. Ollama activa flash attention automáticamente cuando el backend y los dispositivos lo admiten, y OLLAMA_FLASH_ATTENTION=1 fuerza su activación.
Configúrelo por solicitud con num_ctx en el objeto de opciones, como en el comando curl anterior, o cambie el valor predeterminado del servidor.
sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
| sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=EnvironmentEl último comando debería mostrar el valor de OLLAMA_CONTEXT_LENGTH. Si muestra un Environment= vacío, el archivo de configuración adicional está en el directorio incorrecto o se omitió la recarga. Después de cargar el modelo de nuevo, ollama ps debería mostrar un SIZE visiblemente mayor que el que mostraba con 4096. Aumente el valor en pasos y supervise ese número cada vez. Configurar la longitud del contexto de Ollama con num_ctx explica cómo interactúa esto con keep-alive y con las solicitudes paralelas, que también multiplican el mismo coste. Si más de un cliente va a usar el servidor, establezca los límites de concurrencia al mismo tiempo que el contexto, porque cada ranura paralela tiene su propia caché KV y la configuración de la cola determina si una segunda solicitud espera o se rechaza directamente.
Cuando la API cuesta menos que el servidor
Alojar el servicio por cuenta propia no siempre es más barato, y en esta familia los precios de lista publicados lo dejan especialmente claro.
Los datos de este gráfico
[
{
"label": "GLM-5.2 input",
"usd_per_million_tokens": 1.4
},
{
"label": "GLM-5.2 output",
"usd_per_million_tokens": 4.4
},
{
"label": "GLM-4.7-Flash input",
"usd_per_million_tokens": 0
},
{
"label": "GLM-4.7-Flash output",
"usd_per_million_tokens": 0
}
]A fecha de 25 de octubre de 2026, Z.ai ofrece GLM-5.2 a $1.4 por cada millón de tokens de entrada y a $4.4 por cada millón de tokens de salida. También ofrece GLM-4.7-Flash, el modelo que esta guía ejecuta localmente, a $0 tanto para la entrada como para la salida. Son precios publicados y pueden cambiar, así que consulte la página actual antes de elaborar un presupuesto basado en cualquiera de ellos.
Por tanto, el argumento económico a favor de alojarlo por cuenta propia glm-4.7-flash es débil ahora mismo. Un VPS con suficiente RAM cuesta dinero real cada mes, y el proveedor ofrece el mismo modelo sin coste. Lo que obtiene al ejecutarlo usted mismo es diferente: sus prompts permanecen en una máquina que controla y la versión del modelo no cambia a menos que usted la cambie. Son buenas razones para alojarlo por cuenta propia. Para este modelo y con estos precios, el coste no es una de ellas.
El cálculo cambia cuando el modelo que quiere no es gratuito o cuando sus datos no pueden salir legalmente de su propia red. El punto de equilibrio entre un VPS con GPU y los tokens de la API desarrolla ese cálculo con el nombre de cada variable. Si todavía está eligiendo la máquina, cuánto cuesta realmente un VPS al mes es la otra mitad de la suma.
Mantenga el endpoint en localhost
Este es el paso que se suele omitir y es el más importante.
Ollama se enlaza a 127.0.0.1 en el puerto 11434 de forma predeterminada, por lo que sólo se puede acceder a él desde el propio servidor. Confírmelo en su servidor en lugar de darlo por hecho.
ss -ltnp | grep 11434Debe ver 127.0.0.1:11434. Si ve 0.0.0.0:11434 o *:11434, significa que la API está escuchando en todas las interfaces, incluida la pública.
Esto es importante porque la API local de Ollama no requiere autenticación de forma predeterminada. No hay contraseña, token ni lista de permitidos. Cualquiera que pueda acceder al puerto 11434 puede listar sus modelos, ejecutar generaciones con el hardware que usted está pagando, descargar modelos nuevos en el disco hasta llenarlo y eliminar los modelos existentes. El puerto 11434 es el valor predeterminado conocido; OLLAMA_HOST puede cambiar tanto la dirección de enlace como el puerto.
No establezca OLLAMA_HOST=0.0.0.0. Esa variable cambia la dirección a la que se enlaza Ollama, y muchos tutoriales la recomiendan como solución cuando un cliente del portátil no puede conectarse. Es la solución incorrecta. En su lugar, reenvíe el puerto.
ssh -N -L 11434:127.0.0.1:11434 you@your-serverSSH escucha en el puerto 11434 del portátil y reenvía cada conexión a 127.0.0.1:11434 desde la perspectiva del servidor, que es donde Ollama ya escucha de forma predeterminada. Por tanto, el túnel no necesita cambios en OLLAMA_HOST, cualquier cliente configurado para http://localhost:11434 funciona sin modificaciones y no se expone nada nuevo. Para varias personas o varias máquinas, coloque el servidor en una red privada de túnel y enlace Ollama a la dirección del túnel, nunca a 0.0.0.0.
Verifíquelo desde un equipo distinto del servidor. Desde el portátil, con el túnel SSH cerrado:
curl -m 5 http://your-server-ip:11434/api/tagscurl: (28) Connection timed out o curl: (7) Failed to connect es el resultado correcto. Una lista JSON de sus modelos significa que el puerto está abierto a Internet y debe corregirse de inmediato. El firewall de red de su proveedor es un control independiente del firewall que se ejecuta en el servidor, así que compruebe ambos. La cuestión más amplia de si el alojamiento VPS es seguro cubre el resto de la configuración básica de una máquina que mantiene encendida.
Si glm-4.7-flash sigue siendo demasiado grande
Cuando la etiqueta Q4 no cabe en tu plan, la solución es usar un modelo más pequeño, no reducir el contexto. Reducir el contexto para que el modelo quepa produce un modelo que se carga, pero falla con la primera solicitud larga. Qwen 3 de 8B y 27B en un VPS sigue el mismo proceso de instalación con tamaños adecuados para servidores modestos, y la guía general para alojar un LLM propio con Ollama en un VPS cubre las partes que no cambian, independientemente del modelo que elijas. En cualquier caso, fija la etiqueta, mide el rendimiento en tu propio plan y deja el endpoint en loopback.
FAQ
¿GLM 5.2 puede ejecutarse localmente en un VPS?
Sí, mediante los pesos publicados por Z.ai y un runtime compatible, como SGLang o vLLM. A fecha del 25 de octubre de 2026, GLM 5.2 sólo existe en la biblioteca de Ollama como glm-5.2:cloud, una etiqueta que se ejecuta en la infraestructura de Ollama y necesita ollama signin antes de funcionar. El repositorio de pesos de Z.ai sitúa el modelo en unos 753 mil millones de parámetros, por lo que, incluso con cuatro bits por parámetro, sólo los pesos ocupan aproximadamente 377 GB. Los planes de VPS publicados con mucha memoria superan esa cifra, incluido el E-48 de 512 GB de Paragon, pero aún necesita espacio para la sobrecarga del runtime y el contexto. El modelo GLM más pequeño con pesos descargables que se utiliza en esta guía es glm-4.7-flash.
¿Cuánta RAM necesita glm-4.7-flash?
Considere el tamaño de descarga de la etiqueta como el mínimo y añada espacio para la caché KV y el sistema operativo. Ollama indica que la etiqueta Q4 ocupa 19 GB, Q8 ocupa 32 GB y la etiqueta bfloat16 ocupa 60 GB. No existe un multiplicador fijo válido para todos los casos, porque la caché KV aumenta con la longitud de contexto configurada. Cargue el modelo, ejecute ollama ps y consulte la columna SIZE para obtener el valor real en su propio equipo.
¿Cómo mido los tokens por segundo en mi propio VPS?
Envíe una petición a http://localhost:11434/api/generate con "stream": false y consulte eval_count y eval_duration en la respuesta. Los tokens por segundo se calculan como eval_count / eval_duration * 1e9, porque eval_duration se expresa en nanosegundos. Descarte la primera ejecución, ya que load_duration incluye en ese caso la lectura de los pesos desde el disco. Repita la prueba también con un prompt largo, porque prompt_eval_duration aumenta con la longitud de entrada, mientras que la velocidad de generación no lo hace.
¿Por qué no debo establecer OLLAMA_HOST en 0.0.0.0?
Porque la API local de Ollama no requiere autenticación de forma predeterminada. Al enlazarla con 0.0.0.0, queda expuesta en todas las interfaces IPv4; el acceso público depende entonces del enrutamiento y de los firewalls. Cualquiera que alcance el puerto 11434 puede generar contenido usando su hardware y cambiar los modelos instalados. Mantenga el enlace predeterminado en 127.0.0.1, compruébelo con ss -ltnp | grep 11434 y acceda a la API desde su portátil mediante un túnel SSH como ssh -N -L 11434:127.0.0.1:11434 you@your-server.