VPSでllama.cpp serverを運用する方法
llama.cppをb10488に固定し、GGUF modelをOpenAI互換APIで提供します。localhostへの限定、systemd unit、memory不足時の制限まで設定する手順です。
構築するもの
VPS で llama.cpp server を実行すると、単一の GGUF model file を読み込み、OpenAI-compatible API で HTTP requests に応答する 1 つの binary、llama-serverを運用できます。互換性のある client を http://127.0.0.1:8080/v1に接続し、アプリケーションで使用する機能をテストしてください。互換性は部分的です。インストールは簡単な作業です。
残りは運用です。バージョンを固定し、port を localhost に限定し、systemd unit を作成し、サーバーの memory が不足した場合の動作を決めます。このガイドでは、これらを扱います。まだ明らかな 2 つの選択肢のどちらにするか決めていない場合は、先にOllama と llama.cpp のトレードオフを読んでください。この比較では意図的に省かれている手順を、ここで説明します。
リリースタグを選び、記録します
llama.cpp では、ナイトリー開発ビルドに b10488 のようなビルド番号タグを使用し、公式リリースには vX.Y.Z のようなセマンティックバージョンタグを使用します。ここでは、2026 年 8 月 18 日にリリースされた b10488 を固定ビルドとして使用します。「Latest」は変動するため、サポートできるのはテストしたバージョンだけです。タグを 1 つ選んで記録し、clone、バイナリ名、メモのすべてで同じ文字列を使用してください。
b10488 タグには、ビルド済みアーカイブも含まれています。CPU のみを使用する x86 VPS では llama-b10488-bin-ubuntu-x64.tar.gz です。x86 ではなく ARM VPS を使用している場合は、その隣に arm64 アーカイブがあります。
curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10488/llama-b10488-bin-ubuntu-x64.tar.gz
tar tf llama-b10488-bin-ubuntu-x64.tar.gz | head展開する前にアーカイブの内容を一覧表示し、ファイルの配置先を確認してください。これらのバイナリは、ビルドに使用されたイメージの C ライブラリにリンクされています。そのため、古いディストリビューションでは、インストールされていない GLIBC_ バージョンを示すエラーが出て、起動に失敗します。小規模な VPS でもソースからのビルドには数分しかかからず、この種の問題をすべて回避できます。以下では、その方法を使用します。
固定した tag から llama-server をビルドする
sudo apt update
sudo apt install -y build-essential cmake git libssl-dev
git clone --depth 1 --branch b10488 https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2--branch b10488 を使った --depth 1 clone ではその tag だけが checkout されるため、作業中にビルド内容が変化しません。
libssl-dev が必要なのは、LLAMA_OPENSSL オプションがデフォルトで有効であり、後でバイナリから HTTPS 経由でモデルをダウンロードできるようにするためです。OpenSSL の開発用ファイルがない場合、この固定したビルドは設定に失敗するのではなく、HTTPS サポートが無効であるという警告を出します。
-DBUILD_SHARED_LIBS=OFF は llama.cpp と GGML を実行ファイルにリンクします。ただし、システムライブラリの依存関係は残ります。デフォルトのビルドでは共有ライブラリが実行ファイルの隣に配置されるため、実行ファイルだけを /usr/local/bin にコピーすると error while loading shared libraries: libllama.so で失敗します。
-t llama-server は server target だけをビルドします。デフォルトのビルドでは他のツールとテストもコンパイルされます。2 コアの VPS では、実行しないファイルのために数分余計にかかります。
-j 2 は意図的な設定です。並列コンパイルの各ジョブは独自のワーキングセットを保持します。そのため、小規模なプランで -j $(nproc) を実行すると c++: fatal error: Killed signal terminated program cc1plus になり、kernel の out-of-memory killer がコンパイラを停止します。ジョブ数を減らすか、ビルド用に swap を追加してください。
変更を検討できるフラグが 1 つあります。GGML_NATIVE はデフォルトで有効なため、コンパイラはビルドを実行する CPU に正確に合わせてコードを生成します。実行するマシン上でビルドする場合は、この設定で問題ありません。1 回だけビルドして別のホストにバイナリをコピーする場合は -DGGML_NATIVE=OFF を追加してください。別の CPU にない命令を使用するバイナリは、最初の推論時に Illegal instruction (core dumped) で停止します。
tag を含む名前でインストールします。
./build/bin/llama-server --version
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-b10488
sudo ln -sfn /usr/local/bin/llama-server-b10488 /usr/local/bin/llama-server--version はビルド番号と commit を表示します。checkout した tag と一致している必要があります。一致しない場合は、別のものをビルドしています。ファイル名に番号を含めて、そのファイルを symlink から参照する構成にすると、アップグレードは ln -sfn と再起動を 1 回行うだけで済みます。ロールバックも、古い番号を指定して同じコマンドを実行するだけです。
GGUF モデルを取得し、最初にディスク容量を確認する
GGUF は llama.cpp が読み込む単一ファイル形式です。1 つのファイルに重み、tokeniser、メタデータが含まれるため、ほかにインストールするものはありません。ファイル名のサフィックスは量子化方式を示します。これは重みを格納する精度です。Q4_K_M は 4-bit の混合形式、Q8_0 は 8-bit、f16 は量子化していない半精度ファイルです。
ダウンロードする前に、サービスアカウントとモデル用ディレクトリを作成します。
sudo useradd --system --home /srv/llama --create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
df -h /srvサーバー自身で -hf を使ってモデルを取得できます。ビルドが動作することを確認する最も早い方法です。
sudo -u llama env LLAMA_CACHE=/srv/models /usr/local/bin/llama-server \
-hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M --host 127.0.0.1 --port 8080LLAMA_CACHE はダウンロード先のディレクトリを指定します。これ、または XDG_CACHE_HOME を指定しない場合、ファイルはコマンドを実行したアカウントの ~/.cache/llama.cpp に保存されます。以下の unit では /srv/llama を読み取り専用にします。キャッシュされたファイル名は単純なファイル名ではなくリポジトリ名から生成されるため、その後に ls -lh /srv/models を実行します。
サービスで使う場合は、指定したパスにダウンロードします。これにより、unit ファイルから安定したパスを参照できます。
sudo -u llama curl -L --output-dir /srv/models -O \
https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.gguf最初に問題になりやすいのはディスク容量です。以下は、2026 年 8 月 18 日に確認した 2 つのモデルの公開ファイルサイズです。
このグラフのデータ
[
{
"label": "gemma-3-1b-it Q4_K_M",
"size_gb": 0.81
},
{
"label": "gemma-3-1b-it Q8_0",
"size_gb": 1.07
},
{
"label": "gemma-3-1b-it f16",
"size_gb": 2.01
},
{
"label": "gpt-oss-20b MXFP4",
"size_gb": 12.11
}
]1B モデルの 4-bit ファイルは 0.81 GB です。同じモデルを量子化しない場合は 2.01 GB になるため、形式の選択だけで容量が 2 倍以上変わります。MXFP4 の 20B モデルは 12.11 GB で、その後さらにメモリへ読み込む必要があります。特定のモデルファミリーを検討している場合は、GLM で同じサイズ比較を行った結果 も参照してください。VPS では上位モデルの容量がすぐに制約となる一方、より小さいモデルなら収まることが分かります。
ダウンロードする前に、毎回 df -h を確認します。12 GB の転送中に root ファイルシステムが満杯になると、journal を含め、書き込みを必要とするほかの処理もすべて失敗します。
手動で 1 回実行し、確認します
sudo -u llama /usr/local/bin/llama-server \
--model /srv/models/gemma-3-1b-it-Q4_K_M.gguf \
--host 127.0.0.1 --port 8080 \
--ctx-size 4096 --parallel 1 --threads 2 --no-webui別のセッションで、サーバーが準備完了かどうかを確認します。
curl -s http://127.0.0.1:8080/healthファイルの読み込み中は、HTTP 503 と次の本文が返ります。
{"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}準備が完了すると、本文は {"status": "ok" } になります。続いて、実際のリクエストを送信します。
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Say hello in five words."}]}'choices 配列を含む JSON オブジェクトが返れば、サーバーは稼働しています。model フィールドがあるのは、OpenAI クライアントが常に送信するためです。このサーバーには 1 つのモデルだけが読み込まれているため、この値による選択は行われません。
OpenAI互換APIと、そのポートで公開されているその他の機能
POST /v1/chat/completions、POST /v1/completions、POST /v1/responses、POST /v1/embeddingsはOpenAI互換のルートです。GET /v1/modelsは読み込まれているモデルを返します。Embedding には、none以外の pooling に対応するモデルが必要です。GET /healthは前述の readiness check です。GET /propsはサーバーの現在の設定を返します。GET /metricsは、--metricsを指定して起動した場合に Prometheus のカウンターを公開します。
OpenAI互換 SDK から呼び出す場合は、base URL をhttp://127.0.0.1:8080/v1に設定します。SDK が API key を要求する場合は、空でない API key 文字列を指定してください。これですべての SDK 機能との互換性が保証されるわけではありません。--api-keyまたは--api-key-fileを自分で設定するまで、その key は検証されません。
他者が示すスループットを、自分の計画にそのまま使える数値と見なさないでください。CPU 推論の速度は、コア数、メモリ帯域幅、同じホストを共有する他の利用者に左右されます。そのため、自分の環境で 1 秒あたりのトークン数を測定し、その結果を基準にしてください。負荷の高い利用者による steal timeが発生すると、生成速度が時間帯によって変動します。
127.0.0.1 で待ち受け、前段にプロキシを置く
--host のデフォルト値はすでに 127.0.0.1 なので、変更するまでサーバーは外部から到達できません。そのままにしてください。ユーザーアカウント、リクエストレート制限、監査ログにはプロキシを使用します。組み込みの API 認証では静的キーを使用します。--api-key には 1 つのキーまたはコンマ区切りのリストを指定し、--api-key-file では 1 行に 1 つのキーを読み込みます。推論ポートを公開すると、見つけた人が無償で計算資源を利用できます。Ollama で同じ設定ミスをした場合も構造は同じです。セルフホスト型モデル API のアクセスを制限する の内容が、そのまま適用されます。
nginx で TLS(トランスポート層セキュリティ)を終端し、loopback ポートへプロキシします。
server {
listen 443 ssl;
server_name llm.example.com;
location /v1/ {
proxy_pass http://127.0.0.1:8080;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_buffering off;
proxy_read_timeout 600s;
}
}proxy_buffering off を使用すると、nginx はストリーミングレスポンスを受信した順にクライアントへ渡します。バッファリングを有効にすると、nginx は upstream のデータをバッファリングし、各イベントを直ちには転送しません。proxy_read_timeout 600s により、遅い応答を許容できます。これはサーバーからの 2 回の読み取りの間に nginx が待機する最長時間であり、レスポンス全体の上限ではありません。そのため、デフォルトの 60 秒では、非ストリーミングリクエストがその間まったくデータを送信しないとタイムアウトします。b10488 では、ストリーミングレスポンスがデフォルトで 30 秒ごとに SSE keepalive ping を送信します。長時間のプロンプト処理中も同様です。nginx で Certbot と Let's Encrypt を使用する で証明書を取得します。
systemd の unit
/etc/systemd/system/llama-server.serviceを記述します。
[Unit]
Description=llama.cpp server
After=network-online.target
Wants=network-online.target
[Service]
User=llama
Group=llama
Environment=LLAMA_ARG_MODEL=/srv/models/gemma-3-1b-it-Q4_K_M.gguf
Environment=LLAMA_ARG_HOST=127.0.0.1
Environment=LLAMA_ARG_PORT=8080
Environment=LLAMA_ARG_CTX_SIZE=4096
Environment=LLAMA_ARG_N_PARALLEL=1
Environment=LLAMA_ARG_THREADS=2
ExecStart=/usr/local/bin/llama-server --no-webui
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
MemoryHigh=3G
MemoryMax=3500M
OOMPolicy=stop
NoNewPrivileges=yes
PrivateTmp=yes
ProtectSystem=strict
ProtectHome=yes
[Install]
WantedBy=multi-user.target設定はEnvironment=の行に記述します。llama-serverはほとんどのフラグについてLLAMA_ARG_*変数を読み取り、コマンドライン引数が対応する変数を上書きするためです。これにより、コンテキストサイズを変更する場所を1か所に集約できます。また、ExecStartも一目で確認できる長さに保てます。
ProtectSystem=strictにより、この unit のファイルシステムは読み取り専用になります。プライベートな一時ディレクトリなどは例外です。サーバーはモデルを読み取るだけなので、この設定で問題ありません。サービス自体が-hfを使用してモデルをダウンロードする場合は、ReadWritePaths=/srv/modelsとEnvironment=LLAMA_CACHE=/srv/modelsを追加します。ProtectHome=yesは/home、/root、/run/userを隠します。ただし、このサービスアカウントの/srv/llamaにあるホームディレクトリは隠しません。ProtectSystem=strictにより、そのディレクトリも読み取り専用になります。
sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server
curl -s http://127.0.0.1:8080/health
journalctl -u llama-server -n 50 --no-pagerenable --nowは、見落とされがちなもう半分の設定です。enableがないと、次回の再起動後にサーバーが起動しなくなります。新しいリリースの夜間チェックなど、サービスに関連する定期処理を実行する場合は、systemd の service と timerを使用します。
OOM 発生前に動作を決める
メモリ使用量には 2 つの部分があり、制限下では異なる動作をします。モデルファイルはデフォルトで memory-mapped されるため、そのページは file-backed です。カーネルはページを破棄し、必要になったらディスクから再読み込みできます。KV cache は、サーバーがアクティブな各会話について保持するトークン単位の状態で、anonymous memory です。これは破棄できないため、プロセスが kill される原因になります。
そのため、unit に設定する 2 つの制限は役割が異なります。MemoryHigh=3G は soft limit です。この値を超えると、カーネルは cgroup に reclaim 圧力をかけます。その結果、memory-mapped されたモデルページが追い出され、次のトークン処理時にディスクから再読み込みされます。サービスは動作し続けますが、処理は遅くなります。MemoryMax=3500M は hard ceiling です。カーネルはまず可能な範囲でメモリを reclaim し、それでも使用量を制限内に収められない場合は unit 内で OOM killer を実行します。そのことは journal に明確に記録されます。
llama-server.service: A process of this unit has been killed by the OOM killer.--ctx-size は自分で設定します。デフォルトは 0 です。これはモデルの学習時のコンテキスト長を意味し、最新の long-context model では起動時に非常に大きな KV cache が割り当てられます。その結果、サービスはリクエストを 1 件も処理する前に停止します。--parallel は、それだけでこのコストを乗算するわけではありません。--ctx-size が全 slot で共有する KV cache の合計サイズを設定するため、--ctx-size 4096 --parallel 4 では各会話に約 1,024 トークンが割り当てられ、メモリ使用量が 4 倍になることはありません。各 slot にコンテキスト全体を割り当てると、--ctx-size に slot 数を乗算することになり、メモリ使用量も増加します。そのため、並列処理が必要だと分かるまでは --parallel を 1 のままにします。
Restart=on-failure を設定すると、kill されたサービスは復帰します。Systemd が start request repeated too quickly による再起動を停止するのは、起動回数が設定された rate limit を超えた場合だけです。ここでの 5 秒の再起動遅延は、デフォルトの 10 秒間に 5 回という制限には達しません。再起動ループが継続する場合は sudo systemctl stop llama-server で停止し、制限またはコンテキストサイズを修正します。その後、sudo systemctl reset-failed llama-server で failed 状態を解除して、再度起動します。
リクエストの実行中に systemctl show llama-server -p MemoryCurrent で実際の値を確認します。これらのディレクティブの詳細は、systemd でプロセスのメモリと CPU を制限するで説明しています。
このワークロードでは swap を避けます。swap に追い出されたモデルでは、各トークンの処理でランダムオフセットのディスク読み取りが発生します。モデルファイルを memory mapping すれば、カーネルは必要なページをファイルから直接読み込めるため、同じ効果をより少ない悪影響で実現できます。
Ollama のほうが適している場合
これは選択の分岐点です。設定したフラグ、固定したビルド、選択したファイルを使い、ほかのプロセスが動作していないため背後で何も変化しない、単一プロセスの構成を求める場合は llama-server を選びます。
モデル管理が必要な場合は Ollama を選びます。名前でモデルを取得する、複数のモデルをディスクに保持する、アイドル状態のモデルをアンロードする、再ビルドせずに単一のコマンドでアップグレードするといった操作が可能です。これらは、本来なら自分でスクリプト化する作業です。VPS で Ollama を実行する は、同じ作業について別のトレードオフを選択した構成です。どちらも OpenAI-compatible API を提供しますが、いずれの方向に切り替える場合も、クライアントが使用するエンドポイントと機能を事前にテストしてください。
固定したビルドをアップグレードする
bNNNNNを、移行先のnightlyビルドタグに置き換えます。公式リリースタグを使用する場合は、代わりにvX.Y.Zを使用します。
cd llama.cpp
git fetch --tags
git checkout bNNNNN
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-bNNNNN
sudo ln -sfn /usr/local/bin/llama-server-bNNNNN /usr/local/bin/llama-server
sudo systemctl restart llama-server古いバイナリはディスク上に残るため、ロールバックはllama-server-b10488へのln -sfnと再起動だけで実行できます。移行する前にリリースノートを確認してください。GGUFファイルにはバージョンがありますが、後方互換性は保証されません。現在のローダーはGGUFv1を拒否します。フラグの名前も変更されます。b10488では、--mlockと--no-mmapはすでに非推奨となり、--load-modeへの置き換えが推奨されていました。2026年10月11日時点の現行サーバードキュメントには、これらのフラグは記載されていません。そのため、削除されたフラグを渡すunitファイルは、認識できない引数のメッセージを表示して起動に失敗します。デフォルト値も変更されます。現行ビルドはデフォルトで9931番ポートを使用しますが、b10488では8080番ポートを使用していました。そのため、ここで示すすべてのコマンドとunitでは、ポートを明示的に設定しています。
障害パターンと表示される文字列
バイナリを別の場所にコピーした後に error while loading shared libraries: libllama.so と表示される場合。デフォルトのビルドでは、バイナリと同じ場所に共有ライブラリも生成されます。-DBUILD_SHARED_LIBS=OFF を指定して再ビルドするか、build/bin ディレクトリ全体をコピーします。
起動時または最初のリクエスト時に Illegal instruction (core dumped) と表示される場合。実行中の CPU とは異なる CPU 向けに、GGML_NATIVE を有効にしてバイナリをコンパイルしています。このマシン上で再ビルドするか、-DGGML_NATIVE=OFF を指定して設定します。
ビルド中に c++: fatal error: Killed signal terminated program cc1plus と表示される場合。コンパイラがメモリを使いすぎたため、強制終了されています。-j を下げるか、ビルド用に swap を追加し、完了後に削除します。
ノート PC から curl: (7) Failed to connect ... Connection refused と表示される場合。これは正しい動作です。サーバーは VPS の loopback アドレスで待ち受けています。VPS 自体でテストするか、ssh -L 8080:127.0.0.1:8080 user@your-vps でトンネルを開き、ローカルでは http://127.0.0.1:8080 を使用します。
再起動後の最初の数秒または数分間に、"message":"Loading model" を伴う HTTP 503 が返る場合。数 GB のファイルの読み込みには時間がかかります。また、systemd はプロセスの起動直後に unit を active と報告するため、モデルがメモリに読み込まれる前でも稼働中と判定します。
リクエストがハングした後、504 Gateway Time-out を返す場合。サーバーが proxy_read_timeout を超えて何も送信していません。これはストリーミングを使用しないリクエストで発生することがあります。b10488 のストリーミングリクエストでは、長時間のプロンプト処理中、デフォルトで 30 秒ごとに keepalive ping を送信します。proxy_read_timeout を増やし、proxy_buffering を無効にすると、生成されたトークンがそのままクライアントへ届くようになります。
start request repeated too quickly とともに unit が頻繁に再起動を繰り返した後、停止する場合。起動回数が設定済みのレート制限を超えています。journalctl -u llama-server で OOM killer の行を確認し、--ctx-size を下げるか、MemoryMax を増やします。
FAQ
llama.cpp の server と Ollama のどちらを VPS で実行すべきですか?
ビルドを正確に固定し、正確なフラグを渡し、知らないうちに更新されない単一のファイルに 1 つのモデルを保持したい場合は、llama-server を実行します。モデル管理、ワンコマンドでのアップグレード、名前によるモデルの取得、複数モデルのディスク上での管理、アイドル状態のモデルのアンロードを行いたい場合は Ollama を実行します。これらは本来、自分でスクリプト化する作業です。どちらも OpenAI 互換 API を提供しますが、切り替える際は、クライアントが使用するエンドポイントと機能を確認する必要があります。
どの llama.cpp バージョンを固定すべきですか?
実際にビルドしてテストしたタグであれば、どれでも構いません。Nightly 開発ビルドでは b10488 のようなビルド番号タグを使用し、2026 年 8 月 18 日にリリースされました。公式リリースでは、vX.Y.Z のようなセマンティックバージョンタグを使用します。--branch <tag> で clone し、そのタグを含むファイル名でバイナリをインストールして、そこへ symlink を向けます。これにより、アップグレードとロールバックをそれぞれ 1 コマンドで実行できます。
llama-server にはどの程度の RAM が必要ですか?
まず GGUF ファイルのサイズを基準にし、そこへ --ctx-size に応じて増加する KV cache の容量を加えます。この値は、すべての --parallel slot で共有される合計 token 予算です。そのため、各 slot で同じ context を維持するには、slot 数を増やすほど大きな --ctx-size が必要です。公開されている数値だけでは、自分の構成の測定結果の代わりになりません。合計値は、モデル、quantisation、許可する context に依存するためです。リクエストの処理中に systemctl show llama-server -p MemoryCurrent を実行し、表示された数値を使用してください。
「Loading model」と表示され、/health が 503 を返すのはなぜですか?
プロセスは起動していますが、モデルファイルはまだメモリに読み込まれていません。そのため、server は {"error":{"code":503,"message":"Loading model","type":"unavailable_error"}} を返します。これは再起動のたびに発生する正常な動作で、ファイルの読み込みにかかる時間だけ継続します。最初の 503 を client や proxy が致命的な障害として扱う場合にだけ問題になります。/health をポーリングし、{"status": "ok" } が返るまで待ってください。
llama-server をインターネットに直接公開できますか?
0.0.0.0 に bind して port を開放しないでください。アカウント、リクエストの rate limit、監査ログには proxy を使用します。組み込みの API authentication では、--api-key または --api-key-file で設定した static key を使用します。デフォルトの 127.0.0.1 bind を維持し、TLS を設定した nginx を前段に置き、--api-key も設定してください。これにより、proxy の設定ミスが 1 つあってもモデルが全員に公開される事態を防げます。