VPS에서 나만의 AI Agent 구축하는 방법

AI agent의 실제 정의

AI agent는 language model을 감싸고 있는 loop입니다. model이 상황을 읽고, 하나의 action을 결정하면, code가 해당 action을 실행합니다. 그 결과는 다시 model로 전달되며, task가 완료될 때까지 이 loop는 반복됩니다. 이것이 핵심 개념입니다. 일반적인 chatbot은 한 번 답변하고 멈춥니다. agent는 task를 완료할 때까지 자신의 turn 사이에 실제 action을 수행하며 계속 진행합니다.

action은 매우 중요한 부분입니다. language model 자체는 text만 생성할 수 있습니다. file을 읽거나, API를 호출하거나, command를 실행할 수 없습니다. agent는 model에게 사용 가능한 tool 세트와 이를 요청하는 방법을 제공합니다. model이 web을 검색하거나 file을 작성하려 할 때, model이 직접 작업을 수행하지는 않습니다. model은 structured request를 생성하고, code가 해당 tool을 실행한 뒤, 그 결과가 다음 turn에서 model이 읽을 데이터로 돌아옵니다. model은 판단을 담당하고, server는 실행을 담당합니다.

모든 task에 agent가 필요한 것은 아니며, 기본적으로 agent를 사용하는 것은 흔한 실수입니다. 만약 단계가 미리 정해져 있다면, 일반적인 script를 사용하는 것이 더 단순하고 빠르며 신뢰할 수 있습니다. "매시간 이 page를 가져와서 가격을 email로 보내줘"는 scheduled job이지 agent가 아닙니다. 경로가 미리 정해져 있지 않거나, model이 발견한 내용을 바탕으로 다음 행동을 결정해야 할 때 agent를 구축하십시오. agent의 비용은 예측 불가능성입니다. 따라서 유연성이 실질적인 이득을 줄 때만 사용하십시오.

Tools: agent의 행동 방식

tool은 model에게 전달하는 모든 기능이며, model이 언제 이를 사용할지 알 수 있도록 충분히 설명되어야 합니다. file 읽기, shell command 실행, database 쿼리, message 전송 등이 각각의 tool입니다. 각 tool은 name, 짧은 description, 그리고 input list를 가집니다. 사용자가 tool을 정의하면, model이 호출 시점을 결정합니다.

사용하는 model에 관계없이 메커니즘은 동일합니다. model은 tool의 이름과 input을 채운 structured request를 반환합니다. code는 이 request를 확인하여 일치하는 function을 실행하고, 결과를 다음 turn에 다시 보냅니다. model은 결과를 읽고 다른 tool을 호출하거나 최종 답변을 작성합니다. Function calling은 모든 agent의 기반이 되는 plumbing이며, 이를 구동하는 loop는 몇 줄의 일반적인 code로 구성됩니다.

이 단계에서 제어가 이루어집니다. model이 command 실행을 요청할 수 있지만, code가 실행을 선택하기 전까지는 아무것도 실행되지 않습니다. 이 간극을 통해 위험한 action에 대한 approval prompt, tool의 접근 권한 제한, agent가 수행한 모든 작업의 log를 배치할 수 있습니다. agent의 안전성은 제공된 tool과 그 앞에 배치한 검증 절차에 달려 있습니다.

MCP: tool 연결을 위한 표준 방식

모든 service에 대해 매번 새로운 integration을 직접 작성하는 것은 비효율적입니다. Model Context Protocol(MCP)은 이 문제를 해결하는 open standard입니다. file, database, issue tracker를 위해 각각 새로운 tool을 코딩하는 대신, 이미 이러한 기능들을 tool로 노출하고 있는 MCP server를 agent에 연결하면 됩니다. agent는 하나의 protocol로 통신하고, server가 실제 system과 통신하는 작업을 수행합니다.

이 방식의 이점은 재사용성입니다. 다른 사람이 특정 service를 위해 작성한 MCP server를 추가 코드 없이 agent에서 바로 사용할 수 있으며, 사용자가 작성한 server는 해당 protocol을 사용하는 모든 agent에서 사용할 수 있습니다. VPS 환경에서 이는 중요합니다. agent 옆에 각각 필요한 권한만 가진 작은 service로서 MCP server를 실행할 수 있기 때문입니다. 설정 방법은 running MCP servers on a VPS에서 다룹니다.

Memory and retrieval

language model은 호출 간에 자체적인 memory를 가지지 않습니다. 현재 task에 대해 model이 알아야 하는 모든 정보는 매 turn마다 전달되어야 합니다. 짧은 작업의 경우 전체 대화가 하나의 request에 포함되므로 문제가 없습니다. 하지만 작업이 길어지면 직접 memory를 관리해야 하며, 여기에는 두 가지 패턴이 있습니다.

첫 번째는 scratchpad입니다. agent에게 읽고 쓸 수 있는 file을 주고, 진행 과정에서 배운 내용을 기록하도록 지시합니다. 다음 turn이나 다음 session에서 agent는 해당 file을 다시 읽어 중단된 지점부터 작업을 재개합니다. 이는 plain document 형태의 memory이며, agent가 해당 file을 하나의 tool로 취급하기 때문에 가능합니다.

두 번째는 retrieval입니다. agent가 하나의 request에 담을 수 없는 방대한 양의 document에서 지식이 필요할 때, 해당 document들을 검색 가능한 형태로 저장한 뒤 필요한 부분만 model의 context에 포함시킵니다. 이 패턴을 retrieval-augmented generation(RAG)이라고 합니다. agent가 질문을 던지면, code가 일치하는 passage들을 찾아 model에게 전달합니다. 데이터 저장소는 server에 있으므로 개인적인 document가 외부로 유출되지 않습니다.

Many agents, one coordinator

대부분의 task는 여러 tool을 가진 하나의 agent으로 충분합니다. 하지만 task가 방대하거나 자연스럽게 여러 부분으로 나뉘는 경우, specialized sub-agents에게 작업을 위임하는 coordinator agent 구조가 효과적입니다. coordinator는 목표를 조각으로 나누어 해당 작업에 최적화된 sub-agent에게 전달하고, 결과를 결합합니다.

이 방식의 이점은 집중도입니다. 좁은 작업 범위와 제한된 tool set을 가진 sub-agent는 모든 것을 처리하려는 generalist보다 더 나은 결정을 내리며, 각 조각을 동시에 실행할 수도 있습니다. 단, coordination 비용이 발생하므로 task가 명확히 분리될 필요가 있을 때만 사용하십시오. 단순하게 시작하고, 하나의 agent이 한계에 도달했을 때 agent를 추가하십시오.

Self-hosted or hosted: agent 구동 모델 선택

model은 agent에서 사용자가 직접 실행할 필요가 없는 유일한 부분이며, 이를 어디에 둘지 결정하는 것이 가장 중요한 결정입니다. API를 통해 접근하는 hosted model은 별도의 운영 부담 없이 강력한 reasoning 능력을 제공합니다. text를 보내면 text를 받습니다. self-hosted model은 자신의 server에서 실행되므로 모든 request가 private하게 유지되며, token당 비용 대신 고정된 비용이 발생하고 외부 서비스의 가동 여부에 의존하지 않습니다. trade-off는 성능과 노력입니다. 최상급 hosted model은 직접 실행하는 것보다 성능이 뛰어나며, 직접 실행하려면 모델을 수용할 만큼 충분한 memory를 확보해야 합니다.

이 마지막 점이 실질적인 제약 사항입니다. model은 server의 memory(GPU를 사용하는 경우 video memory)에 적재되어야 합니다. 하드웨어에 비해 너무 큰 model은 로드되지 않습니다. self-hosted agent를 계획하기 전에, 원하는 model이 보유한 장비에 적합한지 확인하십시오:

수치가 맞지 않는다면 세 가지 대안이 있습니다: 더 작은 model을 선택하거나, quantization을 강화하여 크기를 줄이거나, reasoning에는 hosted API를 사용하고 server에는 tool과 data만 유지하는 것입니다. 많은 self-hosted agent 사용자들이 Ollama on a VPS를 통해 local model로 시작하여, 가장 어려운 단계에서 hosted API로 전환하는 방식을 취합니다.

The server is the dangerous part

shell command를 실행하고 file을 작성할 수 있는 agent는 강력하며, 바로 그 점 때문에 위험합니다. model의 판단은 우수하지만 완벽하지 않습니다. 잘못된 instruction, bug, 또는 악의적인 input은 유용한 agent를 잘못된 파일을 삭제하거나 기밀을 유출하는 존재로 만들 수 있습니다. 보안 작업은 선택 사항이 아니며, server 환경에서는 가장 중요한 부분입니다.

몇 가지 습관이 보안의 핵심입니다. agent는 root가 아닌 전용 unprivileged user로 실행하여 실수로 인한 피해 범위를 제한하십시오. 자세한 내용은 running services as an unprivileged user를 참조하십시오. API key와 같은 secrets는 code 외부에 두고 해당 user만 읽을 수 있게 하십시오. 또한 system에 접근하는 tool들은 sandbox 처리하여 agent가 꼭 필요한 자원에만 접근할 수 있도록 하십시오. 실제 self-hosted agent의 hardening 예시는 running OpenClaw safely on a VPS를 참조하십시오. 지능형 기능에 hosted model을 사용하고 싶다면, building an agent with Claude on a VPS 가이드에서 동일한 개념을 특정 model에 적용하는 방법을 확인할 수 있습니다.

실제 사례로는 building an OpenClaw-style personal agent가 있으며, 완성된 형태를 사용하고 싶다면 self-hosting Hermes Agent on a VPS 또는 running Agent Zero on your own server로 시작하십시오. the best self-hosted AI agents in 2026에서는 우리가 다루는 모든 ready-made 옵션을 비교 분석합니다.

FAQ

What is the difference between an AI agent and a chatbot?

Chatbot은 메시지에 답변하고 멈춥니다. Agent는 loop를 실행합니다. model이 action을 결정하고, code가 이를 실행하며, 결과가 model로 돌아오는 과정을 task가 끝날 때까지 반복합니다. 차이점은 agent는 단순히 text를 생성하는 것에 그치지 않고, file 읽기, command 실행, service 쿼리 등을 위해 tool을 호출하는 실제 action을 수행한다는 점입니다.

Do I need a GPU to run an AI agent on a VPS?

model을 self-host하는 경우에만 필요합니다. agent loop, tool, memory는 일반적인 code이므로 GPU가 없는 일반 VPS에서도 잘 작동합니다. GPU는 language model을 자신의 하드웨어에서 직접 실행하려 할 때 필요합니다. model이 memory에 적재되어야 하기 때문입니다. API를 통해 hosted model을 사용한다면, 무거운 연산은 다른 곳에서 수행되므로 적절한 사양의 VPS만으로도 충분합니다.

What is MCP and do I need it to build an agent?

MCP(Model Context Protocol)는 agent를 tool 및 data source에 연결하기 위한 open standard입니다. 모든 tool을 직접 코딩할 수 있으므로 반드시 필요한 것은 아닙니다. 하지만 MCP를 사용하면 공통 service를 위한 기존 server를 재사용할 수 있고, 자신의 system을 한 번만 노출하여 모든 agent이 사용할 수 있게 하므로 작업량을 줄여줍니다. 통합해야 할 서비스가 많아질수록 유용해지는 편의 기능입니다.

Is it safe to give an AI agent access to my server?

제한 사항을 둔다면 안전할 수 있습니다. command를 실행하는 agent의 안전성은 실행 계정의 권한과 허용된 tool에 달려 있습니다. unprivileged user로 실행하고, secrets에 대한 접근을 차단하며, filesystem에 접근하는 tool을 sandbox 처리하고, 되돌리기 어려운 action에는 승인 절차를 두십시오. agent를 영리한, 그러나 신뢰할 수 없는 code로 취급하고 task에 필요한 최소한의 권한만 부여하십시오.