VPS에서 나만의 AI 에이전트 직접 구축하기

AI 에이전트의 실체

AI 에이전트는 언어 모델을 감싸고 있는 루프입니다. 모델이 상황을 읽고 하나의 행동을 결정하면, 사용자의 코드가 그 행동을 수행하고, 결과가 다시 모델로 돌아가며, 작업이 완료될 때까지 이 루프가 반복됩니다. 이것이 핵심 개념입니다. 일반적인 챗봇은 한 번 답변하고 멈춥니다. 반면 에이전트는 사용자가 부여한 목표에 도달할 때까지 스스로 턴을 이어가며 실제 행동을 수행합니다. 이 루프는 오후 한나절이면 직접 작성할 수 있을 만큼 간단하며, 에이전트를 처음부터 단계별로 학습하는 경로는 바로 여기서 시작하여 도구, 메모리, 안전 장치를 추가해 나갑니다.

행동은 가장 중요한 부분입니다. 언어 모델은 그 자체로 텍스트만 생성할 뿐입니다. 파일 읽기, API 호출, 명령어 실행은 불가능합니다. 에이전트는 모델에게 사용할 수 있는 도구 세트와 이를 요청하는 방법을 제공합니다. 모델이 웹을 검색하거나 파일을 작성해야 할 때, 모델이 직접 작업을 수행하는 것이 아닙니다. 모델이 구조화된 요청을 내보내면, 사용자의 코드가 도구를 실행하고 그 결과를 모델이 읽을 다음 입력으로 전달합니다. 모델은 판단을 제공하고, 서버는 실행을 담당합니다.

모든 작업에 에이전트가 필요한 것은 아니며, 기본적으로 에이전트를 선택하는 것은 흔한 실수입니다. 단계가 미리 정해져 있다면 일반 스크립트가 더 간단하고 빠르며 신뢰할 수 있습니다. "매시간 이 페이지를 가져와서 가격을 이메일로 보내라"는 작업은 에이전트가 아니라 스케줄링된 작업입니다. 경로가 미리 고정되어 있지 않고, 모델이 발견한 내용을 보고 다음에 무엇을 할지 결정해야 할 때 에이전트를 구축하십시오. 에이전트의 비용은 예측 불가능성이므로, 유연성이 그만한 가치를 할 때만 사용해야 합니다.

도구: 에이전트의 동작 방식

도구란 모델이 필요할 때 사용할 수 있도록 충분히 설명된 모든 기능을 의미합니다. 파일 읽기, 셸 명령 실행, 데이터베이스 쿼리, 메시지 전송 등 각각은 이름, 짧은 설명, 입력값 목록을 가진 도구입니다. 사용자가 도구를 정의하면 모델은 언제 이를 호출할지 결정합니다. 웹 검색은 일반적으로 가장 먼저 추가할 가치가 있는 도구이며, 이미 자체 SearXNG 인스턴스를 운영 중이라면 상용 검색 API 비용을 지불하는 대신 이를 에이전트의 검색 백엔드로 전환할 수 있습니다.

사용하는 모델과 관계없이 메커니즘은 어디서나 동일합니다. 모델은 도구의 이름과 입력값을 채운 구조화된 요청을 반환합니다. 코드는 해당 요청을 확인하고 일치하는 함수를 실행한 뒤, 다음 턴에서 결과를 다시 보냅니다. 모델은 결과를 읽고 다른 도구를 호출하거나 최종 답변을 작성합니다. 함수 호출은 모든 에이전트의 기반이 되는 배관과 같으며, 이를 구동하는 루프는 몇 줄의 일반적인 코드로 구성됩니다.

이 지점이 바로 사용자의 통제권이 발휘되는 곳입니다. 모델은 명령 실행을 요청할 수 있지만, 코드가 실행을 선택하기 전까지는 아무것도 실행되지 않습니다. 이 간극에 위험한 작업에 대한 승인 프롬프트, 도구가 접근할 수 있는 범위에 대한 제한, 에이전트가 수행한 모든 작업의 로그를 배치할 수 있습니다. 에이전트의 안전성은 오직 사용자가 제공한 도구와 그 앞에 배치한 검사 절차에 의해 결정됩니다.

MCP: 도구 연결을 위한 표준 방식

모든 서비스에 대해 매번 수동으로 새로운 통합 기능을 작성하는 것은 금방 번거로운 일이 됩니다. Model Context Protocol(MCP)은 이를 해결하기 위한 개방형 표준입니다. 파일, 데이터베이스, 이슈 트래커를 위해 새로운 도구를 일일이 코딩하는 대신, 이미 해당 항목들을 도구로 노출하는 MCP 서버를 에이전트에 지정하면 됩니다. 에이전트는 하나의 프로토콜만 사용하고, 서버는 실제 시스템과 통신하는 작업을 수행합니다.

이 방식의 이점은 재사용성입니다. 다른 사람이 특정 서비스를 위해 작성한 MCP 서버를 별도의 통합 코드 없이 내 에이전트에서 바로 사용할 수 있으며, 내가 작성한 서버 역시 해당 프로토콜을 지원하는 모든 에이전트에서 사용할 수 있습니다. 일부 자체 호스팅 애플리케이션은 이제 자체 MCP 서버를 포함하여 배포합니다. 예를 들어 openGym, 운동 기록기는 읽기 전용 MCP 서버를 노출하므로, 에이전트는 훈련 기록을 변경하지 않고도 관련 질문에 답변할 수 있습니다. VPS 환경에서는 MCP 서버를 에이전트와 별도의 작은 서비스로 실행하고 각각 필요한 권한만 부여할 수 있어 매우 유용합니다. 서버 뒤에 있는 시스템이 가정이나 사무실의 데이터베이스처럼 VPS에서 직접 접근할 수 없는 네트워크에 위치한 경우, 서브넷 라우터를 사용하여 해당 네트워크를 tailnet에 알리면 에이전트는 공용 인터넷에 아무것도 노출하지 않고도 사설 주소를 통해 해당 시스템에 접근할 수 있습니다. 설정 방법은 VPS에서 MCP 서버 실행하기에서 다룹니다.

메모리와 검색

언어 모델은 호출 사이에 자체적인 메모리를 유지하지 않습니다. 현재 작업에 대해 모델이 알아야 할 모든 정보는 매 턴마다 전달되어야 합니다. 짧은 작업의 경우 전체 대화가 하나의 요청에 포함되므로 문제가 없습니다. 얼마나 많은 내용을 담을 수 있는지는 컨텍스트 윈도우(context window) 크기에 달려 있습니다. Ollama로 구동하는 자체 호스팅 모델은 기본값이 작게 설정되어 있어 가장 오래된 대화부터 조용히 삭제합니다. 따라서 모델이 내용을 잊어버린다고 탓하기 전에 루프에서 발생하는 트래픽에 맞춰 num_ctx를 설정하는 것이 좋습니다. 더 긴 작업을 수행하려면 직접 메모리를 관리해야 하며, 알아두어야 할 두 가지 패턴이 있습니다.

첫 번째는 스크래치패드(scratchpad)입니다. 에이전트가 읽고 쓸 수 있는 파일을 제공하고, 작업하면서 학습한 내용을 기록하도록 지시합니다. 다음 턴이나 다음 세션에서 에이전트는 해당 파일을 다시 읽고 중단했던 지점부터 작업을 이어갑니다. 이는 일반 문서 형태의 메모리이며, 에이전트가 파일을 하나의 도구로 취급하기 때문에 효과적입니다.

두 번째는 검색(retrieval)입니다. 에이전트가 한 번의 요청에 담을 수 없는 방대한 문서에서 지식을 가져와야 할 때, 해당 문서들을 검색 가능한 형태로 저장하고 필요할 때 관련 부분만 모델의 뷰로 가져옵니다. 이 패턴을 검색 증강 생성(Retrieval-Augmented Generation, RAG)이라고 합니다. 에이전트가 질문하면 코드가 일치하는 몇 개의 구절을 찾고, 그 내용만 모델에 전달합니다. 저장소는 서버 내부에 존재하므로 개인 문서는 외부로 유출되지 않습니다.

다수의 에이전트와 하나의 코디네이터

대부분의 작업은 다양한 도구를 갖춘 단일 에이전트로 충분합니다. 작업 규모가 크거나 자연스럽게 여러 부분으로 나뉘는 경우, 코디네이터 에이전트가 전문화된 하위 에이전트에게 작업을 위임하는 구조가 유리합니다. 코디네이터는 목표를 조각으로 나누고, 각 조각을 해당 작업에 최적화된 하위 에이전트에게 전달한 뒤 결과를 취합합니다. 위임에는 각 부분 간의 통신 채널이 필요하며, 가장 단순한 형태는 이미 서버에 존재합니다. 동일한 VPS에서 두 개의 Claude Code 세션을 실행하여 서로 메시지를 주고받는 방식은 별도의 조정 메커니즘을 구축하기 전에 핸드오프가 어떻게 작동하는지 파악할 수 있는 저비용 방법입니다.

이 방식의 장점은 집중력입니다. 좁은 범위의 작업과 제한된 도구 세트를 가진 하위 에이전트는 모든 것을 처리해야 하는 일반 에이전트보다 더 나은 결정을 내리며, 독립적인 작업 단위는 동시에 실행될 수 있습니다. 조정에 따른 비용이 발생하므로, 작업이 명확하게 더 많은 에이전트를 필요로 하기 전까지는 단일 에이전트 체제를 유지하십시오. 단순하게 시작하고, 단일 에이전트가 명백히 한계에 도달했을 때만 에이전트를 추가하십시오.

자체 호스팅 또는 호스팅 모델: 에이전트 실행 방식 선택

모델은 에이전트 구성 요소 중 직접 실행하지 않아도 되는 유일한 부분이며, 모델을 어디에 둘 것인지는 가장 중요한 결정 사항입니다. API를 통해 접근하는 호스팅 모델은 운영 부담 없이 가장 강력한 추론 성능을 제공합니다. 텍스트를 보내면 텍스트를 돌려받는 방식입니다. 자체 호스팅 모델은 본인의 서버에서 직접 실행되므로 모든 요청이 비공개로 유지되며, 토큰당 비용 대신 고정 비용이 발생하고 타 서비스의 가동 여부에 의존하지 않습니다. 다만 성능과 노력 측면에서 상충 관계가 존재합니다. 최고의 호스팅 모델은 개인이 직접 실행할 수 있는 모델보다 성능이 앞서며, 자체 모델을 실행하려면 모델을 수용할 충분한 메모리가 필요합니다.

마지막 지점이 현실적인 제약 사항입니다. 모델은 서버의 메모리에 적재되어야 하며, GPU를 사용하는 경우 비디오 메모리에 적재되어야 합니다. 하드웨어 사양보다 큰 모델은 로드되지 않습니다. 자체 호스팅 에이전트를 계획하기 전에, 사용하려는 모델이 보유한 장비에 적합한지 확인하십시오.

수치가 맞지 않는다면 세 가지 방법을 고려할 수 있습니다. 더 작은 모델을 선택하거나, 더 공격적인 양자화(quantization)를 적용하여 모델 크기를 줄이거나, 추론은 호스팅 API를 사용하고 서버에는 도구와 데이터만 유지하는 방식입니다. 많은 자체 호스팅 에이전트가 Ollama on a VPS를 통해 로컬 모델로 시작한 뒤, 가장 어려운 작업 단계에서 호스팅 API로 전환하는 방식을 취합니다.

서버는 가장 위험한 지점입니다

셸 명령을 실행하고 파일을 작성할 수 있는 에이전트는 강력하며, 바로 그 점이 위험 요소가 됩니다. 모델의 판단력은 우수하지만 완벽하지는 않습니다. 잘못된 지시, 버그, 또는 악의적인 입력은 유용한 에이전트를 잘못된 파일을 삭제하거나 비밀 정보를 유출하는 에이전트로 변질시킬 수 있습니다. 보안 작업은 선택 사항이 아니며, 서버 환경에서 가장 중요한 부분입니다.

몇 가지 습관이 보안의 대부분을 책임집니다. 에이전트는 root가 아닌 전용 권한 없는 사용자(unprivileged user)로 실행하여 실수의 영향 범위를 제한하십시오. 이는 권한 없는 사용자로 서비스 실행하기와 같은 논리입니다. API 키와 같은 비밀 정보는 코드에 포함하지 말고 해당 사용자만 읽을 수 있도록 관리하십시오. 또한 시스템에 접근하는 도구를 샌드박스화하여 에이전트가 꼭 필요한 자원에만 접근할 수 있도록 제한하십시오. 모든 확인 절차를 직접 작성하기 어렵다면, 설치할 가치가 있는 DeepSeek Harness 플러그인을 참고하십시오. 도구 권한 규칙, 프롬프트 인젝션 스캔, 에이전트의 최대 사용량 제한 등 준비된 해결책을 제공합니다. 실제 자가 호스팅 에이전트를 강화하는 구체적인 예시는 VPS에서 안전하게 OpenClaw 실행하기를 확인하십시오. 지능형 모델로 호스팅된 모델을 사용하고 싶다면, VPS에서 Claude로 에이전트 구축하기 가이드가 동일한 원칙을 특정 모델에 적용하는 방법을 안내합니다.

구체적인 실습 예시로 OpenClaw 방식의 개인용 에이전트 구축하기에서 이러한 요소들을 적용하는 방법을 다룹니다. 완성된 에이전트를 사용하고 싶다면 VPS에서 Hermes Agent 자가 호스팅하기 또는 자체 서버에서 Agent Zero 실행하기로 시작하십시오. 또한 2026년 최고의 자가 호스팅 AI 에이전트에서는 본 가이드에서 다루는 모든 완성형 옵션을 비교 분석합니다.

FAQ

AI 에이전트와 챗봇의 차이점은 무엇입니까?

챗봇은 메시지에 답변하고 종료됩니다. 반면 에이전트는 루프를 실행합니다. 모델이 작업을 결정하면 코드가 이를 수행하고, 결과가 다시 모델로 전달되며, 작업이 완료될 때까지 이 과정이 반복됩니다. 에이전트는 단순히 텍스트를 생성하는 것에 그치지 않고, 턴 사이에 파일을 읽거나 명령어를 실행하거나 서비스를 조회하는 등의 도구를 호출하여 실제 행동을 취한다는 점이 다릅니다.

VPS에서 AI 에이전트를 실행하려면 GPU가 필요합니까?

모델을 직접 호스팅하는 경우에만 필요합니다. 에이전트 루프, 도구, 메모리는 일반적인 코드이므로 GPU가 없는 일반 VPS에서도 잘 작동합니다. GPU가 중요한 경우는 언어 모델을 자신의 하드웨어에서 직접 실행하려 할 때이며, 이때 모델이 메모리에 적재되어야 하기 때문입니다. API를 통해 호스팅된 모델을 사용한다면 무거운 연산은 외부에서 처리되므로 적절한 사양의 VPS만으로도 충분합니다.

MCP란 무엇이며 에이전트를 구축할 때 반드시 필요한가요?

MCP(Model Context Protocol)는 에이전트를 도구 및 데이터 소스에 연결하기 위한 개방형 표준입니다. 각 도구를 직접 작성할 수 있으므로 반드시 필요한 것은 아닙니다. MCP는 공통 서비스에 기존 서버를 재사용하고, 한 번만 시스템을 노출하면 어떤 에이전트든 사용할 수 있게 하여 수고를 덜어줍니다. 통합할 서비스의 수가 늘어날수록 유용한 편의 기능입니다.

AI 에이전트에게 서버 접근 권한을 주는 것은 안전합니까?

제한된 환경에서 운영한다면 안전할 수 있습니다. 명령어를 실행하는 에이전트의 안전성은 해당 에이전트가 실행되는 계정의 권한과 허용된 도구에 달려 있습니다. 권한이 없는 일반 사용자로 실행하고, 비밀 정보를 접근할 수 없는 곳에 보관하며, 파일 시스템을 건드리는 도구는 샌드박스 환경에서 격리하고, 되돌리기 어려운 작업은 승인을 거치도록 하십시오. 에이전트를 똑똑하지만 신뢰할 수 없는 코드로 취급하고, 작업에 필요한 최소한의 권한만 부여하십시오.