Outline VPN 서버 VPS 직접 구축 및 설치 가이드
Outline VPN 서버를 VPS에 직접 호스팅하는 방법을 설명합니다. Docker 기반 설치 과정과 관리 API 포트 설정, 그리고 Shadowsocks 프로토콜이 숨기지 못하는 네트워크 트래픽의 한계점을 명확히 정리했습니다. 위키 서비스와 혼동하지 않도록 주의 사항을 확인하십시오.
Outline VPN 서버란 무엇인가
Outline VPN 서버를 직접 호스팅하려면 VPS에서 두 가지를 실행해야 합니다. 하나는 Shadowsocks 프록시 서버이고, 다른 하나는 그 앞단에서 동작하는 소규모 REST(representational state transfer) 관리 API입니다. 이 두 가지는 Outline Manager 데스크톱 앱을 통해 제어하며, 이 앱은 사용자에게 전달할 ss:// 형식의 액세스 키를 생성합니다. Outline을 선택하는 이유는 VPN을 차단하는 네트워크 환경에서 인터넷에 접속하기 위해서입니다. 이 도구는 최대 처리량을 내기 위해 설계된 것이 아닙니다.
먼저, 검색 결과에서 혼동이 잦으므로 용어를 명확히 정리하겠습니다. Outline VPN은 이 페이지에서 설명하는 우회 도구이며, getoutline.org에서 확인할 수 있습니다. Outline은 다른 도메인에서 다른 운영자가 관리하는 자체 호스팅 위키 및 지식 베이스 서비스의 이름이기도 합니다. 두 서비스는 이름만 같을 뿐 아무런 관련이 없습니다. 위키 서비스를 찾으러 오셨다면, 이 페이지는 잘못된 곳입니다.
Outline VPN은 누가 만드는가
대부분의 가이드는 여전히 Outline을 Google 제품으로 부릅니다. 이는 초기에는 사실이었으나 지금은 그렇지 않습니다. Outline은 2018년 Google 내부 인큐베이터인 Jigsaw에 의해 시작되었습니다. 2026년 10월 기준으로 프로젝트 공식 사이트는 Outline이 독립적인 비영리 단체인 Outline Foundation의 소유이며, 코드는 GitHub의 OutlineFoundation 조직 하에 있다고 명시합니다. 이는 해당 소프트웨어를 신뢰할지 결정할 때 중요합니다. 거버넌스에 대한 답변이 2018년과는 달라졌기 때문이며, 소유자를 잘못 기재한 가이드는 아마도 이미 변경된 저장소 경로를 인용하고 있을 가능성이 높습니다.
설치 프로그램이 서버에 실제로 설치하는 항목
설치 스크립트는 아무것도 컴파일하지 않습니다. 대신 Docker 컨테이너를 실행합니다.
shadowbox:quay.io/outline/shadowbox:stable이미지에서 실행됩니다. 이는 관리 서버이며, 데이터 평면으로 프로젝트의 Shadowsocks 백엔드인outline-ss-server를 실행합니다.watchtower: 타이머에 따라 더 새로운shadowbox이미지를 주기적으로 확인합니다. 기본값은 1시간마다 한 번이며, 새 이미지를 발견하면 컨테이너를 재시작합니다.- 자체 서명된 TLS(전송 계층 보안) 인증서와 개인 키: 서버의 상태 디렉터리에 기록됩니다. 공인 인증 기관(CA)을 거치지 않으므로, 관리자는 인증 체인을 검증하는 대신 SHA-256 지문(fingerprint)으로 해당 인증서를 고정(pinning)합니다.
상태 데이터는 /opt/outline 아래에 저장되며, 영구 파일은 /opt/outline/persisted-state에 위치합니다.
Watchtower는 단순히 넘길 문제가 아니라 결정이 필요한 부분입니다. 자동 이미지 업데이트는 사용자가 별도의 조치를 취하지 않아도 보안 패치가 즉시 적용된다는 장점이 있지만, 동시에 사용자가 검토했던 버전이 읽어보지 않은 변경 로그와 함께 하룻밤 사이에 바뀔 수 있다는 의미이기도 합니다. 본인에게 더 중요한 가치를 선택하십시오. 직접 업그레이드를 제어하고 싶다면 watchtower 컨테이너를 제거하고 사용자의 일정에 맞춰 직접 이미지를 pull 하십시오.
설치 프로그램이 실제로 확인하는 필수 조건
- 문서화된 명령어를 위한 64비트 x86 머신.
outline-apps저장소에서 문서화된 명령어로 다운로드하는 설치 프로그램은Unsupported machine type: ${MACHINE_TYPE}. Please run this script on a x86_64 machine오류와 함께 중단됩니다.OutlineFoundation/outline-server저장소의 최신 설치 프로그램 복사본은aarch64및arm64아키텍처도 허용합니다. 2026년 10월 12일 기준으로 문서화된 명령어는 해당 복사본을 가져오지 않으며,shadowbox이미지의stable태그는 멀티 아키텍처가 아닌 단일 이미지로 게시되었습니다. ARM은 테스트되지 않은 환경으로 간주하고, 플랜을 구매하기 전에 아키텍처를 확인하십시오. - Docker. Docker가 없으면 스크립트가 설치를 제안하며
Would you like to install Docker? This will run 'curl https://get.docker.com/ | sh'.을 출력합니다. Docker는 설치되어 있으나 데몬이 중지된 상태라면, 스크립트가systemctl enable --now docker.service을 사용하여 직접 시작을 시도합니다. 실패할 경우sudo systemctl enable --now docker를 사용하여 직접 시작한 뒤 설치 프로그램을 다시 실행하십시오. - 사용자와 관리자가 접근할 수 있는 호스트 이름 또는 주소.
--hostname으로 주소를 제공하면 설치 프로그램은 자동 IP 탐색 과정을 건너뜁니다. 그렇지 않으면 관리 URL과 액세스 키에 기록할 공인 IPv4 주소를 확인하기 위해 현재icanhazip.com,ipinfo.io및 Google 엔드포인트와 같은 외부 서비스에 질의합니다. 이러한 조회에 실패하면--hostname을 사용하여 호스트 이름이나 주소를 직접 제공하십시오. NAT(네트워크 주소 변환) 환경 뒤에 있다면 필요한 포트를 포트 포워딩해야 합니다. - sudo를 통한 root 권한.
프로젝트 문서에서는 지원되는 기반 운영체제로 Ubuntu 20.04 LTS 또는 Debian 10을 명시합니다. 모든 것이 컨테이너에서 실행되므로 최신 Ubuntu에서도 일반적으로 작동하지만, 이 경우 프로젝트에서 테스트하는 경로를 벗어나게 됩니다.
Outline VPN 서버 설치
이 명령은 2026년 10월 12일에 다시 확인한 developer.getoutline.org의 프로젝트 공식 문서에서 가져온 것입니다. 이 가이드를 포함하여 다른 곳에 복사된 내용을 신뢰하기보다 직접 해당 문서에서 명령어를 확인하십시오. 저장소는 이미 한 번 이전되었으며, 오래된 명령어를 사용하는 것은 보관된 경로에서 설치를 시도하는 원인이 됩니다.
sudo bash -c "$(wget -qO- https://raw.githubusercontent.com/OutlineFoundation/outline-apps/master/server_manager/install_scripts/install_server.sh)"스크립트를 실행하기 전에 내용을 읽어보십시오. 원격 URL을 root 셸로 바로 파이프하는 것은 해당 URL이 제공하는 내용을 즉시 실행한다는 의미입니다. 내용을 확인하는 데는 1분도 걸리지 않습니다.
wget -qO- https://raw.githubusercontent.com/OutlineFoundation/outline-apps/master/server_manager/install_scripts/install_server.sh | less세 가지 선택적 플래그를 사용하면 생성된 값을 그대로 사용하지 않고 직접 값을 지정할 수 있습니다.
Usage: install_server.sh [--hostname <hostname>] [--api-port <port>] [--keys-port <port>]
--hostname The hostname to be used to access the management API and access keys
--api-port The port number for the management API
--keys-port The port number for the access keys고정된 포트 번호를 기대하지 마십시오. --api-port 및 --keys-port 플래그를 생략하면 스크립트는 1023을 초과하는 포트 중 무작위로 하나를 각각 선택합니다. Outline에는 정해진 포트가 없으며, 특정 번호를 제시하는 가이드는 본인의 설치 환경을 인용하는 것일 뿐 귀하의 환경과는 다릅니다. 설치 실행 후 출력되는 포트 번호를 확인하십시오.
성공적으로 설치되면 스크립트는 CONGRATULATIONS! Your Outline server is up and running.로 시작하는 배너를 출력하며, 중괄호를 포함한 다음 줄을 복사하여 Outline Manager 인터페이스에 붙여넣으라고 안내합니다. 해당 줄은 다음과 같은 형태입니다.
{"apiUrl":"https://<your ip>:<api port>/<random secret>","certSha256":"<fingerprint>"}그런 다음 스크립트는 선택된 포트 번호를 채워 넣어 어떤 포트를 열어야 하는지 정확히 알려줍니다.
Make sure to open the following ports on your firewall, router or cloud provider:
- Management port ${API_PORT}, for TCP
- Access key port ${ACCESS_KEY_PORT}, for TCP and UDP터미널을 닫아 설정 줄을 잃어버렸더라도 서버에는 여전히 남아 있습니다. sudo cat /opt/outline/access.txt을 실행하면 다시 출력됩니다.
매니저를 열기 전에 컨테이너가 실제로 실행 중인지 확인하십시오.
sudo docker psshadowbox과 watchtower가 모두 Up 상태여야 합니다. shadowbox 컨테이너가 계속 재시작된다면 매니저가 연결되지 않으며, sudo docker logs shadowbox에서 그 이유를 확인할 수 있습니다.
관리 API 포트를 함부로 노출해서는 안 되는 이유
apiUrl를 다시 확인해 보십시오. 사용자 이름도 없고 비밀번호도 없습니다. 해당 URL의 무작위 경로 세그먼트가 인증의 전부이며, 이것이 보안 메커니즘의 전부입니다. 관리 포트에 접근할 수 있고 해당 경로를 아는 사람이라면 누구든 서버에 있는 모든 액세스 키를 읽고 삭제할 수 있습니다.
스크립트가 제안하는 UFW(Ubuntu의 Uncomplicated Firewall) 설정은 관리 포트를 전 세계 인터넷에 개방합니다.
sudo ufw allow ${API_PORT}/tcp이는 편리하지만, 필요한 수준을 넘어선 설정입니다. 액세스 키 포트는 사용자가 연결하는 지점이므로 전 세계에 열려 있어야 합니다. 하지만 관리 포트는 Outline Manager를 실행하는 곳에서만 접근할 수 있으면 충분합니다. 범위를 좁히십시오.
sudo ufw allow <keys port>/tcp
sudo ufw allow <keys port>/udp
sudo ufw allow from <your admin ip> to any port <api port> proto tcp더 좋은 방법은 공용 방화벽에서 관리 포트를 닫아두고, 이미 운영 중인 사설 터널을 통해 접근하는 것입니다. VPS에 직접 호스팅하는 WireGuard VPN 구축 과정을 완료했다면, Outline 서버를 해당 터널에 참여시켜 터널 주소로만 API 응답을 받도록 설정할 수 있습니다. 이렇게 하면 공용 IP를 포트 스캔했을 때 액세스 키 포트 외에는 아무것도 나타나지 않습니다. 대부분의 제공업체는 서버 내부 방화벽 외에도 제어판에서 별도의 네트워크 방화벽을 제공하며, 두 방화벽 모두에서 허용 설정이 되어야 함을 기억하십시오.
해당 설정 라인에 관한 두 가지 사실을 추가로 알려드립니다. Outline 문서에서는 이 정보를 민감한 데이터로 분류하며, 일반 이메일이나 채팅이 아닌 암호화된 채널을 통해 관리 권한이 필요한 사람에게만 공유할 것을 권장합니다. 또한, 한 번 공유된 관리 설정을 무효화하는 것은 매우 어렵습니다. 수동으로 설치한 서버의 경우, 공유된 관리 설정을 무효화하는 공식적인 방법은 서버를 완전히 재설치하는 것뿐이며, 이 과정에서 발급했던 모든 사용자 액세스 키도 초기화됩니다. 이 문자열을 서버의 root 비밀번호처럼 취급하십시오. 실제 운영 환경에서 이 문자열은 root 비밀번호와 다를 바 없기 때문입니다.
액세스 키 발급 및 취소
Outline Manager는 버튼 하나로 키를 생성합니다. 내부적으로는 비밀 API 경로에 대한 일반적인 HTTP 요청을 수행하므로, 스크립트로 자동화할 수 있습니다.
API="https://SERVER_IP:API_PORT/SECRET_PATH" # the apiUrl from access.txt
curl -k "$API/access-keys"
curl -k -X POST "$API/access-keys"
curl -k -X PUT "$API/access-keys/3/name" -H 'Content-Type: application/json' -d '{"name":"anna-laptop"}'
curl -k -X DELETE "$API/access-keys/3"-k은 인증서가 자체 서명되었기 때문에 필요합니다. 이 옵션이 없으면 curl은 SSL certificate problem: self-signed certificate 오류와 함께 중단되며 요청을 전송하지 않습니다. 또한 API는 키별 데이터 제한 기능을 제공합니다. PUT /access-keys/{id}/data-limit를 사용하여 제한을 설정하고 DELETE /access-keys/{id}/data-limit을 사용하여 해제할 수 있습니다. 이를 통해 특정 사용자의 기기 백업이 월간 대역폭 할당량을 모두 소진하는 상황을 방지할 수 있습니다.
사용자당 하나의 키를 발급하십시오. 이는 전체 시스템의 정상 작동을 결정짓는 핵심 규칙입니다. 키를 취소한다는 것은 키를 삭제하는 것을 의미하며, 서버는 즉시 해당 키의 수락을 중단합니다. 따라서 퇴사자가 발생하면 삭제 명령을 실행하는 즉시 접근 권한이 차단됩니다. 만약 10명이 하나의 키를 공유한다고 가정해 보십시오. 그중 한 명만 권한을 회수할 수 없습니다. 키를 삭제하면 10명 모두의 연결이 끊기며, 나머지 9명에게 다시 키를 발급하느라 저녁 시간을 허비하게 될 것입니다. 각 키에 사용자 이름을 지정해야 삭제 명령을 안전하게 실행할 수 있습니다.
삭제가 수행하지 않는 작업에 대해 명확히 이해해야 합니다. ss:// 문자열은 이미 누군가에게 전달한 비밀 정보입니다. 키를 삭제하면 서버가 해당 키를 더 이상 신뢰하지 않게 되며, 이는 관리자가 제어할 수 있는 범위입니다. 이미 전송된 메시지 자체를 회수할 수는 없습니다. 따라서 키가 유출되었다면 해당 키를 삭제하고 새로운 키를 발급하십시오. 기존에 유출된 복사본이 사라졌다고 가정해서는 안 됩니다.
Outline은 전체 터널이 아닌 프록시입니다
WireGuard를 사용하다가 넘어온 사람들이 가장 놀라는 차이점입니다. Shadowsocks는 TCP 및 UDP 연결을 프록시를 통해 전달합니다. 서버에는 네트워크 인터페이스, 피어 주소, 라우팅 테이블 항목이 없으며, 서버 뒤에 있는 서브넷에 대한 개념도 존재하지 않습니다. outline-ss-server는 TCP와 UDP를 전달하므로 브라우저, 앱, DNS는 모두 정상적으로 작동합니다. ping은 작동하지 않는데, 이는 ICMP(internet control message protocol)가 Shadowsocks 프록시가 전달하는 프로토콜에 포함되지 않기 때문입니다. curl https://ifconfig.me로 테스트하여 반환되는 주소가 본인의 주소가 아닌 서버의 주소인지 확인하십시오.
그 결과는 명확히 설명할 가치가 있습니다. Outline은 배포할 경로가 없으므로 WireGuard 피어가 10.20.0.0/16에 도달하는 방식처럼 Outline 서버 뒤의 사설 네트워크에 접근할 수 없습니다. Outline으로 두 서버를 서로 연결할 수도 없습니다. 클라이언트 간의 피어 투 피어 트래픽도 존재하지 않습니다. 또한 이는 휴대폰이 터널을 통해 자체 호스팅된 사진 서버로 카메라 롤을 동기화하는 일반적인 가정용 설정도 불가능하게 만듭니다. 따라서 그러한 목적이라면 PhotoPrism과 Immich 비교를 통해 먼저 서버를 선택하고, 프록시가 아닌 라우팅이 가능한 VPN을 사용하십시오. 주소와 경로가 있는 실제 네트워크가 필요하다면 Outline은 적합한 도구가 아니며, WireGuard와 OpenVPN 비교가 더 나은 출발점이 될 것입니다.
난독화의 기능과 한계
Shadowsocks는 첫 바이트부터 암호화와 인증을 수행합니다. 평문 핸드셰이크, 프로토콜 버전 필드, 인증서 교환, 고정 헤더가 존재하지 않습니다. 네트워크상에서 연결은 높은 포트로 향하는 무작위 바이트 스트림처럼 보입니다. 이것이 Outline의 핵심 논리입니다. WireGuard 핸드셰이크나 OpenVPN의 첫 패킷 내 opcode를 식별하도록 설정된 DPI(심층 패킷 분석) 장비는 이 트래픽에서 일치하는 패턴을 찾을 수 없습니다. outline-ss-server은 --replay_history을 통해 활성화할 수 있는 재전송 방지(replay protection) 기능도 제공합니다. 이는 검열관이 캡처한 패킷을 다시 전송하여 서버의 응답을 확인하는 능동적 탐지 공격을 무력화합니다.
이제 솔직한 한계를 설명합니다.
- 흐름을 숨기지는 못합니다. 트래픽은 여전히 특정 주소로, 상당한 양이, 장시간에 걸쳐 전송됩니다. 타이밍과 트래픽 양 분석은 페이로드를 읽을 수 있는지 여부와 관계없이 작동합니다.
- 익명성을 보장하지 않습니다. 서비스 제공업체는 서버 임대자를 알고 있으며 대개 결제 정보를 보유합니다. 또한 방문하는 모든 사이트는 서버의 주소를 확인하게 됩니다. VPS 임대와 VPN 서비스 구매의 차이에서는 본인 명의의 서버를 사용하는 것이 위협 모델을 제거하는 것이 아니라 변경하는 것임을 다룹니다.
- 주소 차단을 막지 못합니다. 검열관이 서버의 IP를 차단하면 난독화는 무의미합니다. 난독화할 데이터 자체가 도착하지 않기 때문입니다.
- 키 공유를 막지 못합니다. 공개 그룹 채팅에 게시된 키는 검열관이 수집하여 사용할 수 있습니다. 이는 검열관에게 정확히 어떤 주소를 차단해야 할지 알려주는 꼴이 됩니다.
위의 마지막 두 가지 이유 때문에 대규모 우회 서비스는 여러 주소를 순환하며 신중하게 배포해야 합니다. 이는 Tor 프로젝트가 브리지(bridge)를 통해 해결하고자 했던 문제와 정확히 일치합니다. 따라서 상대방이 서버를 임대하는 속도보다 더 빠르게 주소를 차단한다면, 두 번째 VPS를 임대하기 전에 Tor 브리지와 플러그형 전송이 비공개 진입점을 배포하는 방식을 먼저 읽어보시기 바랍니다.
Outline과 대안 선택하기
네트워크에서 VPN 프로토콜을 차단하고, 지원 대상 사용자가 설정 파일을 직접 수정하기 어려운 상황이라면 Outline을 선택하십시오. 문자열 하나를 보내고 앱에 붙여넣기만 하면 됩니다. 이것은 실질적인 장점이며, Outline이 존재하는 주된 이유입니다.
네트워크에서 허용된다면 WireGuard를 선택하십시오. 더 빠르고 커널에서 동작하며, 라우팅 가능한 네트워크를 제공하고, 유지 관리해야 할 요소가 훨씬 적습니다. 전체 빌드 방법은 WireGuard VPN 서버 가이드에 있습니다.
상대방이 프로토콜이 아닌 주소를 차단하거나, 연결성뿐만 아니라 익명성도 필요하다면 브리지나 플러그형 전송(pluggable transport)을 선택하십시오.
검열이 아닌 기기 관리(fleet management)가 문제라면 제어 평면(control plane)이 있는 메시 네트워크를 선택하십시오. 키를 직접 배포하고 주소를 수동으로 할당하는 방식은 12여 대의 머신부터는 확장이 불가능하기 때문입니다. 자체 호스팅 NetBird 서버를 사용하면 이러한 관리 부담을 덜 수 있습니다. 제어 평면을 직접 운영하고 싶지 않다면 먼저 Tailscale 무료 플랜의 실제 적용 범위를 확인하십시오. 가정용 기기 규모라면 무료로 운영할 수 있는 경우가 많기 때문입니다. Tailscale의 무료 개인 플랜은 비상업적 용도로만 사용할 수 있습니다. 소규모 상업 팀은 단순히 숫자 제한을 충족한다고 해서 자격이 주어지는 것은 아닙니다.
FAQ
Outline VPN은 Outline 위키와 같은 것입니까?
아닙니다. 두 프로젝트는 이름만 같을 뿐 서로 관련이 없습니다. Outline VPN은 getoutline.org에서 제공하는 검열 우회 도구로, Shadowsocks 서버와 REST 관리 API로 구성되며 Outline Manager 데스크톱 앱으로 제어합니다. Outline 위키는 팀을 위한 자체 호스팅 지식 베이스이며 다른 도메인을 사용합니다. "self-host Outline"으로 검색하면 두 결과가 모두 나옵니다. 설치 명령을 복사하기 전에 도메인을 확인하십시오.
Outline VPN은 여전히 Google 제품입니까?
아닙니다. 2026년 10월 기준으로 더 이상 Google 제품이 아닙니다. Outline은 2018년 Google 내 인큐베이터인 Jigsaw에서 시작되었으며, 이전 가이드에 나오는 "Google VPN"이라는 문구는 그 역사에서 비롯된 것입니다. 현재 프로젝트 공식 사이트에는 Outline이 독립적인 비영리 단체인 Outline Foundation의 소유이며, 소스 저장소는 GitHub의 OutlineFoundation 조직 하에 있다고 명시되어 있습니다.
Outline 서버는 어떤 포트를 사용합니까?
설계상 고정된 포트는 없습니다. 설치 시 --api-port 및 --keys-port를 전달하지 않으면 관리 API용으로 1023을 초과하는 무작위 포트를, 액세스 키용으로 또 다른 무작위 포트를 선택합니다. 설치가 끝나면 두 포트를 모두 출력하며, 방화벽과 공급자의 네트워크 방화벽에서 관리 포트는 TCP로, 액세스 키 포트는 TCP 및 UDP로 열라고 안내합니다. 출력을 잃어버렸다면 sudo cat /opt/outline/access.txt을 통해 포트가 포함된 관리 URL을 다시 확인할 수 있습니다.
Outline을 사용하여 사설 네트워크에 접근할 수 있습니까?
아닙니다. Shadowsocks는 Layer 3 터널을 구축하는 대신 TCP 및 UDP 연결을 프록시하므로, 서버에는 인터페이스나 그 뒤의 네트워크로 향하는 경로가 없습니다. WireGuard 피어에는 AllowedIPs = 10.20.0.0/16을 할당하여 해당 대역에 접근할 수 있지만, Outline에는 라우팅할 대상이 없으므로 이에 상응하는 설정이 없습니다. 사설 네트워크 접근에는 WireGuard를 사용하고, 공개 인터넷 접속에는 Outline을 사용하십시오.
다른 사람의 접근 권한을 어떻게 제거합니까?
Outline Manager에서 해당 액세스 키를 삭제하거나 관리 API에 DELETE /access-keys/{id}를 사용하여 삭제하십시오. 서버는 즉시 해당 키의 사용을 중단합니다. 이 방법은 각 사용자가 자신의 키를 보유하고 있을 때 가장 깔끔하게 작동하므로, 사용자별로 키를 하나씩 생성하고 이름을 지정하십시오. 관리 권한을 취소하는 것은 훨씬 복잡한 문제입니다. 수동으로 설치한 서버에서 공유된 관리 설정을 복구하는 문서화된 해결책은 전체 재설치이며, 이 과정에서 모든 사용자 키가 동시에 초기화됩니다.