작성자 Matt Connor
Kolibri-1 자체 호스팅 하드웨어 사양 및 실행 가이드
Kolibri-1 모델을 자체 서버에서 구동하기 위한 필수 하드웨어 요구 사항을 정리했습니다. FP8 가중치 78GB를 처리하기 위해 필요한 H200 GPU 또는 듀얼 GPU 구성과 vLLM 실행 환경 정보를 확인하십시오. 2026년 10월 최신 모델 카드 기준으로 작성되었습니다.
Kolibri-1 자체 호스팅: 짧은 답변
Kolibri-1을 자체 호스팅하는 것은 가능하지만, 일반적인 VPS에서는 불가능합니다. 하이델베르크의 Aleph Alpha는 이 모델을 Apache 2.0 라이선스로 공개했습니다. FP8 형식의 가중치 크기는 약 78 GB입니다. 공식적인 방법은 최소 한 대의 H200 또는 각각 80 GB 메모리를 탑재한 두 대의 그래픽 카드를 사용하여 vLLM을 구동하는 것입니다. CPU, GGUF, llama.cpp 또는 Ollama를 사용하는 공식적인 방법은 존재하지 않습니다.
독일의 많은 독자에게 가장 중요한 질문은 "데이터가 사내에 머무르는가?"입니다. Kolibri-1을 사용하면 가능하며, 라이선스도 이를 제한하지 않습니다. 문제는 하드웨어입니다.
정보 기준일: 이 내용은 Aleph-Alpha/Kolibri-1의 모델 카드 개정판 e52eb4627d11516b0c01de49210ab5a4e4061444(Hugging Face, 2026년 10월 3일)과 패키지 aleph-alpha-inference 버전 1.0.0을 기준으로 합니다. 마지막 확인일은 2026년 10월 13일입니다. 이후 개정판에서는 수치가 달라질 수 있습니다. 하드웨어를 대여하거나 구매하기 전에 반드시 확인하십시오.
Kolibri-1 Model Card의 주요 사양
- 아키텍처: MoE (Mixture of Experts). 모델은 전문가라 불리는 다수의 하위 네트워크로 구성됩니다. 토큰당 소수의 전문가만 연산에 참여합니다.
- 크기: 총 780억 개의 파라미터로 구성되며, 토큰당 34억 6천만 개가 활성화됩니다. 50개의 레이어에 각각 384개의 전문가가 있으며, 토큰당 6개가 선택됩니다.
- 컨텍스트: 262,144 토큰을 네이티브로 지원합니다. Model Card에 따르면 1,048,576 토큰까지 품질이 검증되었습니다.
- 가중치:
float8_e4m3fn형식의 FP8(8비트 부동소수점)을 사용하며, 128×128 블록 단위로 구성됩니다. Embedding과 LM-Head는 bfloat16을 사용합니다. Model Card에 따르면 총 용량은 약 78 GB입니다. 저장소 자체의 크기는 78.9 GB입니다. - 학습 데이터: 영어 62.5%, 독일어 23.9%, 코드 13.6% 비율로 구성되며, 20조 개의 토큰으로 사전 학습되었습니다. 독일어 단어 구조에 최적화된 토크나이저가 포함되어 있습니다.
- 라이선스: Apache 2.0. 저장소는 비공개(gated) 상태가 아니므로 별도의 접근 권한 요청이 필요하지 않습니다.
가장 중요한 내용은 첫 두 줄에 있습니다. 34억 6천만 개의 활성 파라미터는 토큰당 연산량이 적음을 의미합니다. 하지만 메모리 요구량은 전체 780억 개의 파라미터를 기준으로 합니다. 라우터가 토큰마다 다른 전문가를 선택하기 때문에, 모든 전문가는 항상 그래픽 메모리에 상주해야 합니다. 즉, MoE 모델은 작은 모델처럼 연산하지만 메모리는 큰 모델만큼 점유합니다.
토크나이저 또한 실질적인 효과를 냅니다. 토크나이저는 텍스트를 토큰으로 분해합니다. 언어와 맞지 않는 토크나이저를 사용하면 긴 독일어 단어가 여러 개의 작은 조각으로 나뉩니다. 이는 컨텍스트와 연산 시간을 낭비하게 만듭니다. 독일어에 최적화된 토크나이저는 동일한 텍스트를 더 적은 토큰으로 처리합니다.
Model Card의 벤치마크 수치
Aleph Alpha는 파인튜닝된 모델에 대해 두 가지 종합 점수를 제시합니다. 이 수치는 독립적인 테스트가 아닌 제조사의 자체 평가 결과입니다.
이 차트의 데이터
[
{
"label": "Deutsch (Overall DE)",
"overall": 70.8
},
{
"label": "Englisch (Overall EN)",
"overall": 75.5
}
]Model Card에 따르면 Kolibri-1은 독일어에서 70.8 점, 영어에서 75.5 점을 기록했습니다. 이 모델 역시 영어 성능이 다소 우세합니다. 귀하의 작업에 적합한지는 실제 문서를 사용하여 직접 테스트해야 확인할 수 있습니다.
Pharia 대비 변경 사항
Aleph Alpha의 이전 모델 시리즈 명칭은 Pharia였습니다. Pharia-1-LLM-7B-control의 Model Card는 Open Aleph License를 명시했습니다. 해당 라이선스는 비상업적 연구 및 교육 목적만 허용했습니다. 상업적 이용을 위해서는 Aleph Alpha에 직접 문의해야 했습니다. 반면 Kolibri-1은 Apache 2.0을 따릅니다. 따라서 라이선스 텍스트와 고지 사항을 포함하는 조건으로 기업 내에서 모델을 사용하거나 수정하여 재배포할 수 있습니다.
Kolibri-1은 어떤 GPU가 필요한가?
이 카드는 두 가지 단계를 제시합니다. 최소 사양은 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 또는 1× B300입니다. 권장 사양은 2× H100 SXM5, 2× H200, 1× B200 또는 1× B300입니다.
왜 H100 한 대로는 부족합니까? 계산은 간단합니다. VRAM(비디오 랜덤 액세스 메모리)에서 모델 가중치를 뺍니다. 남은 공간은 vLLM이 주로 KV-캐시를 위해 사용합니다. KV-캐시는 컨텍스트 내의 각 토큰에 대한 어텐션 레이어의 키(keys)와 값(values)을 저장합니다. 이 캐시가 없으면 모델은 컨텍스트를 유지할 수 없습니다.
이 차트의 데이터
[
{
"config": "1\u00d7 H100 80 GB",
"vram_gb": 80,
"gewichte_gb": 79,
"rest_gb": 1
},
{
"config": "1\u00d7 H200",
"vram_gb": 141,
"gewichte_gb": 79,
"rest_gb": 62
},
{
"config": "2\u00d7 A100 80 GB",
"vram_gb": 160,
"gewichte_gb": 79,
"rest_gb": 81
},
{
"config": "2\u00d7 H100 SXM5",
"vram_gb": 160,
"gewichte_gb": 79,
"rest_gb": 81
},
{
"config": "2\u00d7 H200",
"vram_gb": 282,
"gewichte_gb": 79,
"rest_gb": 203
}
]H100의 용량은 80 GB이며, 가중치가 차지하는 용량은 79 GB입니다. 계산상 남는 공간은 1 GB입니다. 이는 의미 있는 컨텍스트를 처리하기에 부족합니다. H200은 62 GB의 여유 공간을 제공하며, H200 두 대를 사용하면 203 GB의 여유가 생깁니다. 실제 가용 자원은 이보다 더 작습니다. vLLM은 기본적으로 그래픽 메모리의 92%만 사용하며(--gpu-memory-utilization, vLLM 0.29.0 기준 기본값 0.92), 활성화 값(activations) 또한 메모리를 점유합니다. 위 수치는 반올림된 추정치이며 실제 측정값이 아닙니다.
아키텍처의 두 가지 특성이 KV-캐시의 부담을 줄여줍니다. 첫째, 카드에 따르면 Kolibri-1은 슬라이딩 윈도우 어텐션 레이어와 전체 어텐션 레이어를 4:1 비율로 결합합니다. 슬라이딩 윈도우 레이어는 고정된 윈도우 내의 토큰만 저장하므로, 캐시 크기가 전체 컨텍스트 길이에 비례하여 증가하지 않습니다. 둘째, 카드는 --kv-cache-dtype fp8 사용을 권장합니다. 이를 통해 각 캐시 항목은 16비트 대비 절반의 메모리만 차지합니다. 그럼에도 전체 어텐션 레이어는 토큰이 추가될 때마다 메모리 사용량이 증가합니다. 262.144 토큰 환경에서는 H200 한 대로도 메모리가 부족해질 수 있습니다.
일반 VPS에서 Kolibri-1을 실행할 수 없는 이유
Aleph Alpha는 GPU를 사용하는 vLLM을 통한 방법만 공개하고 있습니다. 모델 카드에는 CPU 구동, GGUF, llama.cpp 또는 Ollama에 대한 언급이 없습니다. 일반적인 CPU VPS에는 그래픽 메모리가 없으므로 이 방식을 위한 기본 요건을 갖추지 못했습니다.
그럼에도 Hugging Face에는 커뮤니티에서 만든 GGUF 변환 모델들이 존재합니다. "kolibri-1 gguf" 검색 결과, 2026년 10월 6일에는 8개의 저장소가 있었고, 2026년 10월 13일에는 11개로 늘어났습니다. Q4_K_M 파일은 약 47,5 GB 크기로, 이론상 64 GB RAM을 탑재한 서버에 들어갈 수 있습니다. 그러나 2026년 10월 6일에 확인한 저장소들은 공통적으로 일반 llama.cpp가 kolibri1 아키텍처를 인식하지 못한다고 명시하고 있습니다. 특정 커밋에 패치된 버전이 필요합니다. 2026년 10월 13일까지도 이 상황은 변하지 않았습니다. llama.cpp에는 Kolibri-1 관련 오픈된 기능 요청(Feature Request)만 존재합니다. 일부 작성자들이 긴 컨텍스트를 테스트한 사례는 있습니다. Prompt48은 Q4_K_M을 A100에서 구동했을 때 195.935 토큰에서, 확장된 컨텍스트에서는 718.803 토큰에서 테스트 정보(Needle)를 정확히 찾아냈다고 보고했습니다. Hob-forge는 -c 262144를 사용한 실행에서 최대 253.646 토큰까지 3개의 숨겨진 사실을 찾아냈습니다. 이는 검색 테스트일 뿐 벤치마크는 아닙니다. Prompt48과 Hob-forge는 FP8 원본과의 벤치마크 비교가 없다는 점을 명시했습니다. 기업용 데이터에 적용할 근거로는 부족하며, 실험적인 단계입니다.
모델의 양자화 방식에 따라 필요한 RAM 용량은 LLM 모델 크기와 RAM 용량 가이드에서 단계별로 계산할 수 있습니다. 왜 vLLM이 도구로 사용되는지는 Ollama와 vLLM 비교에서 설명합니다. vLLM은 GPU에서 다수의 병렬 요청을 처리하기 위해 설계되었고, Ollama는 양자화된 모델을 쉽게 시작하기 위한 도구입니다.
Kolibri-1과 vLLM 설치하기
적절한 NVIDIA GPU와 드라이버가 설치된 Linux 서버가 필요합니다. 임대 시 고려해야 할 사항은 GPU 탑재 VPS 개요를 참조하십시오. 먼저 시스템 사양을 확인합니다.
nvidia-smi --query-gpu=name,memory.total --format=csv출력 결과에는 카드별 이름과 MiB 단위의 메모리 용량이 표시됩니다. H100은 약 81,000 MiB, H200은 약 143,000 MiB를 보고해야 합니다. 명령 실행 시 드라이버 정보가 나타나지 않는다면 NVIDIA 드라이버가 설치되지 않은 상태입니다. 이 경우 vLLM은 GPU를 인식할 수 없습니다.
다음으로 전용 Python 환경을 생성합니다. 해당 패키지는 vLLM과 PyTorch를 특정 버전 범위로 가져옵니다. 전용 환경을 사용하면 서버의 다른 프로그램과 충돌하지 않습니다.
sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inference카드는 pip install 'aleph-alpha-inference>=1'을 작성합니다. 여기서 버전은 1.0.0으로 고정되어 있습니다. 이렇게 하면 이후 버전 업데이트로 인해 설정이 의도치 않게 변경되는 것을 방지할 수 있습니다. 1.0.0 버전은 Python 3.10 이상과 0.29.0 이상 0.30.0 미만의 vLLM을 요구합니다. 따라서 pip show는 vLLM 버전 0.29.x를 표시해야 합니다. 이 패키지는 vLLM용 플러그인입니다. 추론 및 도구 호출을 위한 파서 kolibri1을 등록합니다. 플러그인이 없으면 vLLM은 해당 이름을 인식하지 못합니다.
Aleph Alpha는 컨테이너 이미지 ghcr.io/aleph-alpha/aleph-alpha-inference도 제공합니다. 컨테이너 기반으로 GPU 서버를 운영한다면 이 방식을 사용할 수 있습니다.
vLLM 원격 측정 비활성화
vLLM은 기본적으로 익명 사용 통계를 전송합니다. 서버 외부로 데이터가 나가지 않아야 한다면 시작 전에 이를 비활성화하십시오.
export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1서버 시작하기
명령어는 카드 지침을 따르되, 고정 리비전과 localhost 바인딩이라는 두 가지 요소를 추가합니다.
vllm serve Aleph-Alpha/Kolibri-1 \
--revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
--host 127.0.0.1 --port 8000 \
--kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1 \
--enable-auto-tool-choice--revision는 로드할 가중치 버전을 지정합니다. 이 옵션이 없으면 vLLM은 main의 최신 버전을 로드합니다. Aleph Alpha가 저장소를 변경하면 다음 다운로드 시 모델이 변경될 수 있습니다. --host 127.0.0.1는 API를 로컬에서만 접근 가능하게 만듭니다. 이 옵션이 없으면 vLLM은 모든 네트워크 인터페이스에서 대기합니다. 방화벽이 허용하는 즉시 포트 8000이 외부에 노출됩니다.
GPU가 2개라면 --tensor-parallel-size 2를 추가하십시오. 이 옵션은 각 레이어를 두 카드에 분산합니다. 이 옵션이 없으면 vLLM은 GPU를 하나만 사용하며, 80GB 카드 하나에는 가중치를 모두 올릴 수 없습니다.
첫 시작 시 vLLM은 Hugging Face에서 약 79 GB를 ~/.cache/huggingface으로 다운로드합니다. 이를 위한 충분한 디스크 공간과 Python 환경을 확보하십시오. 첫 다운로드가 성공적으로 완료되면 export HF_HUB_OFFLINE=1을 사용하여 Hugging Face와의 추가 통신을 차단할 수 있습니다. 이후 가중치는 로컬 캐시에서만 불러옵니다.
262,144 토큰의 전체 컨텍스트를 수용할 메모리가 부족하면 vLLM이 시작되지 않습니다. 이때 오류 메시지는 최대 시퀀스 길이에 대한 KV 캐시가 너무 작다는 점을 지적합니다. 이 경우 --max-model-len 65536과 같이 더 작은 제한을 설정하십시오. 1,048,576 토큰까지의 확장 컨텍스트는 카드에서 --max-model-len 1048576 및 --hf-overrides '{"max_position_embeddings": 1048576}'으로 시작합니다. 이는 훨씬 더 많은 메모리를 필요로 하므로 권장 사양 환경에서만 사용해야 합니다.
모델 응답 확인
로그에 서버가 포트 8000에서 실행 중이라는 메시지가 뜨면 OpenAI 호환 API를 테스트합니다.
curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'첫 번째 호출은 모델 목록에 Aleph-Alpha/Kolibri-1을 포함해야 합니다. 두 번째 호출은 choices[0].message.content가 파리를 언급하는 JSON을 반환해야 합니다. enable_thinking: false은 해당 요청에 대해 사고 모드를 비활성화합니다. 기본값은 활성화 상태입니다. 카드에 따르면 none 값을 가진 reasoning_effort도 영향을 미칩니다. 샘플링 설정으로 카드는 temperature=1.0, top_p=0.97, top_k=128을 권장합니다.
사용자의 컴퓨터에서 접근하기 위해 포트를 개방할 필요는 없습니다. SSH 터널로 충분합니다.
ssh -L 8000:127.0.0.1:8000 user@dein-server이후 사용자의 컴퓨터에서 http://127.0.0.1:8000를 통해 API에 접근할 수 있습니다. 네트워크 내 다른 서비스가 접근해야 한다면 --api-key을 추가로 설정하고 앞에 TLS(transport layer security)를 적용한 리버스 프록시를 배치하십시오.
Kolibri-1을 1시간 사용하는 비용은 얼마입니까?
GPU 대여 비용은 제공업체와 지역에 따라 크게 다릅니다. 아래 계산은 2026년 10월 기준 두 가지 가정을 사용합니다. H200은 시간당 3.50유로, H100 SXM5는 시간당 2.50유로이며, 모두 부가가치세가 제외된 온디맨드(on demand) 가격입니다. 전문 GPU 제공업체는 이보다 저렴할 수 있고, EU 지역의 하이퍼스케일러는 훨씬 비싼 경우가 많습니다. 실제 견적을 대입하십시오. 계산 방식은 동일합니다.
이 차트의 데이터
[
{
"plan": "1\u00d7 H200, rund um die Uhr",
"eur_pro_stunde": 3.5,
"stunden_pro_monat": 730,
"eur_pro_monat": 2555
},
{
"plan": "2\u00d7 H100 SXM5, rund um die Uhr",
"eur_pro_stunde": 5,
"stunden_pro_monat": 730,
"eur_pro_monat": 3650
},
{
"plan": "1\u00d7 H200, nur B\u00fcrozeit",
"eur_pro_stunde": 3.5,
"stunden_pro_monat": 176,
"eur_pro_monat": 616
}
]한 달은 평균 730 시간입니다. H200을 24시간 내내 가동하면 월 2555 유로가 소요됩니다. 권장 사양인 H100 2개를 사용할 경우 3650 유로가 듭니다. 업무 시간에만, 즉 22일 동안 하루 8시간씩 총 176 시간만 가동한다면 616 유로를 지불하게 됩니다. 단, 시작할 때마다 가중치를 그래픽 메모리에 다시 로드해야 하므로 몇 분의 시간이 소요됩니다.
API 토큰 비용과 비교했을 때 언제 경제적입니까?
2026년 10월 현재 Kolibri-1에 대해 호스팅된 API는 없습니다. 따라서 토큰 가격과의 비교는 '자체 GPU에서 구동하는 Kolibri-1'과 'API를 통해 사용하는 다른 모델' 간의 비교를 의미합니다. 계산을 위해 입력 및 출력 토큰을 합산한 100만 토큰당 가격을 저가 모델 0.50유로, 고가 모델 2유로로 가정합니다.
이 차트의 데이터
[
{
"plan": "1\u00d7 H200, rund um die Uhr",
"mio_token_bei_0_50_eur": 5110,
"mio_token_bei_2_eur": 1277.5,
"token_pro_sekunde_bei_0_50_eur": 1944
},
{
"plan": "2\u00d7 H100 SXM5, rund um die Uhr",
"mio_token_bei_0_50_eur": 7300,
"mio_token_bei_2_eur": 1825,
"token_pro_sekunde_bei_0_50_eur": 2778
},
{
"plan": "1\u00d7 H200, nur B\u00fcrozeit",
"mio_token_bei_0_50_eur": 1232,
"mio_token_bei_2_eur": 308,
"token_pro_sekunde_bei_0_50_eur": 1944
}
]100만 토큰당 0.50유로일 때, 24시간 가동하는 H200의 비용을 회수하려면 월 5110 백만 토큰 이상을 처리해야 합니다. 이는 쉬지 않고 24시간 내내 초당 평균 1944 토큰을 처리해야 함을 의미합니다. 100만 토큰당 2유로일 경우, 업무 시간 전용 모델의 손익분기점은 308 백만 토큰으로 낮아집니다. 단일 카드가 프롬프트 길이와 응답 길이의 조합으로 이 처리량을 감당할 수 있는지는 직접 측정해야 합니다. 이 계산은 단지 어떤 규모부터 고려해야 하는지를 알려줄 뿐입니다.
가동률과 유휴 시간을 포함한 상세한 방법은 GPU 서버 대 API 토큰 손익분기점 계산에서 확인할 수 있습니다. Kolibri-1에는 표에 나타나지 않는 한 가지 요소가 더 있습니다. 데이터 보안을 위해 Kolibri-1을 직접 호스팅하려는 경우, 애초에 API와 비교하지 않는 경우가 많습니다. 문서가 외부로 반출되어서는 안 된다면 API는 선택지에서 제외됩니다. 이때의 핵심 질문은 'EU 데이터 센터에서 위탁 처리 계약(AVV)을 맺고 GPU를 대여할 것인가' 아니면 '자체 하드웨어를 구매할 것인가'입니다. 대여한 GPU 역시 제3자의 시설에 위치합니다. GDPR(일반 데이터 보호 규정)에 따르면 이는 자체 운영이 아닌 위탁 처리에 해당합니다.
소규모 로컬 모델이 정답인 경우
Kolibri-1은 해당 모델의 강점이 필요한 상황에서 가치가 있습니다. 카드(Card)에 따르면 도구 호출 및 긴 컨텍스트를 활용한 문서 처리가 이에 해당합니다. 262.144 토큰을 사용하면 한 번의 요청으로 계약서 폴더 전체를 처리할 수 있습니다. 작업이 짧다면 계산은 달라집니다.
이메일 분류나 짧은 요약 작업에는 보통 70억에서 140억 개의 파라미터를 가진 모델로 충분합니다. 4비트로 양자화하면 16~32 GB RAM을 갖춘 CPU 기반 VPS에서 Ollama를 통해 구동할 수 있습니다. GPU보다 느리지만 하루 수백 건의 요청을 처리하기에는 충분합니다. Ollama를 VPS에서 직접 호스팅하는 방법에서 관련 내용을 확인할 수 있습니다. 이 경우 GPU 시간당 비용이 아닌 일반적인 서버 월 이용료만 발생합니다.
같은 제조사의 소규모 모델로는 Pharia-1-LLM-7B-control이 있습니다. 하지만 라이선스 텍스트에 따르면 Open Aleph License는 비상업적 및 비관리적 목적의 사용만 허용합니다. 따라서 기업용으로는 적합하지 않습니다.
정직한 판단을 위해서는 테스트가 필요합니다. 일상적인 작업 50개를 선정하십시오. 시간 단위로 대여한 GPU에서 Kolibri-1을 사용해 해결하고, CPU 기반 VPS에서 소규모 모델을 사용해 해결한 뒤 답변을 비교하십시오. 몇 시간의 테스트 대여 비용은 잘못된 하드웨어 구매 비용에 비하면 매우 적습니다.
다른 오픈 모델에서 동일한 질문이 어떻게 처리되는지는 Kimi K3를 직접 호스팅하는 데 필요한 것에서 확인할 수 있습니다. 비교를 통해 모델의 위치를 파악할 수 있습니다. Kolibri-1은 약 78 GB의 가중치를 가지며 단일 카드에 탑재 가능한 모델에 속합니다.
FAQ
Kolibri-1을 상업적으로 이용할 수 있습니까?
네. 모델 카드에 따르면 Kolibri-1은 Apache 2.0 라이선스를 따릅니다. 라이선스 문구와 고지 사항을 포함한다면 기업 내에서 사용하거나 수정하여 배포할 수 있습니다. 이는 이전 Pharia 시리즈와 다른 점입니다. Pharia-1-LLM-7B-control 모델 카드는 Open Aleph License를 명시하고 있으며, 해당 라이선스 문구에 따라 비상업적 및 비행정적 목적만 허용됩니다.
Kolibri-1을 Ollama나 CPU에서 실행할 수 있습니까?
공식적으로는 불가능합니다. Aleph Alpha는 NVIDIA GPU에서 플러그인 aleph-alpha-inference를 사용하는 vLLM 방식만 공개합니다. 여러 커뮤니티 저장소에서 Q4_K_M 형식의 약 47,5 GB 크기 GGUF 파일을 제공하지만, 일반 llama.cpp가 kolibri1 아키텍처를 인식하지 못하므로 패치된 llama.cpp가 필요합니다. 일부 작성자가 700.000 토큰 이상의 긴 컨텍스트에서 검색 테스트를 통과했다고 보고했으나, 그들 스스로도 FP8 원본과의 벤치마크 비교는 없다고 밝히고 있습니다.
80 GB 메모리를 탑재한 H100 한 대로 Kolibri-1을 실행할 수 있습니까?
아니요. FP8 가중치만으로도 약 78 GB를 차지합니다. 컨텍스트를 유지하는 KV 캐시를 위한 공간이 거의 남지 않습니다. 모델 카드는 최소 사양으로 H100 SXM5 2대 또는 H200 1대를 권장합니다. 카드가 2대일 경우 --tensor-parallel-size 2 옵션으로 vLLM을 시작하십시오.
Kolibri-1의 사고 모드(Thinking Mode)를 끄려면 어떻게 해야 합니까?
사고 모드는 기본적으로 활성화되어 있습니다. 요청 시 JSON 본문에 "chat_template_kwargs": {"enable_thinking": false}을 사용하여 끌 수 있습니다. 모델 카드에 따르면 reasoning_effort에 none 값을 설정하는 것도 효과가 있습니다. 모드가 활성화된 경우 --reasoning-parser kolibri1이 사고 텍스트와 실제 답변을 구분합니다.