База на знаења

healthCheckTimeout: 900

models:
  main:
    name: Qwen3.8-27b-FP8
    ttl: 10800 #3 часа
    aliases:
      - qwen3.8-27b-fp8-vllm
    cmd: |
      vllm serve Qwen/Qwen3.8-27B-FP8
      --served-model-name main
      --hf-config-path Qwen/Qwen3.8-27B-FP8
      --tokenizer Qwen/Qwen3.8-27B-FP8
      --dtype bfloat16
      --quantization fp8
      --kv-cache-dtype bfloat16
      --gpu-memory-utilization 0.85
      --cpu-offload-gb 0
      --tensor-parallel-size 1
      --pipeline-parallel-size 1
      --max-model-len 131072
      --max-num-seqs 4
      --max-num-active-seqs 4
      --max-num-batched-tokens 16384
      --enable-chunked-prefill
      --enable-prefix-caching
      --long-prefill-token-threshold 8192
      --long-prefill-token-threshold-adaptive
      --performance-mode throughput
      --renderer-num-workers 4
      --host 127.0.0.1
      --port ${PORT}
      --uvicorn-log-level info

      --language-model-only
      --enable-per-request-metrics
      --enable-force-include-usage

      --per-request-spec-decode-metrics summary

      --enable-auto-tool-choice
      --tool-call-parser qwen3_coder

      --override-generation-config '{"presence_penalty": 1.5, "temperature": 0.7, "top_p": 0.80, "top_k": 20, "min-p": 0.0 }'
      --speculative-config '{"method": "mtp", "num_speculative_tokens": 3}'
      --default-chat-template-kwargs '{"enable_thinking": false}'

Пояснения к ключевым параметрам:

• ttl: 10800 — время (в секундах), по истечении которого llama-swap выгрузит модель из памяти при отсутствии запросов. Это освобождает VRAM, если модель долго не используется.
• --dtype bfloat16 / --quantization fp8 / --kv-cache-dtype bfloat16 — веса модели хранятся в FP8 (экономия VRAM вдвое по сравнению с FP16/BF16), а вычисления и KV-cache ведутся в bfloat16 для сохранения точности.
• --gpu-memory-utilization 0.85 — доля VRAM видеокарты, которую vLLM может занять под веса модели и KV-cache. Для GA100 CMP-170HX с 64 ГБ это значение выбрано так, чтобы оставить запас памяти под систему и другие сервисы (embedding/rerank модели).
• --max-model-len 131072 — максимальная длина контекста модели (131к токенов), поддерживаемая Qwen3.8-27B.
• --max-num-seqs 4 / --max-num-batched-tokens 16384 — ограничивают число одновременно обрабатываемых последовательностей и суммарный батч токенов, балансируя между пропускной способностью и задержкой ответа.
• --enable-chunked-prefill / --enable-prefix-caching — ускоряют обработку длинных промптов и повторно используют уже вычисленный KV-cache для одинаковых префиксов запросов.
• --performance-mode throughput — режим приоритизации суммарной пропускной способности над задержкой одного запроса, что оптимально для сценариев с несколькими параллельными пользователями.
• --enable-auto-tool-choice / --tool-call-parser qwen3_coder — включают поддержку вызова инструментов (tool calling / function calling) с парсером, специфичным для семейства моделей Qwen3.
• --override-generation-config — переопределяет параметры сэмплирования по умолчанию (температура, top_p, top_k и т.д.) для более предсказуемой генерации.

Отдельно про speculative decoding (MTP): параметр --speculative-config '{"method": "mtp", "num_speculative_tokens": 3}' включает Multi-Token Prediction — технологию спекулятивного декодирования, которая заметно повышает скорость генерации на стадии decode. Однако за счёт этого активируются дополнительные («спекулятивные») слои модели, что увеличивает потребление VRAM. При 3 MTP-головах (num_speculative_tokens: 3) важно внимательно следить за процентом занятой видеопамяти — если он близок к пределу, возможно, придётся уменьшить контекстное окно.

Про распределение VRAM: при --gpu-memory-utilization 0.85 вся выделенная память делится между весами модели и KV-cache. Согласно логам запуска в нашей конфигурации размер KV-cache составил порядка 363 тыс. токенов, что при контексте 131072 токена даёт конкурентность около 2.77 — то есть одновременно можно обрабатывать практически 3 параллельных запроса максимальной длины. Если нужно увеличить конкурентность:

• уменьшите num_speculative_tokens до 2 — это освободит часть VRAM под KV-cache ценой некоторого снижения скорости генерации токенов;
• либо увеличьте долю VRAM под KV-cache другим способом, не трогая MTP.

Если нужно увеличить контекстное окно (max-model-len), важно следить за процентом потребляемой VRAM, чтобы избежать ошибок OOM (Out Of Memory). Скорее всего, понадобится выделить больше памяти под KV-cache и, в крайнем случае, полностью отключить MTP. Также можно нарастить --gpu-memory-utilization, но при этом нужно помнить, что часть VRAM должна оставаться для других моделей (embedding, rerank) и для системных нужд.

Подробное описание всех параметров запуска доступно в официальной документации vLLM: https://docs.vllm.ai/en/latest/cli/serve — рекомендуем клиентам обращаться туда при возникновении вопросов по тонкой настройке.

8.2 Конфигурация embedding и rerank моделей (опционально, для RAG)

Эти модели не являются основным чат-ботом (unlisted: true скрывает их из списка в OpenWebUI), но используются внутренне для функций поиска по базе знаний (embedding) и переранжирования найденных фрагментов (rerank). Для них выделяется минимум VRAM (--gpu-memory-utilization 0.04), так как сами модели компактные, а режим interactivity приоритизирует низкую задержку ответа над пропускной способностью, что уместно для коротких embedding/rerank запросов.

config.yaml

models:
  embedding:
    unlisted: true
    ttl: 10800
    aliases:
      - bge-m3
    cmd: |
      vllm serve BAAI/bge-m3
      --host 127.0.0.1
      --port ${PORT}
      --served-model-name embedding
      --runner pooling
      --convert embed
      --dtype float16
      --max-model-len 4096
      --max-num-seqs 32
      --max-num-batched-tokens 8192
      --gpu-memory-utilization 0.04
      --performance-mode interactivity
      --renderer-num-workers 2

  rerank:
    unlisted: true
    ttl: 10800
    cmd: |
      vllm serve BAAI/bge-reranker-v2-m3
      --host 127.0.0.1
      --port ${PORT}
      --served-model-name rerank
      --runner pooling
      --convert classify
      --dtype float16
      --max-model-len 4096
      --max-num-seqs 32
      --max-num-batched-tokens 8192
      --gpu-memory-utilization 0.04
      --performance-mode interactivity
      --renderer-num-workers 2

8.3 Запуск и проверка работы

Запустите связку llama-swap + OpenWebUI командой:

docker compose up -d

При первом запуске произойдёт сборка образа из Dockerfile, после чего контейнеры запустятся. Проверить статус можно командой:

docker compose ps

Если статус обоих сервисов — Up, значит контейнеры успешно запущены. После этого сервисы доступны локально по адресам:

• llama-swap: http://localhost:3000
• OpenWebUI: http://localhost:8080

Для доступа из браузера извне необходимо добавить DNAT-правила в Edge VMware Cloud Director: выберите Edge виртуального датацентра, в котором создана ВМ, перейдите в раздел NAT и добавьте два DNAT-правила — для каждого из них укажите внешний IP, внешний порт, тип соединения TCP, внутренний IP (локальный адрес ВМ) и внутренний порт (3000 для llama-swap, 8080 для OpenWebUI), а также разрешённые Source Port и Source IP.

После настройки NAT-правил сервисы станут доступны в браузере по адресу http://{внешний IP}:{внешний порт}.

8.4 Включение поддержки llama.cpp в llama-swap (опционально)

Если клиенту помимо vLLM нужно запускать модели на движке llama.cpp (например, в формате GGUF), необходимо добавить в директорию ~/services/llama-swap скрипт-обёртку llama-server-wrapper.sh:

#!/bin/sh

export LD_LIBRARY_PATH="/opt/llama-cuda/compat:/opt/llama-cuda/nccl:/app:${LD_LIBRARY_PATH}"

exec /app/llama-server "$@"

Дело в том, что кастомный образ изначально собирается на базе окружения vLLM, поэтому по умолчанию переменная LD_LIBRARY_PATH указывает на CUDA-библиотеки, совместимые с vLLM, но не подходящие для llama.cpp. Этот скрипт переопределяет порядок поиска библиотек, указывая llama.cpp использовать совместимые с ним CUDA-библиотеки в первую очередь. Без этого скрипта llama.cpp будет завершаться с ошибкой из-за попытки использовать несовместимые CUDA-библиотеки, предназначенные для vLLM.

После добавления скрипта соответствующую модель в config.yaml необходимо запускать через llama-server-wrapper вместо прямого вызова llama-server, указав путь к GGUF-файлу модели и нужные параметры запуска.

8.5 Возможности RAG в интерфейсе OpenWebUI

OpenWebUI поддерживает как подключение внешних источников знаний, так и создание локальных баз знаний непосредственно в интерфейсе.

Интерфейс входа:

Главная страница чата:

Настройка внешних источников знаний выполняется в разделе Настройки → Админ → Интеграции → Внешние источники знаний:

Имеется возможность создания и использования нативных баз знаний OpenWebUI (локальная загрузка документов в базу, последующий выбор базы в чате при помощи #). Для этого необходимо перейти в раздел Рабочее пространство → Знания → Создать:

Добавление файлов в создаваемую нативную базу знаний:

Поиск по созданной базе знаний:

Примечание: по умолчанию функционал создания и настройки баз знаний доступен только пользователям роли "Администратор", но при желании есть возможность предоставить доступ отдельным пользователям.

9. Показатели инференса

По результатам тестирования связки на GA100 CMP-170HX 64 ГБ с моделью Qwen3.8-27B-FP8 получены следующие показатели скорости:

• Prefill (обработка входного промпта): примерно 1800–2000 токенов/сек.
• Decode (генерация ответа): в среднем 75–90 токенов/сек. При параллельных запросах или при генерации коротких ответов возможны просадки до 50–70 токенов/сек. На отдельных задачах, напротив, может наблюдаться прирост скорости до 100–130 токенов/сек.