СервераNEURO CORE
Модели
vLLM и три модели Qwen3 — генерация, эмбеддинги и rerank на localhost.
Все модели работают через vLLM локально на NEURO CORE. Внешний ИИ в MVP не используется — данные не покидают контур.
Три модели
| Модель | Роль | Вызов |
|---|---|---|
| Qwen3-32B | Генерация ответа (stream) | /v1/chat/completions |
| Qwen3-Embedding | Векторы вопросов и чанков | /v1/embeddings |
| bge-reranker-v2-m3 | Пересортировка кандидатов поиска | reranker endpoint |
Ресурсы GPU
| Параметр | Значение |
|---|---|
| Qwen3-32B на экземпляр | ~20–22 GB VRAM |
| Экземпляров на 2 картах | 2–3 |
| Пропускная способность vLLM | ~35–45 запросов/сек |
| Комфортная нагрузка чата | 150–250 одновременных |
Бэкпрешер к vLLM
Параллелизм к vLLM ограничивается на стороне NEURO CORE Service (бэкпрешер). Очередь запросов вместо залпа — GPU не резиновый.
Правила вызова
- Генерация — только в режиме stream; токены сразу уходят в ответ.
context.Contextпробрасывается до vLLM: школьник закрыл чат — генерация отменяется, GPU освобождается.- Один embedding-вызов на вопрос; при ingest — батчи.
- Одна модель эмбеддингов для документов и вопросов. Смена модели — реиндекс всей коллекции Qdrant (см. Хранилища).
Почему RAG, а не fine-tuning
| RAG | Fine-tuning | |
|---|---|---|
| Обновление знаний | Загрузка документа, минуты | Обучение, дни и GPU-часы |
| Источник ответа | Показываемые чанки | Непрозрачные веса |
| Риск деградации | Нет — веса не трогаются | Есть |
| Стоимость | Только ingest | Обучение + валидация |
Дообучение модели — кандидат на следующие этапы, не MVP.