Эксплуатация
Мониторинг
Prometheus, Loki, Grafana и Promtail — метрики, логи и алерты обоих серверов.
Стек наблюдаемости стоит на WEB PORTAL и собирает данные с обоих серверов. Grafana доступна только администраторам через VPN.
Что собирается
| Источник | Метрики |
|---|---|
| Go (оба сервера) | Задержки, ошибки, RPS |
| Redis | Кэш-попадания, глубина очереди Asynq, dead queue |
| MongoDB, Qdrant | Состояние, задержки запросов |
| Nginx | Статусы, соединения |
| vLLM | Загрузка GPU, длина очереди, токены/сек |
| Хост | CPU, RAM, GPU, диск |
Технические логи — в Loki (через Promtail с обоих серверов). Бизнес-журналы и аудит — в MongoDB, это разные потоки.
Ключевые дашборды и алерты
- Доступность сайта и ошибки
/api/v1. - Задержки чата и загрузка GPU.
- Всплеск блокировок WAF — признак атаки.
- Глубина и dead queue Asynq — застрявший ingest.
GET /v1/healthNEURO CORE — деградация чата.
Настроить до запуска
Алерт на всплеск отказов WAF и на рост dead queue настраивается до открытия портала школьникам, а не после первого инцидента.
Деградации, которые считаются штатными
| Событие | Поведение платформы |
|---|---|
| NEURO CORE недоступен | Портал работает без чата |
| Redis недоступен | Чат без кэша (медленнее), очередь копится |
| Loki недоступен | Сервисы работают, логи буферизуются Promtail |