Схема рабочей нагрузки

Пространство для более тяжёлого эксперимента

Планируйте ресурсы для законного обучения, тонкой настройки и повторяемой работы с моделями.

2 мин чтенияРусский

Контент пересмотрен · Русский

Кратко
Архитектура для оценки
LoRA / QLoRA / полное дообучение
Подготовленные отправные точки
3 тарифов

Подходящий список, а не установленное программное обеспечение или актуальный инвентарь.

Обязанности
Приложение, права и восстановление
ПОЛЕЗНАЯ ЧАСТЬ

Держите это в поле зрения.

  • LoRA / QLoRA / полное дообучение.
  • Сделайте стек и данные воспроизводимыми.
  • Пользовательское оборудование — это запрос, а не наличие на складе.
01

LoRA / QLoRA / полное дообучение

Инференс, адаптация адаптера и полное дообучение имеют разные требования к памяти. Веса — лишь часть памяти обучения: активации, состояние оптимизатора и градиенты также важны. Проверьте размер пакета, длину последовательности, точность и стратегию контрольных точек в реальном эксперименте.

02

Сделайте стек и данные воспроизводимыми

Проект может использовать CUDA, PyTorch, Transformers, Accelerate или связанные инструменты после проверки совместимости. Записывайте версии окружения, права на наборы данных, случайные зерна и результаты оценки. Безопасно размещайте данные и храните контрольные точки зашифрованными в отдельном месте восстановления.

03

Пользовательское оборудование — это запрос, а не наличие на складе

Подготовленный каталог показывает конфигурации для одного устройства. Топология с несколькими GPU, схема NVLink, короткий срок пиковой нагрузки или индивидуальная дата поставки требуют отдельного предложения и проверки совместимости. Планировщик с почасовой оплатой или инвентарь с несколькими H100 не подключены.

04

Начните с эксперимента

Размер набора данных, параметры модели, размер пакета и состояние оптимизатора определяют потребность в памяти. Проверьте совместимость фреймворка и установленный драйвер GPU перед тем, как брать обязательство на длительный запуск.

05

Держите работу воспроизводимой

Код версии, определения среды и происхождение набора данных. Записывайте контрольные точки вне временных рабочих каталогов и фиксируйте достаточно конфигурации, чтобы продолжить неудачное задание или воспроизвести результат.

06

Уважайте границу данных

Обучающие материалы могут содержать защищённую или персональную информацию. Подтвердите права, минимизируйте ввод конфиденциальных данных и контролируйте доступ к промежуточным артефактам, логам и выводам модели.

ПРАКТИЧНАЯ ОТПРАВНАЯ ТОЧКА

Ёмкость для рассмотрения.

3подготовленные планы

Сопоставьте эти отправные точки с типовым приложением. Установка программного обеспечения и актуальная инвентаризация не связаны; точная спецификация и итог за период берутся из каталога.

вычисления GPU

Spectre A6000

Используйте один NVIDIA RTX A6000 с 48 GB памяти GPU вместе с 128 GB хост-памяти ECC и 2 TB хранилища NVMe. Больший объём памяти GPU и 10 Gbps восходящий канал подходят для более требовательных задач вывода или отдельных рабочих процессов обучения, при этом память модели и оптимизатора оценивается перед развёртыванием.

Вычисления
16 vCPU (EPYC)
Память
128 GB DDR5
Хранилище
2 TB NVMe SSD
Передача
30 TB / месяц
$2,088.10/ месяц
оплата ежемесячно
вычисления GPU

Spectre H100

Создайте интенсивные ускорительные нагрузки на базе одного NVIDIA H100 с 80 GB HBM3, 256 GB памяти хоста и 4 TB хранилища NVMe. Канал 25 Gbps и ежемесячный лимит трафика 50 TB поддерживают большие наборы данных; модели с большим числом параметров по-прежнему требуют тщательного планирования точности, контекста и памяти.

Вычисления
32 vCPU (EPYC)
Память
256 GB DDR5
Хранилище
4 TB NVMe SSD
Передача
50 TB / месяц
$5,508.10/ месяц
оплата ежемесячно
Выделенные серверы

Eclipse Dual

Зарезервируйте два процессора Xeon Gold 6338 в общей сложности на 64 физических ядер и 128 потоков, поддержанных 256 GB памяти ECC. Четыре диска 4 TB NVMe образуют RAID-10, с портом 10 Gbps, без учёта трафика и уровнем сетевой защиты 400 Gbps для крупных параллельных рабочих нагрузок.

Вычисления
2× Intel Xeon Gold 6338 (32c / 64t на каждый процессор)
Память
256 GB DDR4 ECC
Хранилище
4× 4 TB NVMe (RAID-10)
Передача
Без тарификации трафика
$853.10/ месяц
оплата ежемесячно
ПЕРЕД СЛЕДУЮЩИМ ШАГОМ

Перед запуском этой рабочей нагрузки.

  • Проверьте CPU, память, диск, трафик и порт точного плана.
  • Выберите регион из списка и проверьте разрешённое использование рабочей нагрузки.
  • Проверьте репрезентативное приложение и независимое восстановление.
НЕМНОГО БОЛЬШЕ КОНТЕКСТА

Вопросы и ответы.

Могу ли я зарезервировать несколько устройств H100?

Многоустройственная конфигурация — это индивидуальный запрос на рассмотрение, а не указанный в наличии товар. Подтвердите взаимное соединение, топологию, совместимость с фреймворком и доставку перед оформлением.

Тарифицируется ли GPU почасово?

Подготовленный каталог использует месячные, годовые и двухлетние итоговые суммы. Планировщик почасовой оплаты не подключён. Особый срок пиковой нагрузки потребовал бы отдельного принятого предложения.

Могу ли я обучать на персональной информации?

Права на набор данных, законное основание обработки, доступ, хранение и передачи требуют оценки. Конкретный регион или устройство не создают такого разрешения.

Включены ли фреймворки и разрешения для ограниченных устройств?

Совместимость с фреймворком и любые применимые экспортные или доступные ограничения должны проверяться для фактического оператора и рабочей нагрузки. Никакое всеобщее освобождение или предустановленная среда обучения не заявляются.

Что хранится в рабочей области моего аккаунта?

Ваша конфигурация, выбранный план, образ, локация и срок оплаты хранятся вместе со ссылками на заказ и запрос на оплату. Котировки, чтение состояния оплаты и переписка с поддержкой остаются привязанными к вашему аккаунту. Читайте детали исполнения отдельно от статуса оплаты.