AI-сервер NVIDIA B300 Blackwell

Особенности продукта

Экстремальная производительность искусственного интеллекта

Этот сервер, оснащенный графическими процессорами NVIDIA Blackwell B300, обеспечивает значительно более высокую пропускную способность как для обучения, так и для вывода по сравнению с предыдущими поколениями. Он поддерживает точность FP8 и FP4, ускоряя циклы обучения больших моделей почти в 3 раза.

Оптимизирован для больших языковых моделей (LLM)

Архитектура адаптирована для моделей GPT, глубокого обучения и генеративных рабочих нагрузок искусственного интеллекта, включая эффективную обработку длинных контекстных окон. Он также включает параллелизм моделей и конвейеров для оптимизации распределенного обучения моделей с триллионом параметров.

Память со сверхвысокой пропускной способностью

Каждый графический процессор, оснащенный памятью HBM3e нового поколения, обеспечивает емкость до 288 ГБ и пропускную способность более 10 ТБ/с. Это устраняет узкие места в памяти, обеспечивая больший размер пакетов и большую длину последовательности для сложных задач ИИ.

Масштабируемая архитектура с несколькими графическими процессорами

Благодаря NVLink и NVSwitch четвертого поколения AI-сервер NVIDIA B300 Blackwell поддерживает полностью взаимосвязанные топологии с несколькими графическими процессорами (8, 16 или более) с двунаправленной пропускной способностью до 900 ГБ/с. Это обеспечивает почти линейную масштабируемость как для распределенного обучения на уровне одного узла, так и на уровне кластера.

Энергоэффективный дизайн

Повышенная производительность на ватт — до 2,5 раз по сравнению с предыдущими поколениями — снижает эксплуатационные расходы центра обработки данных. Варианты гибридного охлаждения (воздушного и жидкостного) обеспечивают более высокую плотность вычислений в рамках существующего бюджета мощности.

Центр обработки данных готов

Создан в соответствии со стандартами OCP, имеет питание 48 В и поддержку Redfish API для плавной интеграции в существующие системы управления. Резервное питание и вентиляторы, а также среднее время безотказной работы > 100 000 часов гарантируют круглосуточную надежность корпоративного уровня.

Сценарии применения

Обучение и тонкая настройка большой языковой модели:От предварительного обучения моделей с триллионом параметров до настройки инструкций и RLHF.

Мультимодальный генеративный вывод ИИ: Высокопроизводительное обслуживание для преобразования текста в изображение, создания видео и создания 3D-контента.

Научные вычисления и цифровые двойники. Ускорьте моделирование климата, открытие лекарств и создание промышленных цифровых двойников в реальном времени.

Персонализированные системы рекомендаций. Храните большие таблицы встраивания в HBM для обеспечения онлайн-выводов с малой задержкой и высокой пропускной способностью.

Автономное вождение и робототехника: тренируйте модели восприятия и планирования на миллионах смоделированных часов вождения и поддерживайте комплексное обучение для встроенного ИИ.

Что такое AI-сервер NVIDIA B300 Blackwell?

NVIDIA B300 Blackwell AI Server — это платформа для центров обработки данных нового поколения, построенная на архитектуре графического процессора Blackwell и специально разработанная для крупномасштабного генеративного искусственного интеллекта, обучения LLM и высокопроизводительных вычислений. Он сочетает в себе исключительную пропускную способность памяти, почти линейную масштабируемость нескольких графических процессоров и лучшую в отрасли энергоэффективность, что позволяет по-новому взглянуть на инфраструктуру искусственного интеллекта. Будь то обучение моделей с триллионом параметров или обслуживание мультимодальных приложений в реальном времени, этот сервер обеспечивает революционную производительность при одновременном снижении эксплуатационных расходов, что делает его идеальной основой для современных фабрик искусственного интеллекта и облачных центров обработки данных.