ИИ-СХД Huawei OceanStor A800

Параметры крупных моделей ИИ выросли в геометрической прогрессии: с сотен миллиардов до триллионов. Обучающие наборы также превратились из унимодальных в мультимодальные (изображения, видео и т. д.) парадигмы, что привело к взрывному росту объемов данных, который увеличил объемы на тысячи и создал беспрецедентные проблемы. Во-первых, низкая производительность загрузки большого количества небольших файлов снижает эффективность обучения. Во-вторых, большие параметры модели часто оптимизируются, что приводит к нестабильности обучающих платформ: перебои в обслуживании происходят в среднем каждые два дня, а также к частому и трудоемкому чтению и записи контрольных точек уровня ТБ. В-третьих, обучение моделей со 100 миллиардами параметров требует огромных ресурсов графического процессора, поскольку отдельные графические процессоры недостаточно эффективны, а обеспечение вывода в реальном времени на уровне миллисекунд для диалоговых приложений довольно сложно.

OceanStor A800 обеспечивает ошеломляющую производительность — 24 миллиона операций ввода-вывода в секунду и пропускную способность — 500 ГБ/с в одном корпусе контроллера, выступая в качестве высокопроизводительного решения для хранения данных для хранилища знаний искусственного интеллекта. Поскольку производительность в четыре раза выше, чем у следующего участника, занявшего второе место, единая система хранения — это все, что вам нужно для загрузки небольших файлов обучающих наборов и возобновляемого обучения с высокой пропускной способностью. Вы также получите выгоду от доступа к ведущему хранилищу встроенных векторных знаний, которое

Особенности

Сверхвысокая производительность

Hеволюционная архитектура разделения управления данными облегчает прямую передачу данных на диски, снижая загрузку ЦП и обеспечивая 24 миллиона операций ввода-вывода в секунду на корпус контроллера. Эффективность загрузки обучающего набора в 4 раза выше, чем у лучших решений в отрасли.

Быстрое восстановление

Передовые технологии, такие как совместная работа контроллеров дисков и параллельный клиент NFS+, обеспечивают многоканальный параллельный доступ. Пропускная способность 500 ГБ/с на корпус контроллера позволяет в 3 раза быстрее возобновлять обучение с контрольных точек, чем лучший в отрасли вариант. Это означает, что чтение/запись контрольных точек на уровне ТБ может быть завершена за 10+ секунд, реализуя возобновляемое обучение с контрольных точек, которые в три раза быстрее, чем лучшие в отрасли, а также сокращает период обучения.

Надежный вывод

Huawei OceanStor A800 - высокоскоростное хранилище собственных векторных знаний, позволяющее повысить глубину, точность и своевременность отраслевых знаний в крупных моделях искусственного интеллекта, тем самым устраняя галлюцинации искусственного интеллекта. Благодаря интеллектуальному механизму векторного поиска OceanStor A800 увеличивает скорость векторного поиска до 250 000+ QPS (на 30 % выше, чем у следующего лучшего в отрасли устройства) с откликом на уровне миллисекунд.