Суперкомпьютер — это компьютер, созданный для достижения высокой вычислительной мощности. Для создания своего суперкомпьютера Meta использовала очень мощные графические процессоры (GPU), соединенные в «узлы» через специально разработанную сеть для объединения их вычислительной мощности. Компания приложила немало усилий для разработки своего нового инструмента, поскольку компьютер AI Research Super Cluster, или RSC, в зависимости от области применения работает в 3-20 раз быстрее, чем компьютеры, которые Meta использовала до сих пор.
Согласно Meta, это позволит обучить искусственный интеллект всего за три недели, используя десятки миллиардов параметров, по сравнению с девятью неделями ранее. Для достижения такой вычислительной мощности RSC состоит из не менее 6080 графических процессоров NVIDIA A100. «Графический процессор 80GB A100 имеет самую высокую пропускную способность памяти в отрасли (более 2 терабайт в секунду), что позволяет ему поддерживать очень сложные модели и наборы данных«, — говорится на сайте производителя.
Общий объем памяти на этом компьютере составляет 231 петабит. Чтобы представить это в перспективе, 1 петабит равен тысяче терабитов, а один терабит эквивалентен большому внешнему жесткому диску. Что касается скорости сетевого подключения, то она составляет около 200 гигабит в секунду на один процессор.
Для чего такая мощность? Чтобы иметь возможность предоставить искусственному интеллекту, который Meta хочет обучить, очень большие объемы данных для компиляции в рекордно короткие сроки. Это делается для того, чтобы повысить их производительность и сократить время обучения.
Эти данные могут быть аудио, видео, изображениями… Чтобы помочь нам понять это с точки зрения количества, Meta указывает, что используемые данные эквивалентны… 36 000 лет видео. Откуда они берутся? Meta тщательно разъясняет, что, в отличие от предыдущих случаев, компания будет использовать данные пользователей своих сервисов непосредственно для питания ИИ. «Чтобы соответствовать нашим требованиям конфиденциальности и безопасности, весь путь данных от наших систем хранения до графических процессоров зашифрован из конца в конец и имеет инструменты и процессы, позволяющие постоянно проверять соблюдение этих требований«, — заверяет нас Meta.
Одной из целей Meta в данном случае является улучшение распознавания речи на родном языке. По их словам, это позволит, например, осуществлять мгновенный аудиоперевод, чтобы группы людей могли сотрудничать над проектом независимо от их языка, или просто легче играть вместе в онлайн-игры. Для достижения этой цели необходимо учитывать все языки, акценты, а также возможные фоновые шумы и т.д. В конечном итоге, разработанный ИИ также планируется использовать для создания знаменитой Метавселенной компании.
Ожидается, что по мере реализации проекта суперкомпьютер будет наращивать свою вычислительную мощность. Meta ожидает, что в окончательной версии RCS будет оснащен 16 000 подключенных графических процессоров. Команды также создают систему для распределения 16 терабит в секунду данных и хотели бы увеличить этот показатель до 1 экзабита. «После завершения второго этапа строительства RSC мы ожидаем, что это будет самый быстрый суперкомпьютер с искусственным интеллектом в мире, производительность которого составит почти 5 эксафлопс вычислений смешанной точности».
Компания Meta* признана экстремистской организацией и запрещена в РФ