Популярные Нано Технологии

Кадры

Фотогалерея

Новости

Сеть распределенных вычислений может заменить суперкомпьютер / 07.09.2020

Источник: learning-at-home.github.io

 

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса.

 

Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами.

 

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки.

 

Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний. Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 г. мощность сети биомолекулярных симуляций Folding@home перешла рубеж в один экзафлопс и продолжила расти. Но сети распределенных вычислений имеют недостатки: каждый компьютер может в любой момент отключиться или передавать данные медленно и нестабильно, а кроме того, не все типы вычислений одинаково легко разбиваются на подзадачи для распределения по отдельным вычислительным узлам.

 

 

Схема работы сети

 

М. Рябинин из Высшей школы экономики и Яндекса вместе с коллегой А. Гусевым разработали платформу Learning@home, позволяющую распределять обучение нейросетевых моделей на множество компьютеров.

 

В основе платформы лежит метод коллектива экспертов, при котором за обработку разных входящих данных отвечают определенные «эксперты» — отдельные алгоритмы или компьютеры. Разработчики предложили разбивать слои обучаемой нейросети на набор экспертов. Каждый из экспертов может иметь свою специализацию, к примеру, выступать в качестве части нейросети сверточного или другого типа.

 

 

Схема узла сети

 

Сеть компьютеров для обучения или выполнения нейросетевых алгоритмов имеет децентрализованную структуру, а каждый из ее вычислительных узлов состоит из трех частей: исполняющей среды, управляющей части и DHT-узла. Исполняющая среда непосредственно отвечает за вычисления, то есть выступает в качестве эксперта. Управляющая часть принимает входящие данные, выбирает подходящих для их обработки экспертов и собирает данные вычислений. А DHT-узел — это часть распределенной хэш-таблицы, в которой сеть хранит свои данные.

 

Авторы опубликовали код, который они использовали для первичной проверки работоспособности платформы, на GitHub, но отметили, что пока его не стоит рассматривать как готовую к использованию библиотеку. Также они отметили, что платформа в нынешнем виде будет иметь типичные недостатки одноранговых сетей, в том числе высокую нагрузку на сетевую инфраструктуру, а также подверженность специфичным для такого сетей атакам, возможность которых произрастает из их архитектуры, а не конкретной реализации.


Другие новости по теме:
06.08.20 - Виртуальный контроль с технологией Ricoh
03.08.20 - Мечта археолога. Информацию о человечестве спрятали в Арктике
31.07.20 - IIoT для контроля производственных процессов от Ростех
21.07.20 - GitHub сохранит в Арктике коды от своих сервисов
02.07.20 - Дрон с комариными датчиками давления
TOP100 самых популярных
новостей
за месяц
Место Наименование Показов
1

Нанотехнологи из США и Японии разделили премию Испании

2 японских и 3 американских ученых стали лауреатами престижной премии принца Астурийского за научные и технические разработки в области нанотехнологий. Испания присудила награды японским ученым Сум

1676
2

Одноколесный велосипед с электромотором (видео)

Enicycle - это моторизованный одноколесный велосипед, сконструированный изобретателем из Словении Александером Полутником (Aleksander Polutnik). Научиться ездить на этом необычном средстве передвижени

187
3

Над Европой обнаружен радиоактивный йод - 131

Следы радиоактивного йода были обнаружены в атмосфере многих европейских стран. Источник утечки пока не определен. Йод-131 в основном используется в фармацевтике. Он является побочным продуктом

185
4

Ученые обнаружили неизвестный ранее вирус

Способ глубокого секвенирования помог международной команде исследователей открыть новую разновидность рабдовирусов, которые вызывают заболевание бешенством у животных и людей. При этом, обнаруженный

181
5

Лунный камень стал источником кислорода

Исследователи из Кембриджа создали небольшой химический реактор, способный проводить процессы окисления и производство кислорода из лунного камня. В основе работы реактора лежит просто электромеханиче

176

Анонсы событий