Обектно хранилище на Seagate, използвано в ексамащабни изчислителни проекти – блокове и файлове


Обектното съхранение CORTX на Seagate беше използвано за високопроизводителни изследователски проекти в изчислителната инициатива SAGE Exascale на Европейския съюз.

SAGE, стартирал през 2015 г., е един от онези странни измислени акроними и очевидно означава Percipient СторAGд за Еxascale Data Centric Computing. PSEDCC няма същия запомнящ се пръстен. Както и да е, системата SAGE, която имаше за цел да обедини анализите на Big Data и HPC, имаше подход, ориентиран към съхранението, тъй като беше предназначен за съхранение и обработка на големи обеми данни в екзамащаб.

Според ан Резюме на ACM документ, „Системата за съхранение на SAGE се състои от множество видове технологии за устройства за съхранение в многостепенна I/O йерархия, включително технологии за флаш, диск и енергонезависима памет. Основният софтуерен компонент на SAGE е Seagate Mero Object Storage, който е достъпен чрез API на Clovis и интерфейси от по-високо ниво. [Mero was a prior name for what became CORTX.]

Диаграма на хартия SAGE.

Първият прототип на системата SAGE беше внедрен и инсталиран в суперкомпютърния център Jülich в Германия. А МЪДРЕЦ 2 Проектът беше създаден през 2018 г. за валидиране на система за съхранение от следващо поколение, изградена на SAGE за екстремно мащабни изчислителни научни работни процеси и AI/дълбоко обучение. Той „осигурява високоефективна и устойчива многостепенна система за съхранение с възможност за QoS, с оформления на данни в нивата, управлявани от Mero Object Store, която е в състояние да обработва по време на пренос/на място обработка на данни в системата за съхранение, достъпна чрез API на Clovis.”

SAGE и SAGE 2 доведоха до изследователски статии, като например докторска дисертация от Wei Der Chien, студент в KTH Кралски технологичен институт в Стокхолм, озаглавен „Мащабни I/O модели за традиционни и нововъзникващи HPC работни натоварвания на HPC системи за съхранение от следващо поколение.“ Това разглеждаше използването на обектно хранилище за HPC приложения. Chien разработи интерфейс за програмиране, който може да се използва за използване на обектния магазин Motr на Seagate.

Motr

Мотр, според Документация на Githubе система за съхранение на разпределени обекти и ключ-стойност, която се намира в сърцето на Seagate CORTX обектен магазин и използва дискове с голям капацитет. Дизайнът му е повлиян от разпределената и паралелна файлова система Luster, NFS v4.0 и технологията на базата данни. Motr взаимодейства директно с блокови устройства и не е наслоен върху локална файлова система. Той предоставя интерфейс на файловата система, но сам по себе си не е файлова система.

Motr контролира клъстер от мрежови възли за съхранение, които могат да бъдат базирани на диск или твърдо състояние, което означава флаш, по-бърза PCIe-прикачена флаш памет, памет с батерии и памет за промяна на фазата. Всеки Motr възел кешира част от състоянието на системата. Този кеш се състои от мета-данни (информация за директории, файлове, техните атрибути) и данни (съдържание на файла, обикновено под формата на страници). Кешът може да се съхранява в непостоянна памет или в постоянно съхранение.

IO дейностите водят до актуализации на състоянието на системата, които могат да се появят на множество възли. Актуализациите на състоянието постепенно се преместват към по-постоянни магазини. Например, актуализация на кеша на страници в паметта може да се разпространи до кеша, съхранен на флаш устройство, и по-късно до кеша, съхранен на дисково устройство.

Говорител на Seagate ни каза, че платформата SAGE в Jülich Supercomputing управлява CORTX Motr, с 22 възела: 8 клиента и 14 възела за съхранение. Възлите за съхранение имаха множество нива: NVRAM, SSD и HDD – обслужвани от различни Motr пулове. Те образуват един Motr клъстер с тези множество нива на производителност.

Потребителите определят кой пул да използват и има насочен от потребителя инструмент за йерархично управление на съхранение (HSM) за преместване на данни между пулове. Това се свързва с a libmotr интерфейс, както и HPC приложенията. Казват ни, че libmotr интерфейсът е по-удобен за HPC и AI от S3 на Amazon. Libmotr има опции с висока производителност, като разпръснато събиране и директни връзки чрез MPI-IO.

Някои от HPC общността предпочитат да избягват интерфейси на високо ниво като S3, като вместо това избират интерфейси от ниско ниво, като libmotrи API, които осигуряват по-голям контрол.

NoaSci

Този месец Уей и други са автори на последващ документ, наречен „NoaSci: Библиотека с цифрови масиви от обекти за I/O на научни приложения за съхранение на обекти” Не сме виждали целия документ, но абстрактното му гласи: „Докато POSIX-базираният I/O модел доминира в съвременната инфраструктура за съхранение на HPC, нововъзникващата технология за съхранение на обекти може потенциално да подобри I/O производителността, като елиминира тези тесни места. Изследователите разработиха NoaSci, библиотека с числени обекти за научни приложения, която поддържа различни формати на данни (напр. HDF5, двоичен) и се фокусира върху поддръжката на локални буфери на възли и обекти за съхранение.

След това те показаха как научните приложения могат да извършват паралелен вход/изход в магазина за обекти на Seagate Motr чрез NoaSci.

Техническият персонал на Seagate, работещ в системния бизнес екип на старши вицепрезидент Кен Клафи, беше включен в това изследване в проектите SAGE и SAGE 2, които от своя страна информираха изследванията на Wei.

API за обекти на ниско ниво на Motr е съвместно проектиран от Seagate с неговите партньори от ЕС HPC, включително професор Стефано Маркидис от KTH. Вей е ученик на Маркидис. Неговите Страница на Google Наука показва, че неговият 6ти най-цитираната публикация е оригиналната работа на SAGE, на която Сай Нарасимхамурти, инженерен директор в Seagate в Обединеното кралство, е съавтор.

Друг цитиран документ, „MPI прозорци на съхранение за HPC приложения”, е съавтор на Маркидис, Нарасимхамурти и др

Seagate ни каза: „За нас беше чест, че CORTX Motr беше избраната система за съхранение на обекти за тези проекти и имаше голяма полза от тези взаимоотношения, които движеха CORTX Motr интерфейсът да бъде това, което е днес и да остане предпочитаният интерфейс за мнозина в тази общност.”

Той е добавил интерфейс S3 за корпоративни и облачни потребители, които предпочитат интерфейс от по-високо ниво и обикновено не желаят да пренапишат своите приложения, за да постигнат много висока производителност.

Проектите SAGE и SAGE2 приключиха, но Seagate продължава сътрудничеството си с KTH и други в IO-SEA и https://www.esiwace.eu/ проекти.

Коментирайте

MiniO направи по-голямата част от възприеманото функциониране в позиционирането на обектното хранилище като основно хранилище на данни за приложения, които се нуждаят от бърз достъп до големи количества данни. Сега откриваме, че сгушен в европейските академични HPC изследвания, софтуерът за съхранение на обекти CORTX на Seagate има интерфейс на ниско ниво към основната си система Motr, което позволява на потребителите на HPC да се насладят и на бърз достъп до обективни данни.

Но, за да се насладите на високата скорост, CORTX трябва да се използва с libmotr API интерфейс, което означава, че са необходими промени в приложния софтуер. Би било очарователно да се види дали CORTX, via libmotrе също толкова бърз или дори по-бърз от MinIO и дали CORTX може да има бъдеще в търговската сфера за съхранение на обекти с бърз достъп.