Wprowadzenie do RDMA (zdalny bezpośredni dostęp do pamięci)

Introduction Rdma

Co to jest RDMA? Jest to skrót od zdalnego bezpośredniego dostępu do pamięci. Jeśli chcesz poznać szczegółowe informacje na ten temat to dobrze trafiłeś. Ten post z MiniTool mówi głównie o RDMA.

• Co to jest RDMA?
• Jak działa RDMA?
• Protokoły sieciowe obsługujące RDMA
• Produkty i dostawcy obsługujący RDMA
• RDMA w sprawie tkanin i przyszłych kierunków
• Dolna linia

Co to jest RDMA?

Zacznijmy od tego, czym jest RDMA? RDMA to skrót oznaczający zdalny, bezpośredni dostęp do pamięci. Jest to technologia umożliwiająca komputerom w sieci wymianę danych w pamięci głównej bez angażowania procesora, pamięci podręcznej lub systemu operacyjnego któregokolwiek komputera. Czytaj dalej, a przekonasz się, że ten post z MiniTool zawiera pełne informacje na temat RDMA.

Podobnie jak lokalny bezpośredni dostęp do pamięci (DMA), RDMA może zwolnić zasoby, dzięki czemu może zwiększyć przepustowość i wydajność. RDMA pomaga również zwiększyć szybkość przesyłania danych i tworzenie sieci o małych opóźnieniach, co jest szczególnie przydatne w masowo równoległych klastrach komputerowych. Można go wdrożyć w zastosowaniach sieciowych i pamięci masowej.

Jak działa RDMA?

Jak zatem działa RDMA? RDMA obsługuje sieć typu zero-copy, umożliwiając karcie sieciowej przesyłanie danych bezpośrednio z przewodu do pamięci aplikacji lub bezpośrednio z pamięci aplikacji do przewodu bez kopiowania danych między pamięcią aplikacji a buforami danych w systemie operacyjnym.

Takie transfery nie wymagają procesorów, pamięci podręcznych ani przełączników kontekstu do wykonania jakiejkolwiek pracy, a transfery odbywają się równolegle z innymi operacjami systemowymi. Zmniejsza to opóźnienia w transmisji wiadomości. Co więcej, jeśli zarówno urządzenie wysyłające, jak i odbierające obsługują RDMA, dialog między nimi zostanie zakończony szybciej niż w przypadku podobnych systemów sieciowych innych niż RDMA.

Jeśli Twoje aplikacje wymagają szybkich i masowych, równoległych klastrów obliczeniowych o wysokiej wydajności (HPC) i sieci centrów danych, RDMA może okazać się bardzo przydatne. RDMA może być również przydatne w analizie dużych zbiorów danych, w środowiskach superkomputerowych przetwarzających aplikacje oraz w uczeniu maszynowym, które wymaga absolutnie najniższych opóźnień i najwyższych szybkości transferu.

Strategia ta ma jednak pewne wady związane z faktem, że węzeł docelowy nie otrzymuje powiadomienia o żądanym zakończeniu (komunikacja jednostronna).

Protokoły sieciowe obsługujące RDMA

RDMA w konwergentnej sieci Ethernet. RoCE to protokół sieciowy obsługujący RDMA przez Ethernet poprzez określenie wydajności RDMA w takim środowisku.Protokół RDMA dla szerokiego obszaru InternetuIWARP do przesyłania danych wykorzystuje protokół kontroli transmisji (TCP) lub protokół transmisji kontroli strumienia (SCTP). Został opracowany przez grupę zadaniową ds. inżynierii internetowej, aby umożliwić aplikacjom na serwerze bezpośredni odczyt lub zapis do aplikacji działających na innym serwerze bez wsparcia ze strony systemu operacyjnego na którymkolwiek serwerze.InfiniBand. W przypadku szybkich połączeń sieciowych InfiniBand standardowym protokołem jest RDMA. Ten protokół sieciowy RDMA jest powszechnie używany do komunikacji między systemami i po raz pierwszy stał się popularny w środowiskach obliczeniowych o wysokiej wydajności. Ponieważ InfiniBand może szybko łączyć się z dużymi klastrami komputerów, znalazł dodatkowe zastosowania, takie jak środowiska dużych zbiorów danych, bazy danych, wysoce zwirtualizowane ustawienia i aplikacje internetowe o dużych wymaganiach dotyczących zasobów.

Produkty i dostawcy obsługujący RDMA

Od 2018 roku RDMA zyskało szerszą akceptację dzięki wdrożeniu ulepszonych funkcji, osiągając lepszą wydajność niż zwykła infrastruktura sieciowa, więc które produkty i producenci obsługują RDMA? Oto niektóre produkty i dostawcy wymienieni poniżej:

• Analiza dużych zbiorów danych Apache Hadoop i Apache Spark
• Platforma Baidu Paddle (Parallel Distributed Deep Learning).
• Adaptery Broadcom i Emulex
• Struktura głębokiego uczenia się Caffe
• Karty sieciowe Cavium FastLinQ serii 45000/41000
• Platforma przechowywania obiektów Ceph
• ChainerMN Platforma open source do głębokiego uczenia się oparta na języku Python
• Adaptery Chelsio Terminator 5 i 6 iWARP
• Serwery Dell EMC PowerEdge
• System operacyjny FreeBSD
• System plików intersieci GlusterFS
• Skalowalne procesory Intel Xeon i koncentrator kontrolerów platform
• Rodzina kart sieciowych i przełączników InfiniBand Mellanox ConnectX
• Microsoft Windows Server (2012 i nowsze) za pośrednictwem SMB Direct obsługuje karty sieciowe obsługujące RDMA, przełącznik wirtualny Hyper-V i zestaw narzędzi Cognitive Toolkit.

Możesz to kliknąć połączyć aby uzyskać więcej produktów i dostawców obsługujących RDMA.

RDMA w sprawie tkanin i przyszłych kierunków

RDMA on Fabric to logiczna ewolucja istniejącej architektury współdzielonej pamięci masowej, wykorzystująca pamięć półprzewodnikową i flash, co poprawia wydajność dostępu do współdzielonych danych. Sieć RDMA wykorzystuje protokół taki jak RoCE, iWARP lub InfiniBand do przesyłania danych pomiędzy przestrzenią adresową pamięci za pośrednictwem interfejsu, co przyspiesza operacje i zwiększa wartość inwestycji w aplikacje, serwery i pamięć masową.

Szósta generacja sieci pamięci masowej Fibre Channel – 32 Gigabity na sekundę – i PCI Express obsługują RDMA w oparciu o interfejs Fabrics.

Dolna linia

W tym poście znajdziesz szczegółowe informacje o tym, czym jest RDMA (zdalny bezpośredni dostęp do pamięci). Poza tym możesz także poznać produkty i dostawców obsługujących RDMA, a także protokoły sieciowe obsługujące RDMA.