Bisherige Rechenzentrumsnetze sind hierarchisch meist in Clos beziehungsweise Fat-Tree-Architekturen mit Leaf/Spine oder bei größeren Installationen mit Super Spine aufgebaut. Das erzeugt zwar deterministische Pfade mit kürzesten Wegen (Shortest Path), braucht aber deutlich mehr aktive Komponenten in den höheren Hierarchieebenen, als nötig wären, wenn die Quelle und das Ziel direkt miteinander kommunizieren würden. Zugleich sollte es bei der Lastverteilung eine Zufälligkeit geben, um Überlastung einzelner Links durch große Datenflüsse zu umgehen. Forscher von AWS haben mit Resilient Network Graph (RNG) eine neue Netzwerk-Architektur auf der optischen Routing-Ebene entwickelt, die diese Nachteile beheben soll.
Hintergrund zur Clos-Architektur
Ein Paket eines Switches/Routers geht in Clos-Architekturen in der Hierarchie so lange nach oben, bis eine höhere Hierarchieebene erreicht ist, die einen Pfad zum Ziel kennt und geht dann wieder in der Hierarchie zum Ziel nach unten. Eine Clos-Architektur braucht also weit mehr als nur die Router, die die Server anbinden (Leafs). Die Komponenten der höheren Ebenen (Spines/Super Spines) sind zudem häufiger überbucht als bei einer flachen Architektur, in der die Switches/Router mit den angebundenen Endgeräten direkt zusammengeschaltet sind. Eine solche direkte Verschaltung gilt bislang allerdings als unrealistisch.
Um eine optimierte Verteilung der Daten im Netzwerk zu erhalten, bezeichnet AWS sogar eine zufällige Zusammenschaltung von Verbindungen zwischen den Routern mit Ad-hoc-Pfaden als optimal, wie es bereits Forscher in den 1990er Jahren berechnet hatten. Dies scheiterte aber bisher daran, dass dies zu rechenintensiv und verkabelungstechnisch sehr aufwändig wäre. Dabei wäre jeder Router in der flachen Hierarchie gleichberechtigt und einzelne Ausfälle würden immer nur einen kleinen Teil der Kommunikationsbeziehungen betreffen, anstatt Hotspots in höheren Hierarchieebenen zu schaffen.
Hierarchisches Netzwerk (links) vsersus flaches Netzwerk mit beliebigen Zusammenschaltungen (rechts).
Lösungsansatz: Quasi-Zufälligkeit
Als Lösung nennt Amazon ein flaches Netzdesign namens Resilient Network Graph (RNG), das auf passiven optischen Elementen namens Shuffleboxen aufbaut, um eine „Quasi-Zufälligkeit“ zu erreichen. Jeden Router schaltet man einfach auf einen beliebigen R-Port (Router-Port) der Shufflebox. Die optische Einfügedämpfung der Shuffleboxen ist durch aktuelle Optiken nach Aussage von Amazon problemfrei verkraftbar.
Drei Serverräume (gestrichelte Quadrate), in denen jeweils zwei Shuffleboxen (Trapeze) stehen. Auf der einen Seite ist jede Shufflebox mit Servern (gelbe Kreise) verbunden; auf der anderen Seite sind die Shuffleboxen nur untereinander verbunden.
Dieses Design kommt in den meisten neuen Umgebungen von Amazon zum Einsatz, wobei es erstmalig Ende 2024 in Dublin Verwendung fand und seit April 2026 die Standard-Architektur in den meisten neuen AWS-Rechenzentren weltweit darstellt. Es bringt laut den Forschungsergebnissen einige Einsparungen mit sich. So nennt Amazon 69 Prozent weniger Router, bis zu 33 Prozent besseren Durchsatz und und 40 Prozent Einsparungen des Energieverbrauchs für Netzwerkkomponenten. Insgesamt ergeben sich dadurch Gesamtkosteneinsparungen zwischen 9 und 45 Prozent, abhängig von der Überbuchungsrate.
Sprühen statt deterministischem Routen
Um das Multipfad-Routing in diesem Netzwerk sicherzustellen, hat AWS das verteilte Link-State-Routing-Protokoll Spraypoint entworfen. Der Quellrouter „sprüht“ seinen Datenverkehr nach dem Zufallsprinzip an alle seine Nachbarn. Jeder (Ziel-)Router verfügt über bestimmte „Wegpunkte“, über die der Datenverkehr zu ihm geleitet wird. Das Grundprinzip besteht darin, dass jedes vom Quellrouter gesendete Datenpaket an einen zufällig ausgewählten Nachbarn gesendet wird; anschließend leitet der klassische Shortest-Path-Algorithmus es zu einem Wegpunkt, der es schließlich ans Ziel weiterreicht. Das initiale Sprühen soll eine Überlast auf einzelnen Pfaden vermeiden. Das gesamte Paper und der Blog-Beitrag der Amazon-Forscher stehen öffentlich bereit. Zu den eingesetzten Routerherstellern machte Amazon keine Angabe.
Fazit
Amazon gewährt einen aufschlussreichen Einblick in seine Rechenzentrumsarchitektur. Da das Routing-Protokoll jedoch bisher nicht öffentlich verfügbar ist und Details zum Aufbau der Shuffleboxen fehlen, wird es zunächst bei einer Insellösung innerhalb der Amazon-Rechenzentren bleiben. Interessant dürfte sein, ob die Lösung sich auch für Optimierungen in KI-Backend-Netzwerken eignet, was das Paper bereits als nächsten Prüfungsschritt nennt. Zudem bleibt zu hoffen, dass Amazon das Routing-Protokoll öffentlich bereitstellt.
( fo )
Read the full article at heise online →
Germany