NTT a Red Hat podporují AI analýzy dat na okraji sítí pomocí technologií IOWN

V rámci iniciativy Innovative Optical and Wireless Network (IOWN) vyvinuly společnosti NTT Corporation (NTT) a Red Hat ve spolupráci s NVIDIA a Fujitsu řešení pro zvýšení a rozšíření potenciálu analýzy dat umělou inteligencí (AI) v reálném čase na okraji sítě. S využitím technologií vyvinutých v rámci IOWN Global Forum a postavených na základech Red Hat OpenShift, přední aplikační platformě pro hybridní cloud využívající technologii Kubernetes, získalo toto řešení ocenění IOWN Global Forum Proof of Concept (PoC)^[1],[2] za jeho životaschopnost a praktické využití v reálném světě. Podrobněji bude toto řešení představeno v prezentaci IOWN Global Forum na veletrhu MWC v Barceloně 29. února 2024.

Se zrychlujícími se inovacemi v oblasti AI, senzorů i sítí má použití AI analýzy k vyhodnocování a třídění vstupů na okraji sítě zásadní význam, zejména s ohledem na téměř každodenní rozšiřování zdrojů dat. Využití analýzy umělou inteligencí ve velkém měřítku ale může být pomalé a složité a může být spojeno s vyššími náklady na údržbu a aktualizace softwaru, aby bylo možné zavádět nové modely AI a další hardware. S posunem možností edge computingu na stále vzdálenější místa, lze analýzu pomocí AI provádět blíže k senzorům, čímž se sníží latence a zvýší šířka pásma.

Toto řešení se skládá ze sítě IOWN All-Photonics Network (APN) a technologií pro urychlení přenosu dat v infrastruktuře IOWN Data-Centric Infrastructure (DCI). Technologie NTT pro zrychlení přenosu dat pro AI využívá vzdálený přímý přístup do paměti (Remote Direct Memory Access, RDMA) přes APN k efektivnímu sběru a zpracování velkého množství dat ze senzorů na okraji sítě. Technologie orchestrace kontejnerů Red Hat OpenShift^[3] poskytuje větší flexibilitu při provozování úloh v rámci zrychleného datového toku v geograficky distribuovaných a vzdálených datových centrech. Společnosti NTT a Red Hat úspěšně prokázaly, že toto řešení dokáže při analýze dat s využitím AI v reálném čase na okraji sítě účinně snížit spotřebu energie při zachování nižší latence.

V rámci ověřování konceptu byla platforma pro AI analýzu dat v reálném čase posuzována^[4] ve městě Yokosuka, kde byla instalována senzorová základna, a ve městě Musashino, kde bylo vzdálené datové centrum propojené prostřednictvím APN. Výsledkem testování bylo, že i při zapojení velkého počtu kamer se latence potřebná k agregaci dat ze senzorů pro analýzu pomocí AI snížila o 60 % v porovnání s běžnými úlohami s inferencí AI. Testování IOWN PoC navíc ukázalo, že spotřebu energie při analýze pomocí AI lze pro každou kameru na okraji sítě ve srovnání s běžnou technologií snížit o 40 %. Tato platforma pro AI analýzu dat v reálném čase umožňuje škálovat GPU, aby bylo možné použít větší počet kamer bez omezení výkonem CPU. Podle zkušebního výpočtu se za předpokladu použití 1 000 kamer očekává, že spotřebu energie lze dále snížit o 60 %. Hlavní vlastnosti tohoto řešení jsou následující:

• Zrychlený datový tok pro inferenci AI poskytovaný společností NTT využívá RDMA přes APN k přímému načítání rozsáhlého množství dat ze senzorů v místních lokalitách do paměti akcelerátoru ve vzdáleném datovém centru, což snižuje režijní náklady na zpracování protokolu v běžné síti. V rámci akcelerátoru pak dokončuje zpracování dat inference AI s nižšími náklady na řízení procesoru, čímž zlepšuje energetickou účinnost inference AI.
• Rozsáhlá analýza dat umělou inteligencí v reálném čase na platformě Red Hat OpenShift může podporovat operátory Kubernetes^[5] pro zjednodušení implementace hardwarových akcelerátorů (GPU, DPU apod.), což umožňuje vyšší flexibilitu a snadnější nasazení v roztroušených lokalitách včetně vzdálených datových center.
• Tento koncept využívá pro inferenci AI grafické procesory NVIDIA A100 Tensor Core a síťové adaptéry NVIDIA ConnectX-6.

Toto řešení pomáhá připravit podmínky pro inteligentní technologie s AI, které pomohou podnikům s udržitelným škálováním. Díky tomuto řešení mohou organizace těžit ze:

• snížení režijních nákladů spojených se shromažďováním velkého množství dat,
• rozšíření sběru dat, která lze sdílet mezi metropolitními oblastmi a vzdálenými datovými centry pro rychlejší analýzu pomocí AI,
• možnosti využívat místně dostupnou a potenciálně i obnovitelnou energii, například solární nebo větrnou,
• vylepšeného řízení zabezpečení oblasti s videokamerami fungujícími jako senzorová zařízení.

Podrobnější informace o tomto řešení najdete v prezentaci IOWN Global Forum na veletrhu MWC v Barceloně, která je naplánována na 29. února 2024.