Hej då, Lindgren. Hej då, Tegnér. Hej då, Beskow. Välkommen in Dardel, Sveriges för närvarande starkaste dator.
Superdatorkapaciteten vid Parallelldatorcentrum (PDC) på KTH har ökat dramatiskt de senaste tio åren (se Historik, nedan). Från en kapacitet på 1,5 GFLOPS år 1991 har det nu ökat miljonfalt och vid invigningen av den nyinstallerade grafikprocessorn (GPU:er) i parallelldatorn Dardel i augusti var man uppe i totalt 12,34 PFLOPS. Alltså dryga 12 biljarder flyttalsoperationer per sekund. Det gör att Dardel hamnar på 55:e plats bland världens snabbaste datorer. Nu snackar vi HPC (High-Perfomance Computing).
Det kan ju låta fint, men faktum är att det snabbt slukas av industrins simulationer av turbulens kring vindturbiner och lastfordon, nya typer av magnetiska dataminnen, simulationer av hur receptorerna fungerar i hjärnans synapser och hur olika ämnen binds till det plack i hjärnan som orsakas av Alzheimers sjukdom osv. Vetenskapen kommer aldrig att få nog med FLOPS.
Dardel ligger dessutom på 5:e plats bland världens ”grönaste” datorer, tack vare den moderna kylningen. Kylfläktar är nästan eliminerade och nästan all kylning sker med vatten direkt på processorkorten. Det kommer in 800 kilowatt eleffekt och ur värmepumpen kan man mata 800 kilowatt värme att värma Kungliga Tekniska Högskolan med.
Prestanda
Vad ”har” Dardel?
Dardel är egentligen två delar, en CPU-del med fyra rackskåp och en GPU-del med ett rackskåp. Två olika arkitekturer, avsedda för delvis olika typer av bearbetning. CPU-delen har varit tillgänglig sedan 2021, men GPU-delen, alltså bestående av idel grafikprocessorer gjorde maskinen fullständig i augusti i år.
Varför har man två typer av processorer? Det handlar om kostnadseffektivitet.
Grafikprocessorer är betydligt snabbare för vissa typer av problem, men för att kunna använda GPU:er på ett effektivt sätt krävs mycket programmering och anpassning av metoder och algoritmer, ofta på ganska låg nivå. Med moderna högnivåspråk kan man dock nå acceptabel effektivitet med mindre arbete. Man får mera pang för pengarna, helt enkelt.
CPU:er är mindre kostnadseffektiva, men alla program kan köras på CPU:er utan vidare.
CPU-delen
4 rackskåp med vardera 64 vattenkylda serverblad, totalt 256 blad, med totalt 2048 processorer. Datorn är logiskt indelad i 1280 beräkningsnoder, där varje nod består av två AMD EPYC Zen-processorer med 64 kärnor och 2,25 GHz klockfrekvens, alltså totalt 131.072 kärnor.
LINPACK-prestanda ligger på 4,08 PFLOPS.
GPU-delen
Ett halvfullt rackskåp med vardera 28 vattenkylda serverblad, med totalt 56 processorer och 224 grafikprocessorer av typen AMD Instinct MI250X.
LINPACK-prestanda ligger på 8,26 PFLOPS.
Lagring hos Klemming
2544 stycken 10 terabytes hårddiskar som ger totalt 18 petabyte lagring. Dessutom finns 44 stycken flashdiskar för metadata, varav cirka 40 TiB även kan användas för data i form av småfiler. Flashdiskarna har NWME-gränssnitt (Non-Volatile Memory Express) som använder PCI-Express-bussen för SSD-drift, vilket är betydligt snabbare än SATA-tekniken. Diskarna är fläktkylda och faller utanför vattenkylningen.
Nätverket
Framsidan av varje datorrack innehåller processorbladen, medan ”baksidan” innehåller switcharna för Slingshot-nätet. Processorbladen ansluter till switcharna kortast möjliga väg, nämligen tvärs genom en tunn plåtvägg.
Slingshot-nätet är en typ av Ethernet som förbinder alla processorer med alla andra och håller 200 gigabit per sekund.
Kraft
CPU-delen drar totalt 600 kW och GPU-delen 200 kW.
Varje CPU-rack matas med 4×125 ampere 400 volt trefas. Ett centralt kraftaggregat i varje rackskåp tar ned det till ±195 volt likspänning, vilket matar serverbladen. I bladen finns flera switchaggregat som tar ned spänningen till 48 volt. Vid varje processor finns slutligen switchaggregat som tar ned det till lämpliga spänningar som 3,3, 1,5 och 0,8 volt. Ett CPU-blad drar 400 watt, medan ett GPU-blad drar 2,5 kW.
Man skulle givetvis kunna skapa 3,3 volt och 100 ampere centralt och mata ut till serverbladen, men det skulle innebära avsevärda förluster på vägen. Istället har man små spänningsomvandlare just precis där de behövs, matade med så hög inspänning att ledningarna kan göras väldigt tunna, utan att orsaka förluster.
Kylning
De 800 kilowatten måste tas om hand på ett effektivt och helst ”grönt” sätt. Det sköter man genom att pumpa kylvatten direkt genom processorerna.
Längst ut i kylsystemet finns CPU-bladen som vart och ett matas direkt med kylvatten genom de blå slangarna. Varmvattnet flyter tillbaka till den centrala värmeväxlaren genom de röda slangarna.
Det femte rackskåpet i raden av CPU-skåp innehåller inga datorer, utan är central punkt för kylsystemet. Värmeväxlaren i skåpet skiljer det högrena vattnet i Dardel-systemet från vattnet som matas ut till KTH:s värmepump.
Här är sista steget innan de 800 mysiga kilowatten flyter ut till värmepumpen och värmer KTH, och man får nytt kallvatten tillbaka.
Körningar
Har man tillgång till en riktigt stark dator kan man köra avancerade simulationer. Vad kräver sådana väldiga mängder beräkningskraft? Saker som annars skulle vara för kostnadskrävande att utföra i fysisk form, eller skulle vara för farliga att prova på människor.
Turbulens är ett bra exempel, där man kan ta reda på hur luftmassor virvlar kring turbinblad, utan att bygga 4711 prototyper och testa i vindtunnel. Ett annat är läkemedelsforskning, där det är säkrare att låta ett program utröna hur signalsubstanser fäster i hjärnans receptorer än att testa det på en människa. Ett misstag kan bli väldigt tråkigt. Och så kan man snabbt testa 10.000 nya substanser.
Det visar sig att ungefär 10 procent av all energi som används i världen, går åt för att övervinna turbulens, turbulens kring skorstenar, flygplansvingar, fartygsskrov och lastbilar, för att nu nämna några. Därför är simulationer i superdatorer väldigt kostnadsbesparande. Man kan prova olika former och ändra i CAD-modellen för att se hur turbulensen ändras.
Bilden ovan visar turbulenserna kring en sk Flettner-rotor, alltså en typ av roterande cylinderformat segel som man anser skulle kunna minska bränsleförbrukningen för handelssjöfarten betydligt. Rotorn drivs runt av fartygets motorer och när vinden träffar rotorn uppstår en kraft (Magnus-effekten) som driver rotorn och därmed fartyget framåt. De olika färgerna representerar strömningshastigheten, där orange är högst och blått minst.
För beräkningen byggde man upp två olika datamängder (mesh), ett med 930.000 och ett med 5.200.000 datapunkter. Att beräkna denna bild tog mindre än två dagar på Dardels GPU-del, kontra drygt två veckor på Dardels CPU-del. Denna typ av roterande segel anses kunna spara mellan 5–20 procent av fartygs bränsleåtgång, kontra vanlig propellerdrift.
Scania i Södertälje är numera väldigt framme när det gäller moderna drivmedel. För att lastbilarna så effektiva som möjligt måste man studera turbulensen kring karossen. Bilden visar en Scanialastbil med CNG-tankar (Compressed Natural Gas) och gasmotor. Fordonet omges av en digital modell av en av Scanias klimatvindtunnlar. Strömlinjerna följer luftens väg runt fordonet och färgerna anger flödeshastigheten, där rött indikerar de högsta hastigheterna och blått de lägsta.
Randvillkoren för simuleringen efterliknar riktig körning på väg, med representativ värmeutveckling från bland annat motor och efterbehandlingssystem. Fartvinden regleras via flödeshastigheten genom dysan uppströms fordonet. För att få så bra överensstämmelse som möjligt med verklig drift är detaljrikedomen hög på simuleringsmodellen.
Simuleringen tog cirka 15 timmar på Dardel, då cirka 400 CPU-kärnor utnyttjades, men helt avgörande för den totala beräkningstiden är hur många klusternoder som är tillgängliga vid simuleringstillfället. Resultaten på bilden är framtagna med det kommersiella programmet STAR-CCM+.
Historik och anekdoter
Den första superdatorn på Parallelldatorcentrum (PDC) var en Connection Machine-2 från Thinking Machines som fick namnet Bellman, efter 1700-talspoeten Carl-Michael Bellman. Den installerades 1989 och presterade hela 1,5 GFLOPS. Den blev snart omodern och ersattes av Strindberg, Lucidor, Lenngren och så vidare.
Diagrammet visar hur kapaciteten hos PDCs superdatorer ökat miljonfalt från 1,5 GFLOPS år 1989 till 12 PFLOPS år 2023.
PDC vid KTH döper nästan alla sina superdatorer efter svenska författare och konstnärer, som Astrid Lindgren, Esaias Tegnér, Anders Zorn, Ellen Key och Elsa Beskow.
Vad Astrid Lindgren gjort för svensk och internationell litteratur kan knappast överdrivas. Motivet på datorn Lindgrens framsida var ett panorama från Saltkråkan. Intressant nog är ”Karlsson på taket” en av de få västliga barnböcker som lyckades tränga in i mörkaste Sovjet, som ”Ка́рлсон”. I Ukraina finns för tillfället också en drönar-bataljon med namnet Karlsson.
Beskow var en CRAY XC40 superdator som var PDC:s flaggskeppssystem från 2014-2021. Tegnér var för- och efterbehandlingssystem till Beskow. Huvudsystemet uppkallades efter Elsa Beskow som är en av de mest kända författarna och illustratörerna av barnböcker. För- och efterbehandlingssystemet uppkallades efter Alice Tegnér som var en svensk musiklärare, poet och kompositör. Hon erkändes som den främste kompositören av svenska barnsånger under slutet av 1800-talet och första hälften av 1900-talet.
Hårddiskrackarna hos Dardel har fått namnet ”Klemming” och är uppkallade efter Gustaf Edvard Klemming (1823-1893), som var chef för Kungliga Biblioteket (KB) och dessutom en mycket produktiv författare. Han översåg också planeringen av den nya biblioteksbyggnaden i Humlegården som öppnades 2 januari 1878 och ersatte Kungliga bibliotekets gamla och alltför små lokaler i kungliga slottet. Klemming var en stor boksamlare, vilket gör namnet på diskfarmen extra passande.
Ut i vida världen
Dardel kan inte stå för sig själv på KTH utan måste anslutas till hela världen för att vara till nytta. Det sköts av NAISS (se nedan), via de landsomfattande datornäten Sunet, Nordunet och Géant ute i Europa. Alla anslutna universitet delar på körtid och resurser. Avsikten är att resurserna ska komma alla studenter i Europa till del i deras utbildning. Utöver detta får kommersiella företag vara med och köra på maskinerna.
NAISS
Det tidigare samarbetsorganet SNIC (Swedish National Infrastructure for Computing) har numera ersatts av NAISS (National Academic Infrastructure for Supercomputing in Sweden). SNIC var avsett att samordna de olika högpresterande beräkningsresurserna, datalagring och andra datatjänster för det akademiska Sverige och fanns fram till 2022 då det ersattes av NAISS.
NAISS bekostar driftskostnaderna för Dardel (som till exempel underhållsavtal, personal för drift samt kostnaden för el och kyla).
NAISS har sitt säte vid Linköpings Universitet, finansieras av Vetenskapsrådet och är avsett att organisera och tillhandhålla högpresterande datorer, lagring och dataresurser, inklusive system som är lämpliga för maskininlärning och AI-uppgifter. NAISS har ansvaret för exempelvis Dardel, Tetralith, Alvis, Bianca och Rackham. Fortsättningsvis kommer NAISS att sätta upp nya resurser som ersätter de gamla och täcker de växande behoven bland svenska akademiska användare av HPC-resurser.
De resurser som NAISS organiserar är tillgängliga för forskare vid svenska universitet och andra forskningsinstitut som auktoriserats av Vetenskapsrådet. Förfrågningar om att få använda sig av resurserna görs genom ansökningar.
Thora och Nils Dardel
Datorn Dardel har fått sitt namn efter författaren, reportern och skulptören Thora Dardel (1899-1995) såväl som efter hennes make, målaren Nils Dardel (1888-1943).
Som ung studerade Thora Klinckowström skulptur för Sigrid Blomberg i Stockholm och för Jens Bregnø i Köpenhamn. Hon gick även och tecknade på både Althins och Carl Wilhelmsons målarskolor. 1919 for hon till Paris för att studera skulptur. Där träffade hon Nils Dardel och ett stort antal kända konstnärer som var aktiva i staden under 1920-talet. Hon berättade om sina upplevelser i boken ”Jag for till Paris” som kom ut 1941. Hon publicerade flera böcker, med debuten ”Flickan som reste ensam” som gavs ut 1923. Under 1920-talet arbetade hon även som reporter och fotograf för Bonniers Veckotidning.
Nils Dardel var en excentrisk konstnär som studerade vid Konstakademien 1908-1910 och senare i Paris, där han mötte Thora. Han levde både i Guatemala, Havanna och USA och företog studieresor till Orienten. Hans målningar är högt uppskattade och säljs för stora pengar. Många av dem hänger på svenska konstmuseer och har dessutom blivit frimärken. Målningarna på datorns framsidor är Nils Dardels välkända ”Den döende dandyn” och hans portträtt av Thora.
Sammanfattning
PDC på KTH medverkar till en bättre framtid för oss alla, framför allt gör man det på ett sätt som inte riskerar miljö och klimat. Kanske tvärt om. Superdatorkörningar vid PDC används bland annat för att:
- Förbättra vindkraftverkens verkningsgrad genom att simulera virvlarna kring turbinblad.
- Rädda liv genom att utveckla mediciner mot Parkinsons sjukdom och andra sjukdomar genom att modellera samverkan mellan kroppens proteiner och olika läkemedel.
- Skapa renare kraft genom fusion, genom att undersöka hur tokamaken, fusionsreaktorn kan utformas effektivare.
- Skapa förutsättningar för bättre sjukvård genom att simulera hur olika beroendeframkallande ämnen, såväl som olika bedövningsmedel samverkar med cellernas membranproteiner.
- Metoder att minska utsläppen av växthusgaser, genom att förbättra konstruktionen av flygplansvingar.
Som du ser: Allt kul kommer inte från Kalifornien!
Läs mer
KTHs webbsida om Dardel: https://www.pdc.kth.se/hpc-services/computing-systems/dardel-1.1043529
NAISS: https://www.naiss.se/
Om den tidigare Lindgren: https://techworld.idg.se/2.2524/1.486785/sa-bygger-kth-superdatorer
Lenovo HPC Innovation Center: https://www.sweclockers.com/artikel/20368-en-superdator-fran-grunden
