Miljövänlighet har blivit ett riktigt säljargument. För varje ny datorhall som byggs kommer man på något nytt sätt att göra av med överskottsvärmen.
Var ska man göra av all värmen som kommer ur datorhallen, om ingen annan vill ha den? Har man en flod i närheten kan man skölja ut varmvattnet där, har man en glaciär tillgänglig kan man försöka smälta den. Har man råd att borra 200 meter djupa hål i berget kan man försöka värma upp berggrunden. Phonera, och dotterbolaget Netcamp i Mjärdevi i Linköping fann av en händelse att hela parkeringen utanför deras nya lokaler hade slingor med vattenrör utlagda under asfalten. Parkeringen förmår utan vidare att sluka hela hallens 600 kilowatt under den kalla delen av året. Resultatet blir en snöfri parkering.
Så här såg det ut tidigt 2010 när man körde i gång markkylsystemet för första gången.
Phonera är ett telefonbolag med 60.000 småföretagskunder som använder fast telefon, både kretskopplat och IP-baserat, som också slagit sig på internetområdet genom olika företagsförvärv. Datacenterverksamheten drivs från två egna anläggningar, en i Hammarby Sjöstad i Stockholm och en i Mjärdevi i Linköping. Bland kommande projekt finner vi en hall till i Hammarby och en i Oslo.
Johan Sörliden och Per Gillerstrand var två linköpingsstudenter som startade företaget Netcamp under dotcom-eran år 2000. Man började med ett enkelt serverrum, som blev till en serverhall, och sålde alltihop till Phonera 2007. Under februari 2008 fick man en förfrågan från IFS (Industrial and Financial Systems) i Mjärdevi som behövde outsourca sin serverdriftmiljö för de affärsstödssystem de tillverkar. De hade många hundratal servrar de behövde flytta, och det var bråttom. Hallen i Mjärdevi byggstartade i januari 2009 och IFS första servrar var igång före midsommar. Sen har det rullat på. 84 av de totalt 168 tillgängliga rackskåpen är redan uthyrda.
Principen
Phoneras datacenter är uppbyggt med HACSar (Hot Aisle Containment System) eller varma korridorer med tak över, som innesluter den varma luften som kylt av servrarna. Den varma luften håller cirka 32 graders temperatur och kyls med in-row-kylare från APC by Schneider som blåser tillbaka den ut på den kalla sidan. Den övriga hallens lufttemperatur ligger kring 23 grader. Vid högre beläggning tänker man sig att den varma korridoren kan ökas upp mot 40 grader.
In-row-metoden tar hand om värmen just där den uppstår, istället för att den ska fläktas långa sträckor till en central kylare. Det ökar verkningsgraden på kylningen, samtidigt som det är lätt att bygga ut om man skulle behöva göra en ny rackrad. Skulle en in-row-kylare gå sönder gör det inte så mycket för de övriga kylarna klarar jobbet ändå.
Man kan välja om man vill bygga med varma eller kalla korridorer, det är likgiltigt vilket, bara inte luftmassorna blandas. Phonera har valt varma korridorer, precis som 99 procent av APC by Schneiders kunder faktiskt gör. Det beror mest på att det ska vara bekvämt för den som arbetar med servrarna eftersom framänden vänder utåt den kalla delen av rummet och att man inte behöver dimensionera all elutrustning i hela hallen för 40 graders kontinuerlig drift.
Kylvattnets intemperatur till hallen är 14 grader, medan utvattnet ligger på 19 grader. Så höga temperaturer ger tillgång till mycket mer frikyla än det gängse 7 grader in och 12 grader ut.
Kylsystemet, en översikt
Både elförsörjning och kylning är dubblerad överallt, en så kallad 2N-lösning. Bilden nedan är förenklad och visar inte att det rör sig om ett A+B-system med dubbla köldbärarstråk där varannan kylare ligger på det ena och varannan på det andra kylsystemet. I värsta fall, om ett helt köldbärarstråk går sönder, får åtminstone varannan kylare kallvatten och driften kan fortsätta om än med förhöjd temperatur i hallen. Varannan in-row-kylare går dessutom på A-elnätet och varannan på B-nätet. Givetvis kommer temperaturen att gå upp, men anläggningen kommer att fortsätta fungera.
Principen för hallens kylsystem.
Ett glykolblandat primärvattensystem lämnar kallvatten och hämtar varmvatten från APCs in-row-kylare som står inbäddade i rackraderna i hallen. Om behov föreligger kan man aktivera fläktar för frikyla eller kylkompressorer i kylaggregaten 1 och 2. Räcker det med markkylan kör man istället det varma vattnet den vägen. I annat fall kan markkylan hjälpa kylaggregaten. Under vintrarna räcker markkylan gott och väl.
Frikyla kan användas vid en utomhustemperatur upp till 17 grader och den utnyttjas fullt ut vid utomhustemperaturer under 12 grader. Målet är att köra kompressorerna så lite som möjligt, eftersom det är “dyrbar” kyla. Kompressorerna är dessutom försedda med frekvensomformare för att de ska kunna köras precis så mycket som behövs och därmed mer effektivt.
En värmeväxlare behövs mellan primär- och sekundärvatten i markkylan, dels för separationens skull, men också eftersom vattnet i hallen är glykolblandat, medan det vatten som flyter ute under parkeringen är blandat med 29 procent etanol.
Styrsystemets skärmbild för kylsidan. Här ser vi åter hur systemet är uppbyggt i princip, samt de värden som gäller vid viktiga punkter. Man kan till exempel notera att inga kompressorer går, medan pumparna till det markbaserade kylsystemet är igång. Tabellen till höger visar in- och utvatten till in-row-kylarna. Invattnet ligger kring 14 grader. Som systemet är kopplat just nu är det bara markkylsystemet som tar upp all energi, genom en värmeväxlare. Primärvattnet går dessutom genom kylaggregaten 1 och 2, men dessa är avstängda. Det enda som går i dem är en cirkulationspump som drar cirka en kilowatt. Statistiken visar att markkylan tar 100% av kylarbetet och att detta (naturligtvis) till 100% utgör frikyla.
In-row-kylning
In-row-fläktskåpen har tre fläktar, som är varvtalsstyrda och inte går mer än de precis behöver. De drar varmluften genom en vattenkylare. Alltihop styrs och mäts med APC Infrastruxure-system så man kan få in mätvärden på precis allt som händer.
På andra sidan av fläktskåpet sitter luftfilter i form av stora pappmoduler med filterpåsar i. De är mycket lätta att byta ut.
Markkyla
Marksystemet klarar cirka 200 watt kyla per kvadratmeter under perioden november till mars, och i oktober och april ligger man troligen inte långt därifrån. Under gynnsamma dagar, när temperaturen är nära nollan eller några plusgrader och det regnar och blåser kan man få upp till 400–500 watt per kvadratmeter. Gårdsplanen är på cirka 3000 kvadratmeter.
Den genomsnittliga frikyleffekten från marken är alltså cirka 600 kW och gynnsamma dagar kan man få ut kanske så mycket som 1,5 MW, endast genom att driva ett antal cirkulationspumpar.
Utvattnet från hallen är just för tillfället 15,5 grader och när det kommer tillbaka från markkylslingorna är det 13 grader.
Starke Adolf gör sitt bästa för att böja den typ av orange plaströr som ligger under asfalten på parkeringen.
Markkylan består av tre slingor som kan matas separat, därav de sex rören. Skulle en slinga börja läcka kan man separera den och fortsätta med de två andra.
Skulle det bli nödvändigt kan man köra igång vätskekylare med kompressor som denna, men det händer inte så ofta. Denna kylare kan antingen gå med bara fläktar och fungera med frikyla, eller också kan man köra igång kompressorer och använda kylskåpsprincipen. Vid mitt besök flöt köldbäraren bara tvärs igenom.
PUE-talet, en kvalitetsaspekt
PUE-talet (Power Usage Effectiveness) har snabbt fått fotfäste bland hallägare och -byggare och används idag som kvalitetsindikator.
Phoneras styrsystem räknar ut PUE-talet löpande, dels som ett momentanvärde, dels som ett årsmedelvärde. Momentanvärdet läggs upp på en bildskärm som en rullande graf. Systemet har ännu inte varit gång ett helt år, så PUE-medelvärdet på 1,49 är missvisande. Just nu ligger värdet på 1,31, men vintern har inte börjat ännu så frikylan har inte kunnat göra sig riktigt gällande. Phonera uppskattar att man kommer att hamna mellan 1,2–1,25 som årsmedelvärde. Klicka på bilden för att få se hela grafen.
– Utan att känna mig allt för besvärad i magtrakten vill jag påstå att vi har en hall som långsiktigt kommer att ligga mellan 1,2 och 1,25. I takt med att vi får ökad beläggning kommer vi att få se siffror som är bättre än branschstandard. Men brukar prata om 1,3 som ett mål att sträva efter, och vi kommer att komma under det, säger Niklas Beckvid.
PUE-värdet loggas med stor noggrannhet. Så stor att när en väktare kommer in i lokalerna på natten och tänder lyset så ser man hur PUE förändras ett par hundradelar.
PUE-mygel avslöjat
I och med att PUE-talet snabbt blivit till ett slagträ i branschen är det inte förvånande att det framkommit metoder att mygla till sig ett lägre PUE-tal än man egentligen är värd. Och metoden är enkel. Håll en högre temperatur i den kalla korridoren, så måste servrarnas fläktar arbeta hårdare för att fläkta igenom mera luft per tidsenhet, för att hålla datorns inre vid en acceptabel temperatur.
Det betyder att man kan förbruka mindre energi för att kyla hallen och istället lämpa över kyluppgiften på belastningen, själva datorn. Sålunda drar datorerna mera ström och hallen mindre och eftersom reglerna inte specificerar någon särskild temperatur i kalla korridoren kan man slinka undan med ett lägre PUE-tal.
Upplagt för mygel alltså. PUE-redovisningen behöver ett tilläggsvärde, nämligen kalluftens temperatur, eller en kompensationsfaktor. Alternativt bör reglerna föreskriva att talet alltid beräknas vid 24 graders tillufttemperatur.
– Men det finns betydligt större frågor. Hur mäter man den totala lasten på en anläggning med fjärrkyla (när kylvattnet kommer i rör från någon annan stans)? Då har man ingen elmätare och har inte samma mätarplats för hela hallens förbrukning, säger Jonas Belfrage. Och om man inte vet hur mycket kallvatten man tar in, hur vet man då hur mycket värme man fläktar bort i kylarna på taket? Många datorhallsägare är inte ens i närheten av att kunna mäta sitt PUE.
Osäljbar värmeenergi
Miljövännen inom oss frågar naturligtvis varför inte Phonera försöker sälja värmen till Linköpings kommun istället för att slänga bort den på parkeringen. Sanningen är att man har försökt få Tekniska Verken på kroken, men inte lyckats. Det blir helt enkelt för dyrt för Tekniska Verken, eftersom man skulle behöva investera i en värmepump, men framför allt har Tekniska Verken själv redan ett överskott på värme som det ser ut just nu, och har inte gått att intressera för förslaget.
Den värme man kan utvinna måste betala sig för båda parter. Tekniska Verken ägnar sig utöver värme också åt fjärrkyla, och den värme som pumpas ur fjärrkylsystemet blir tyvärr också över och släpps ut istället för att återvinnas.
– Dessutom måste man ta med eldningssäsongen i beaktande, säger Niklas. Vår överskottsvärme är bara till nytta under eldningssäsongen, som visserligen belöper sig till 220 dagar i våra trakter (Linköping), men det går inte alltid att få avsättning för överskottsvärme. Det är en teoretiskt sett väldigt attraktiv fråga som vi inte kan släppa, men rent praktiskt har det visat sig svårare. De tycker vi är för små, helt enkelt. De stora samarbetena har varit med aluminiumsmältverk och pappersbruk och sådana.
Elkraften
Även på elkraftssidan arbetar man med principen 2N-lösning. Det är dubbla oberoende matningar ända ifrån krafttransformatorn, över ställverk, UPSer och reservkraften, in i rackskåpen, så kallade A- och B-nät.
Är man intresserad av sin egen säkerhet provar man reservkraften då och då, med full belastning. Givetvis lyckades undertecknad prata till sig ett prov vid besöket. Det är alltid spännande. Platschefen Jonas Belfrage slog av stora brytaren, några kontaktorer dånkade till och viss oviktig belysning slocknade, men efter ett tjugotal sekunder hade dieslarna kommit igång och hallens last försörjdes helt störningsfritt från dieselaggregat.
Diselarna var ordentliga monster från Volvo, som jag inte kunde undvika att titta på.
När vi tyckte att provet pågått tillräckligt länge slog Jonas tillbaka brytaren och reservgeneratorn tog någon minut på sig att fasa in sig mot elnätet, varefter den stora kontaktorn dånkade igen och så var allting tillbaka i normalläge, utan att ljuset blinkat en enda gång (inget fasfel). Datorerna i hallen hade givetvis inte märkt något alls.
Hade allting inte gått igång på Tekniska Verken-el igen hade det dock inte spelat någon roll, eftersom hallens B-elnät ändå hade tagit hela lasten. De kunder som vill vara helt säkra har servrar med dubbla nätaggregat, ett kopplat till A-nätet och ett till B-nätet.
Datacentret i Linköping består egentligen av tre del-hallar, som var och en har var sitt eget A- och B-elnät och sina egna diesellar, kylmaskiner etc. Bara för att en hall råkar ut för en katastrof och stannar ska inte de övriga två behöva påverkas.
Som vi redan tidigare konstaterat i artikeln om likströmsmatning (se nedan) har smältsäkringen fått en renässans. Här ser vi säkringarna för en HACS (Hot Aisle Containment System), alltså en varm korridor med 48 rackskåp. Phonera ser som en stor fördel att säkringen faktiskt förbrukas och måste bytas ut när den bryter. Automatsäkringar kan vara halvtrasiga utan att det märks och det finns inget bra sätt att kontrollera deras förslitning.
UPS-tillverkarna slår tillbaka med Galaxy
Den låga verkningsgraden hos UPS-er som inte är fullbelastade har varit en källa till bekymmer hos hallägare som velat hålla hög effektivitet. APC by Schneider och andra UPS-tillverkare kan inte bara stå tillbaka och låta likströmsvågen skölja över dem, eller bara ta emot okvädingsord om låg verkningsgrad när man parallellkopplar två UPS-er, utan har givetvis slagit tillbaka. Phoneras hall är utrustad med ett antal APC UPS-er av typen Galaxy 7000 med en verkningsgrad på 94,5 procent vid 50 procents last. Verkningsgradsknäet inträffar inte förrän vid ungefär 25 procents last.
Verkningsgradskurva för Galaxy 7000 på 400 kilowatt.
UPS-en är inte den verkliga boven i dramat längre. Det är servrarna. Givetvis har de två nätaggregat, ett för A-elnätet och ett för B-nätet, eftersom hallens redundans ser ut så, men det innebär ju tyvärr att serveraggregaten, som är av betydligt lägre klass än APC:s switchaggregat, arbetar på mindre än fullbelastning och hamnar långt ned på verkningsgradskurvan. Det är nästa område som måste angripas av tillverkarna.
Skalskydd av lite ovanligare slag
Tjocka kläder räcker inte om man ska klättra in på Phoneras område och vill undvika att få en smäll av elstängslet. Det här är skalskydd som både syns och känns. Varannan tråd håller +7,5 kilovolt och varannan -7,5 kilovolt. Tar man på dem båda får man 15 kV i fingrarna och Phoneras folk som har provat, säger att det känns ganska otrevligt. När stängslet känner att något drar ström går dessutom ett inbrottslarm. Phonera rekommenderar istället granatgevär för den som absolut måste sabotera.
Sverige ligger långt framme vad gäller datorhallars energieffektivitet och de stora hallbyggarna bygger tillsammans fler än en hall i veckan någonstans i landet. Det var därför roligt att få se den här hallen, dimensionerad och byggd av Phonera själva. Hallen inrymdes i en befintlig byggnad, fatiskt huset där Ericsson tillverkade mobiltelefoner innan alltihop flyttades till SonyEricsson. Vaktkuren med skottsäkert glas (mobiltelefoner var åtråvärt stöldgods) togs bort och man fick bygga ett extra tegelhus för högspänningstransformatorn, men i övrigt har huset bara återanvänts.
Läs mer
Phonera: www.phonera.se
APC by Schneider: www.apc.com/SE
Likspänningsdrift: http://teknik360.idg.se/2.8229/1.339815/servrar-pa-likstrom—har-ar-det-verklighet
Gröna hallar blir ännu grönare: http://techworld.idg.se/2.2524/1.279019/supergron-datorhall-sparar-miljoner
Grön hall får pris: Sveriges snålaste datorhall NY ADRESS KOMMER
Snabbdata för hallen i Linköping
Officiell driftsstart: augusti 2009
Area: 650 kvm
Rackskåp: 168 st, 48 HE höga, 1070 mm djupa
Maxeffekt per rackskåp: 20 kW
Avbrottsfri kraft per oktober 2010: 1,1 MW
Markkylan klarar: 600 kW
