Artikelserien om Sunets fibernät fortsätter med en omfattande beskrivning av hur nätet är konstruerat rent fysiskt, nätets topologi och en genomgång av utrustningen på olika punkter runt om i nätet. Dessutom finns ett antal kartor i artikeln som bör studeras noga. Nu ska vi ut på landet, hänga i kraftledningar och leta små röda stugor i skogen.
Vetenskapsrådet hade ställt upp följande kriterier för en nationell infrastruktur. Den skulle:
- Vara av brett nationellt intresse
- Ge förutsättningar för världsledande forskning
- Nyttjas av ett flertal forskargrupper eller användare med högt kvalificerade forskningsprojekt
- Vara så omfattande att enskilda grupper inte kan driva den på egen hand
- Ha en långsiktig planering för vetenskapliga mål, finansiering och nyttjande
- Vara öppen och enkelt tillgänglig för forskare, industri och andra användare, samt ha en plan för tillgängligheten (gäller både nyttjande av infrastrukturen, tillgång till insamlade data och presentation av resultat)
- Introducera ny spetsteknologi.
och SunetC uppfyller alla kriterierna med råge. Särskilt den sista punkten.
Grunderna – ringtopologin på landsnivå
Vad som vid första anblicken, till exempel i kartmaterialet nedan, kan verka vara ett ringnät, eller en samling sammanvävda ringar, är i själva verket en ulv i fårakläder.
Kartan till vänster visar vad det handlar om i grunden. Stamnätet är ett optiskt fibernät på sammanlagt drygt 7000 kilometer. Den grötiga kartan till höger visar alla noder, både enkla förstärkare och avlämningspunkter i alla större städer, totalt 88 förstärkarnoder (ILA) och 36 stamnätsnoder (POP) med optiska växlar (ROADM), som förser totalt 35 universitet och högskolor, 21 museer och 32 myndigheter med högklassig, redundant 100 Gbps nätverksanslutning.
Måtten på kartan ger en ungefärlig insikt i hur stort detta nät är. Sverige är ett långt land. Avståndet mellan Narvik och Malmö motsvarar ungefär det nord-sydliga avståndet mellan Barcelona och Hamburg eller det öst-västliga avståndet mellan London och Warszawa, nästan hela Géant-nätets utsträckning. Notera att det bara tar ett datapaket ungefär 7 millisekunder att färdas runt hela ringen mellan Stockholm och Jönköping, även om ett paket i realiteten aldrig färdas runt hela ringen.
Nätet följer i stort sett det svenska kraftnätets kraftstråk genom landet eftersom fibrerna är upphängda i kraftledningarna. På andra ställen hänger de i regionnätens 130-kilovoltsledningar, eller ligger nedgrävt längs motorvägarna.
Kartan är lite extra grötig kring Stockholm, eftersom nätet kommer in med dubbla vägar från de närmaste orterna. Inte för att nätet har ett ”centrum” i Stockholm utan för att de flesta nättjänsterna finns där och för att risken är extra stor för elaka grävskopor kring Stockholm.
Karttypen till vänster kallas för ”amöbakarta”, mest för att den bär sig mjukt och rörligt åt när man manipulerar den på en dator. Amöbakartan visar hela landet. De lite tjockare ledningarna är stamledningarna, medan de tunnare är förbindelserna mellan universiteten och stamnätsnoderna i POP-arna. I alla knutpunkter i stamnätet står ROADM, optiska växlar som behövs för att kunna växla ut och in signaler på nätet.
Det finns diverse små, smalare sidovägar på amöbakartan som inte förklaras just nu, för att de utgör logiska förbindelser. Dessa ska vi titta närmare på i artikeln om nätets logiska topologi.
Du noterar kanske att Östersund inte finns med på amöbakartan, trots att det finns ledningar dit i den förra kartan. Det beror på att det inte finns någon router där, utan bara en optisk växel med en ledning till Falun och en till Sundsvall för att få redundans. Mittuniversitetet i Östersund kan alltså inte ta några egna routingbeslut. Samma sak sker mellan Eskilstuna och Västerås, där Västerås är huvudorten.
Linjerna är olika tjocka och belagda med olika ”kostnad” för datatransporten. Stamnätets alla ledningar har kostnaden 1, medan ledningarna mellan universitet och stamnätsnoder är lite smalare och har kostnaden 10. När en router beräknar vägen för ett datapaket tar den hänsyn till kostnaden, sk least cost routing. Normalt blir det alltid billigast att framföra ett paket kortast möjliga väg via stamnätet, men skulle en stamnätsrouter gå sönder någonstans kan data behöva flyta en dyrare väg. Då utreder routern om det inte skulle bli billigare att flytta data andra vägen längs ringen. I de allra flesta fall blir det billigare att välja alternativa vägar längs stamnätet, men i extremfall kan en dyrare väg väljas, till exempel via ett universitet. Då spräcks principen med att inget lärosäte ska behöva vara beroende av något annat, men hellre det än att förlora förbindelsen helt.
Ringarna hette från början inget särskilt, för det är inga ringar à la Token Ring. Man skulle kunna döpa dem efter hörnpunkterna, men SNLJSÖV låter inte bra. Därför har undertecknad givit dem färger, enligt tradition från det tidigare OptoSunet. Blå nätet till Narvik får fortsätta heta blå nätet, enligt tidigare. De dubbla länkarna till Visby får heta Svarta nätet eftersom det är hyrda förbindelser som inte administreras av Sunet.
Ett annat sätt att visa nätet är med det optiska schemat.
Denna upplaga av det optiska schemat visar alla ROADM i landet, dvs alla ställen där den optiska signalen tas ut ur nätet för att det finns ett lärosäte där. Dessutom finns det ROADM i alla ringarnas hörnpunkter, helt enkelt för att det ska vara möjligt att transportera data vidare från ring till ring. Schemat visar också tänkta anslutningar till omvärldens universitetsdatanät via övergångar till NORDUnet i Stockholm, Örebro, Göteborg, Halmstad och Malmö. SunetC har kontakt med Internet via Netnod i Malmö, Göteborg, Sundsvall, Luleå och Stockholm.
Vill du slutligen se alla detaljer, alla ROADM och ILA, ser bilden ut som nedan.
Zooma in på schemat och du skall se en intressant detalj. Förhållandet mellan antalet ILA och ROADM ändras mellan nord och syd. I norr är avstånden betydligt större och det är längre mellan lärosätena, så det behövs flera ILA. I söder är avstånden förhållandevis små och det finns få ILA, men desto flera lärosäten som kräver fler ROADM.
Röda ringen Stockholm – Norrköping – Linköping – Jönköping – Örebro – Västerås
Vi har valt ut en enskild ”ring” för närstudie, nämligen röda ringen i förrförra kartan, ovan.
Layouten är ganska rakt på sak. Den ska ta data kortast möjliga väg mellan universitetsstäderna. Emellertid måste man ta hänsyn till geografin och var det finns kraftledningar att hänga fibrerna i och motorvägar där fibrerna kan grävas ned. De röda stugorna med optiska förstärkare har ställts där geografin så tillåter och det finns ett elektriskt ställverk. Optimalt ska avståndet till nästa stuga vara 80 kilometer, om naturen möjliggör detta. Annars kan det bli kortare.
Det är mest grötigt runt Stockholm eftersom både Norrköping, Uppsala och Västerås har dubbla ledare dit. Du ser inte Eskilstuna i amöbakartan nedan och det beror på samma sak som med Östersund. Mälardalens Högskola i Eskilstuna har ingen egen router utan bara en dubblerad förbindelse till Västerås och kan sålunda inte ta egna routingbeslut.
Svarta nätet från Norrköping till Visby går inte alls så rakt som kartan visar, men utgörs av en hyrd förbindelse som Sunet inte administrerar. Hur ägaren av den förbindelsen för fram sin fiber, är dennes ensak.
I Stockholm finns två noder, Tulegatan och Fredhäll, vilka är Sunets två redundanta datorhallar. Mer om detta i andra artiklar.
Amöbakartan är väldigt användbar. Man kan titta närmare på linköpingsnoden lin3. Routern i POP-en heter lin3-r1. Linköpings universitet (liu) har två routrar, varav liu-r1-SLS ansluter direkt till routern i linköpingsnoden. Den andra, liu-r2-SLS ansluter till routern i norrköpingsnoden, nkg188-r1. Det är inte så att liu-r2-SLS har en egen ledning till Norrköping. Amöbakartan är en logisk karta. Stamnätsfibern mellan lin3 och nkg188 används i båda fallen, men med olika våglängder. Samma fysiska fiber innehåller två logiska vägar. Se mera om detta i nästa artikeldel om den logiska topologin.
Utrustningen runt ringen
Området som täcks in av Röda ringen torde vara det universitetstätaste i landet.
Klickar du på kartan får du en större version. Bildcredit: Jenny Svennås-Gillner, CC – Hangsna, CC – Eva Dalin – Holger Ellgaard, CC – Stern, CC – Wikimedia CC BY-SA
Kartbilden visar bara de viktigaste lärosätenas högkvarter. Därtill kan det finnas andra universitetsområden kring ringen som inte pekats ut. Inget ont om dem! Kraftledningarna drar långa stråk genom Södermanland och är det enda av SunetC som syns ute i naturen. I alla förstärkarnoder (ILA) sitter precis samma utrustning, nämligen EDFA-förstärkare från Adva. I alla point-of-presence sitter också precis samma utrustning, nämligen mera Adva-rackar och dessutom Juniper MX960-routrar.
Lägsta nivån – stadsnätet
Stamnätet hamnar till sist i en kopplingspunkt (nod, Point of Presence) där det grenas av in i en stad. Låt oss betrakta en fiktiv stad – Storstad. Det är en större svensk industristad med cirka 100.000 invånare, med ett framträdande universitet mitt i staden. Elkraften kommer in som 130 kV på regionnätet västerifrån och avslutas i ett ställverk, där kraften efter att ha passerat ett antal frånskiljare mm, transformeras ned till 11 kV och distribueras ut till stadens understationer. Regionnätet fortsätter österut mot nästa tätort. Jordlinan överst på kraftledningen för med sig ett fiberknippe.
Där jordlinan avslutas i en jordpunkt i ställverket, skiljs fibrerna ut och tas vidare till Sunets avlämningspunkt mot stadsnätet i ställverket, stamnätets POP i Storstad. POP:en har formen av en röd stuga, i vilken fibrerna termineras i en ROADM (Reconfigurable optical add-drop multiplexer), en utrustning som dels förstärker den optiska signalen och dels skiljer ut de våglängder som ska användas för lokal kommunikation, kontra de som bara ska vidare.
Ett annat fiberknippe kommer ut från avlämningspunkten och går in i den jordlina som fortsätter österut.
När utrustningen i POP:en är klar med ljuset, förs det över i stadsnätsägarens fibrer, som tar det genom staden längs två skiljda vägar. Sunet kan inte styra exakt hur ljuset färdas, men den vanliga regeln om minst tio meters avstånd gäller.
Fibrerna kommer in till lärosätet på två vägar som är så långt ifrån varandra som möjligt och landar i varsin datorhall, där de tas till varsin redundant router. För att säkra förbindelsen även om den ena routern, eller den utgående fibern från den skulle gå sönder, finns tvärförbindelser mellan dem. Tvärförbindelsen måste vara snabb, för att inte bara kunna hantera lärosätets trafik. Den kan också bli en språngbräda för just denna gren av SunetC om någon annan del skulle gå sönder och trafiken inte kan ta någon annan väg än genom lärosätet.
Detta är emellertid ett undantagsfall, eftersom huvudregeln är att inget lärosäte får vara beroende av något annat lärosäte.
Finare än så här delar jag inte upp nätet, för då börjar det handla om enskilda lärosäten och det ligger utanför SUNETs domäner.
I skogen
Ovan har nätet beskrivits i schematisk form. Låt oss nu titta på hur det ser ut i praktiken, där det hänger ute i naturen.
Den mesta svenska elenergin produceras i Mellansverige för det är där vattenkraftverken finns. Bilden visar ett vattenkraftverk vid Långsele. Faxälven ser stor och mäktig ut ovanför dammen (till vänster), men har krympt till nästan intet på andra sidan. Kraftverket matar ett ställverk alldeles intill (grått), som går vidare till ett betydligt större ställverk längre söderut. Detta är samlingspunkt för regionnätet i området, där kraftverket bara är en delproducent. Regionnätet avlägsnar sig i den breda kraftledningsgatan åt höger.
Den mesta energin förbrukas också i Mellansverige, eftersom nästan all tung stålindustri och alla pappersbruk finns där. En pappersmaskin är en helt otrolig energislukare. Ett normalt pappersbruk drar drygt 200 megawatt kontinuerligt.
Kraftledningsgatorna korsar varandra som ett spindelnät i landet, i detta fall i sundsvallstrakten. De svenska regionnäten är mer eller mindre att betrakta som meshnätverk. De är ett fantastiskt mål för blixten och det inträffar omkring 200-300 incidenter varje år. Det vanligaste är åsknedslag. Normalt händer det inget alls när blixten tar i en kraftledning, för jordlinan som hänger överst, leder överslaget till jord.
Men jordlinan kan göra mycket mera än så. Den kan vara bärare av flera hundra optiska fibrer. Kraftbolagen kallar detta för OPGW, Optical Ground Wire. Varianten ovan kallas Hexacore och kommer från fibertillverkaren AFL. Den elektriska ledardelen består av hopspunna aluminium- och ståltrådar och en typisk jordledare som bär med sig 96 fiberkärnor är 17 millimeter i diameter, klarar toppströmmar på 177.000 ampere och har en dragstyrka på 10 ton.
Metoden är idealisk för dataöverföring. Stamnätet är mycket säkert uppbyggt och blåser inte omkull – det har i alla fall inte hänt hittills. Kraftledningsgatan hålls röjd från växtlighet som kulle kunna falla omkull över ledningarna enligt stränga normer i Elsäkerhetsverkets Författningssamling (Starkströmsföreskrifterna). Det finns ett ställverk utanför varje större svensk stad och där kommer såväl kraftledning som jordlinor ned. Bara att ta för sig.
Här visas ett ställverk intill en större svensk stad. Stamnätet på 400 kV kommer in söderifrån och hamnar i de elektriska apparaterna, frånskiljare, gnistgap mm. Du ser skuggorna av alla stolpar, även om ledningarna själva knappt syns. Kraften kopplas över till de två transformatorerna och spänningen tas ned till de gängse 11 kilovolten för distribution över staden. Den utrustning som är av intresse för oss finns emellertid i stugorna på området.
In-Line Amplifier – ILA
Skulle stugan bara vara ett förstärkarhopp på vägen, tas inget data ut till omvärlden utan det enda som händer är att den optiska signalen förstärks i en optisk förstärkare och släpps tillbaka upp i kraftledningen igen, för vidare befordran. I just detta fall visas den ILA som är installerad vid ställverket i Kolbotten strax nordöst om Södertälje, men de ser likadana ut över hela landet.
Förstärkarmodulen, nederst, består av en chassilåda Adva Fibre Service Platform 3000 av låghöjdsversion. Lådan innehåller två EDFA-förstärkare. Det behövs två eftersom nätet består av två fibrer, en för ljus i vardera riktningen.
I lådan kan man stoppa in EDFA- eller ramanförstärkare som klarar förluster på över 50 dB på fiberlängder över 2000 kilometer på 96 samtidiga våglängder. SunetC nöjer sig dock med 80 kilometer och förväntar sig aldrig en dämpning på mer än 25 dB för att hålla signal/brusförhållandet högt.
Den grå-vita modulen överst är det dubblerade kraftaggregatet som ger 48 volt till förstärkarna.
Reconfigurable optical add-drop multiplexer – ROADM
I stugor som utgör en POP landar fibrerna från kraftledningarna i varsin ROADM, våglängdsväxlar i vilka man dynamiskt kan bestämma vilka våglängder som ska gå tvärs igenom till nästa kraftledning, vilka som ska växlas av till lärosätet och vilka som ska växlas av till den lokala routern.
Utrustningen består av dubbla Adva Fibre Service Platform FSP 3000 (varav bara en visas i bilden ovan) med övervaknings-, växel- och förstärkarmoduler monterade i ett bakplan. FSP 3000 är en låda med ett elektriskt bakplan och inbyggd strömförsörjning, som kan förses med moduler allt efter kundens behov för att anpassa utrustningen för antingen stamnät, stadsnät eller företagsnät. I bilden ovan sitter bland annat tre stycken Adva 4RAOADM-E 96C monterade.
Anledningen till att man har dubbla ROADM-chassin är redundansen. En av dem ska kunna gå sönder utan att man tappar förbindelsen till vare sig stamnätet eller lärosätet. Data får ta en lite krångligare väg runt andra delar av nätet, men förbindelsen blir kvar.
Routrar
I POP hittar vi också den router som lärosätet kommunicerar med. Juniper MX960 är universalverktyget som teknikerna strösslat hela Sunet-C med. Den bestämmer vilken väg signalen ska välja för att få billigast möjliga resa till mottagaren.
MX960 är en stark-låda. Bakplanet klarar att växla totalt 10,56 Tbps och varje kortplats kan hantera 480 Gbps. Det är lite drygt fyra våglängder om 100 Gbps per kortplats. Räkna med att det kommer att behövas innan det är dags att ta SunetC ur drift.
Avlämningspunkt för stadsnätet
Så har fibrerna gått genom hela staden och hunnit fram till lärosätet. Det är alltid två redundanta fibrer på två vägar genom stadsnätet, som slutar i två kopplingspaneler som den ovan. Panelen är stadsnätsägarens avlämningspunkt mot lärosätet. Den är helt passiv och kopplar bara ljuset från stadsnätet vidare in till lärosätets utrustning.
Hur det ser ut efter kopplingspanelen är inte Sunets sak att bestämma. Ett typiskt universitet har dock två Juniper MX480-routrar för att klara redundansen.
När fibern går av
Hur får man reda på att fibern har gått av? Tänk om det inte går något data just där, just då?
Var lugn, det går alltid ljus i fibern, även om användarna inte sänder något. En bärvåg sänds alltid mellan noderna. Systemet för felkorrigering (FEC, Forward Error Correction) fungerar så att det ständigt sänder extra korrigeringsdata tillsammans med användardata, som kan användas för att korrigera eventuellt trasigt användardata. Principen för FEC innebär att tom-data alltid sänds.
Routrarna utbyter dessutom alltid routinginformation med varandra för att IGP-protokollet (Interior Gateway Protocol) ska fungera, vilket i sin tur används för att utvärdera den billigaste vägen mellan två punkter. Utöver detta skickar routrarna ständigt ”hello”-paket till varandra med ett bestämt tidsintervall.
Ytterligare en förbindelse, kallad OSC (Optical Supervisory Channel) är en dataström som flyter över fibern hela tiden, men på en våglängd utanför kundernas trafik. Normalt används 1526 nm våglängd för denna kanal. OSC är till för driftövervakning av fiberns funktion, EDFA-förstärkarnas driftlägen och för programuppdateringar till ansluten utrustning. Överföringen efterliknar normalt 100 Mbps Ethernet.
Skulle någon av dessa förbindelser fallera kommer detta att rapporteras till övervakningscentralen (NOC) i Stockholm och man kan sluta sig till att fibern gått av, eller motsvarande.
Läs mer
Den här artikeln skrevs ursprungligen på uppdrag av Sunet. Läs allt om Sunet hos Sunet: https://sunet.se/
Svenska kraftnäts stamnätskarta: https://www.svk.se/om-kraftsystemet/om-transmissionsnatet/transmissionsnatskarta/
Fysiska data om det optiska stamnätet
Stamnätets längd: ~7000 kilometer
Kanaler
- Överföringen är av typen DWDM och sker på C-bandet (1529,5 – 1567,5 nm) med 0,8 nm delning, eller 19600 – 19123 GHz med 50 GHz delning
- Direktkontakten mellan routrar sker med ”grått” ljus på 1295-1310 nm
- OSC-kanalen framförs på 1526 nm eller 19610 GHz
Bärvågornas kapacitet: 100 Gbps i dagsläget, 200 GHz i framtiden
Stamnätets kapacitet fullt utbyggt: 9,6 Tbps i dagsläget, 19 Tbps i framtiden
Typ av fiber: G.652 och G.657
Dämpning: högst 0,25 dB/km, bör vara <0,22 dB/km
Antalet stamnätsnoder: 124
Uppdelat på: 88 förstärkarnoder och 36 POP:ar
Antalet routrar i POP: 36 stycken Juniper MX960
Antalet EDFA-förstärkare i ILA och POP: 175
Antalet raman+EDFA-förstärkare i ILA och POP: 108
