Nätets centrum

av Jörgen Städje den 20 Okt 2015

SUNET är ett icke så litet, landsomfattande nät med tentakler långt ut i vida världen. Datorhallarna på Tulegatan och i Fredhäll i Stockholm är SUNETs spindlar i nätet, åtminstone så som SUNET är konstruerat idag.

OptoSUNET är ett så kallat stjärnnät, där det finns ett centrum som tar hand om och utbyter all trafik från alla lärosäten varefter trafiken sprids utåt som en julgransstjärna därifrån. All datatrafik mellan högskolorna går från varje skola till kärnan i Stockholm och sedan tillbaka igen. Anledningen till att man byggde OptoSUNET så 2007 var att den mesta trafiken ursprungligen ändå gick till och från Stockholm, och därifrån ut på forskningsnäten i världen. Numera har tekniken förändrats vilket gör att nya Sunet kommer att byggas upp annorlunda.

OptoSUNET är ungefär som med Stockholms tunnelbana, där alla resenärer som vill byta linje måste åka via T-Centralen.

tubemap

Dessutom har OptoSUNET två likadana delnät, det röda och det gröna, som kan ersätta varandra. Det är som om Stockholm hade haft två tunnelbanor i helt skilda tunnlar, som går till samma stationer. Blir det tågstopp i den ena, kan man ta den andra. Men istället för T-Centralen har OptoSUNET Tulegatan och Fredhäll som centra.

T-Centralen har också en avdelning för trafikövervakning som håller ordning på att tågen går som de ska. I SUNETs fall kallas den för nätdriftcentral eller NOC. Man kan dra parallellen vidare och säga att signalsystemet i tunnelbanan, de röda och gröna signalerna, är protokollet som får data att färdas i fibrerna i rätt takt.

guider

Men vad finns det mera exakt i ett nätcentrum som Tulegatan? Vilka funktioner finns där och hur övervakas allting så man kan veta att det alltid fungerar? Var finns SUNETs tjänster? Per Nihlén som är teknisk chef för nät och tjänster och nätverksarkitekt Magnus Bergroth visar oss runt i datorhallen, eller ”core” som de föredrar att kalla den. Egentligen är det flera core, en för SUNET och en för NORDUnet, men bara SUNET core visas här.

nätcentrum systemskiss

Mycket förenklat är datorhallen bestyckad som på bilden ovan, men minns att det egentligen är betydligt flera servrar och ledningar än vad som visas. Låt oss börja från höger i ritningen.

DWDM

Ljuset i fibrerna som kommer in från hela landet är av olika färger (våglängder), flera stycken på en gång i samma fiber, för att utnyttja fibrerna maximalt. Man säger att överföringen är våglängdsmultiplexerad. DWDM-utrustningen (Dense Wavelength Division Multiplexing) har till uppgift att ta signalerna från de inkommande fibrerna och skilja de olika våglängderna som kommer in på samma ledare åt till flera separata dataströmmar som kan hanteras av routrarna. Omvänt tar DWDM-utrustningen de olika signalerna från routrarna och gör om dem till olika våglängder och matar ut dem på fibrerna, för vidare befordran tillbaka till lärosätena.

Routrar

Routern (eller i detta fall ett flertal routrar med redundant funktion) lyssnar på trafiken som kommer in från lärosätena, funderar ut vart den ska och skickar ut den på rätt ledning. Det är routrarna som är stjärnnätets mittpunkt – växelstation – rangerbangård.

Servrar

I datorhallen finnas flera uppsättningar servrar som utför olika SUNET-tjänster. De allra flesta tjänsterna är inte säkerhetsklassade och kan därför köras i virtuella servrar i det generella serverklustret. Det finns dock tjänster som måste ha egna servrar, som DNS-tjänsten (Internets adressbok) och exempelvis identitetstjänsten eduID. EduID kräver så hög säkerhet att den inte kan köras på samma servrar som andra tjänster och därför har ett eget rackskåp, egna brandväggar osv. Adobe Connect hade eventuellt kunnat köras virtualiserad, men visade sig fungera sämre på det sättet och har fått egna servrar.

Peering

För att inte SUNET ska behöva betala dyrt för trafiken till olika externa högkapacitetstjänster, som Google, Twitch, Netflix, Facebook och Akamai, peerar SUNET direkt med dessa och går inte via någon annan operatör. Peering innebär att två likvärdiga parter träffas och utbyter datatrafik med varandra och kvittar kostnaderna emellan sig. Så arbetar SUNET för att minska överföringskostnaderna mot tredje part. För den skull har till exempel Akamai, som är källan till många strömmade videotjänster som SVT Play med flera, ett eget serverrack hos SUNET.

NOC

Nätdriftcentralen NOC består av ett antal datorer som ständigt hämtar in driftdata från alla enheter på hela nätet, visar data på en överskådlig form för teknikerna och medger att teknikerna kan ändra och konfigurera enheter, uppdatera deras interna program och göra ändringar för att kompensera för om en enhet skulle gå sönder, en optofiber gå av eller liknande. Läs mer om NOC här: https://www.sunet.se/blogg/nocen-spekulerar-1-hog-belastning/

Fast egentligen ser det ut så här

Låt oss nu gå runt i datorhallen på Tulegatan och se hur de olika enheterna ser ut i verkligheten. Ordningen är densamma som i beskrivningen ovan.

DWDM

All inkommande data hamnar i denna tämligen anonyma apparat från Ciena, DWDM-utrustningen vars uppgift det är att plocka sönder det flerfärgade ljuset till olika dataströmmar och sända det vidare till routrarna.

router

Juniper har gjort denna stora router som plockar ihop och fördelar signaler från alla servrar och tjänster i datorhallen.

server-div

De allra flesta SUNET-tjänster körs på virtuella servrar som drivs av systemet VMWare på generella serverkluster. Här är ett typiskt sådant sett bakifrån.

server-akamai

Den högra racken innehåller Akamais servrar för strömmande video och är en del av Akamais Intelligent Platform. De är vad Akamai kallar för kant-servrar, Akamai Edge. De lagrar alla Akamais kunders videoprodukter och programuppdateringar, för vidare befordran in i SUNET. De är dessutom ganska snygga att se på. Rackskåpet till vänster är också väldigt snyggt belyst. Varför kan inte datorer får vara snygga?

server-DNS

DNS-tjänsten körs på en egen stapel servrar. Den gör sig bäst om den får vara ifred för alla andra tjänster.

server-eduID

EduID är en tjänst med hög säkerhet, så hög att den inte får existera i samma rackskåp som någon annan tjänst. Allra längst ned finns ett kassaskåp som innehåller digitala nycklar.

elfrdelare

Nätövervakarna har en mängd redskap för att hålla reda på utrustningens driftläge. Bortsett från att maskinerna själva rapporterar sin driftsstatus kan man med elfördelare som denna mäta effekten som olika apparater i ett rackskåp drar. Skulle någon enhet plötsligt börja dra för mycket ström, eller kanske sluta dra ström helt och hållet, ger det upphov till larm och påföljande felsökning.

NTP-klocka

När projekt Tidslagret (idag NTP-projektet) genomförts helt kommer Sverige att förses med tillförlitlig, stabil och spårbar atomtid från ett flertal tidslager i Sverige. Det lager som körs i experimentdrift hos SUNET i Stockholm ser ut så här. Cesiumklockan är den grå lådan näst längst ned, vars display visar att klockan är 9:29:57. Den håller koll på tiden ned på nanosekunden när.

NTP-mottagare

Ännu så länge finns inte det landsomfattande nätet för synkronisering av alla tidslager, så för närvarande får man hålla till godo med GPS-satelliterna för synkronisering. Bilden visar en GPS-mottagare som matar ut GPS-tid till NTP-servern som referens. GPS är emellertid allt för otillförlitligt för skarp drift.

När projektet är genomfört kommer Sverige att ha absolut tillförlitlig realtid, synkroniserad med Svensk Normaltid såsom den utges av SP i Borås. Borås får i sin tur korrigeringar från tidsbyrån BIPM i Paris, som förser hela världen med den absolut tillförlitliga tiden UTC. Alla som så önskar ska kunna hämta SNT från flera NTP-servrar landet runt, för absolut redundans.

Mera finns

Givetvis finns det mycket mera utrustning i datorhallen på Tulegatan och precis like mycket godis till finns i hallen i Fredhäll. De båda är varandras spegelbilder och hålls ständigt synkroniserade via en redundant länk. Skulle den ena hallen gå sönder, eller om någon del av den går sönder, är motsvarande del i den andra hallen redo att ta över.

Skulle ett av näten ute i landet gå sönder, tvingas trafiken över från det trasiga till det fungerande nätet via den redundanta länken. Det är anledningen till att det så sällan är avbrott på OptoSUNET. Redundansen, alltså den dubbla tillgången kan förloras, men avbrott blir det i stort sett aldrig.

Läs mer

Så fungerar Akamai: http://techworld.idg.se/2.2524/1.539248/akamai-ater-upp-attacken

1968-01-01

Fiberfeber startades

1 May 2015

Beställa routrar och optik

15 Sep 2015

Leverans av routrar och optik

1 Jan 2016

Byggnation av kärnnät

1 Feb 2016

Börja flytta över kunder

16 Jun 2016

Nya Sunet operativt

16 Oct 2016
2019-11-17

Fler blogginlägg av Jörgen Städje

DNS och DNSSEC utan facksnack

30 Jan 2018
/ Bloggen fiberfeber

Från oss alla, till er alla

14 Dec 2017
/ Bloggen fiberfeber

Så arbetar NOC

13 Nov 2017
/ Bloggen fiberfeber

SUNET i Hongkong

20 Sep 2017
/ Bloggen fiberfeber

SUNETs handbok i informations- och IT-säkerhet

1 Sep 2017
/ Bloggen fiberfeber

Den ökända hästen från Troja

31 Jul 2017
/ Bloggen fiberfeber

Redundans är allt

3 Jul 2017
/ Bloggen fiberfeber

SNIC-snack

2 Jun 2017
/ Bloggen fiberfeber

We have liftoff: del 5 av 2

3 Maj 2017
/ Bloggen fiberfeber

Maria Häll: We are at the Forefront!

13 Apr 2017
/ Bloggen fiberfeber

Maria Häll: Vi ligger i framkant!

10 Apr 2017
/ Bloggen fiberfeber

We have liftoff, del 4 av 2

22 Feb 2017
/ Bloggen fiberfeber

We have liftoff, del 3 av 2

30 Jan 2017
/ Bloggen fiberfeber

We have liftoff! Del 2 av 2

9 Jan 2017
/ Bloggen fiberfeber

We have liftoff! Del 1 av 2

16 Dec 2016
/ Bloggen fiberfeber

Long Read – Cleanliness is a Virtue

20 Sep 2016
/ Bloggen fiberfeber

Långläsning - tvättar bäst som tvättar först

16 Sep 2016
/ Bloggen fiberfeber

Följa fiber – från Tulegatan till Stockholms universitet.

26 Aug 2016
/ Bloggen fiberfeber

Ericsson, then swänske Lars Magnus

7 Jun 2016
/ Bloggen fiberfeber

One ring to rule them all

24 Maj 2016
/ Bloggen fiberfeber

Den tunga bakgrundstrafiken

12 Maj 2016
/ Bloggen fiberfeber

Long read: How to Design a Fibre Optic Network

5 Maj 2016
/ Bloggen fiberfeber

Welcome to the Fiber Fever Blog!

3 Maj 2016
/ Bloggen fiberfeber

Procuring an Optical Network – Smooth as Silk

2 Maj 2016
/ Blogg

The Breadth and Width of a Megabit

29 Apr 2016
/ Blogg

The Nobel Prized Piece of Glass

28 Apr 2016
/ Blogg

What’s the time? Really?

28 Apr 2016
/ Blogg

SUNET in i molnet (3) – molnsäkerhet

26 Apr 2016
/ Blogg

SUNET in i molnet (2) – vad är molnet egentligen?

25 Apr 2016
/ Blogg

SUNET in i molnet (1) – det här får du

25 Apr 2016
/ Blogg

Read about the brand new Sunet network.

11 Apr 2016
/ Bloggen fiberfeber

GÉANT och NORDUnet – bästa kompisar

14 Mar 2016
/ Bloggen fiberfeber

Ljuset kommer från Tyskland

3 Mar 2016
/ Bloggen fiberfeber

Thunderbirds are GO!

19 Feb 2016
/ Bloggen fiberfeber

Ett panorama av verkligheten

17 Feb 2016
/ Bloggen fiberfeber

Det allseende ögat

15 Feb 2016
/ Bloggen fiberfeber

Förstärkning på längden

15 Jan 2016
/ Bloggen fiberfeber

Dämpning och förstärkning i optisk fiber

14 Jan 2016
/ Bloggen fiberfeber

Grundläggande om L-bandet

14 Jan 2016
/ Bloggen fiberfeber

C-bandet – grundläggande om

14 Jan 2016
/ Bloggen fiberfeber

Logaritmer, min käre Watson

14 Jan 2016
/ Bloggen fiberfeber

CERN – krossen som slår sönder materiens minsta byggstenar

12 Jan 2016
/ Bloggen fiberfeber

Riksarkivets samarbete med SUNET

11 Jan 2016
/ Bloggen fiberfeber

One Ring to Rule them - Vetenskapsrådet

21 Dec 2015
/ Bloggen fiberfeber

Alla jättars jätte - Cisco

19 Dec 2015
/ Bloggen fiberfeber

En värld av siffror - belastning

19 Dec 2015
/ Bloggen fiberfeber

Ur led är inte alls tiden - atomur

19 Dec 2015
/ Bloggen fiberfeber

En djungel av kontaktdon

4 Dec 2015
/ Bloggen fiberfeber

Elektronisk enbärsdricka - Juniper

27 Nov 2015
/ Bloggen fiberfeber

Vad är Géant?

26 Nov 2015
/ Bloggen fiberfeber

Radar Love - Eiscat

25 Nov 2015
/ Bloggen fiberfeber

The Color Purple - dispersion

25 Nov 2015
/ Bloggen fiberfeber

Full Metal Packet - switchen

10 Nov 2015
/ Bloggen fiberfeber

Get your kicks on route 66 - routrar

10 Nov 2015
/ Bloggen fiberfeber

Game of Stones - kvarts

10 Nov 2015
/ Bloggen fiberfeber

The Twilight Zone - fotonen

10 Nov 2015
/ Bloggen fiberfeber

Peering – SUNETs ekonomiska ryggrad

9 Nov 2015
/ Bloggen fiberfeber

I mörkret är alla katter infraröda

4 Nov 2015
/ Bloggen fiberfeber

Fibertyperna i nätet och deras optiska felaktigheter

29 Okt 2015
/ Bloggen fiberfeber

Vad är klockan? Egentligen?

21 Okt 2015
/ Bloggen fiberfeber

Den optiska transceivern

17 Okt 2015
/ Bloggen fiberfeber

Polarisation och informationsöverföring

1 Okt 2015
/ Bloggen fiberfeber

Laserns historia

30 Sep 2015
/ Bloggen fiberfeber

Koherent ljus, vad är det?

28 Sep 2015
/ Bloggen fiberfeber

När allt är klart

28 Sep 2015
/ Bloggen fiberfeber

SUNET – nu ännu bättre!

16 Sep 2015
/ Bloggen fiberfeber

Fibern fruktar fukten

11 Sep 2015
/ Bloggen fiberfeber

Att få kontakt

11 Sep 2015
/ Bloggen fiberfeber

Så tillverkas optisk fiber

31 Aug 2015
/ Bloggen fiberfeber

EMC – EMI – EMP

31 Aug 2015
/ Bloggen fiberfeber

Glasbiten som gav nobelpris

21 Aug 2015
/ Bloggen fiberfeber

Megabit på längden och tvären

21 Aug 2015
/ Bloggen fiberfeber

Långartikel: Fibern från Frostmofjället

21 Aug 2015
/ Bloggen fiberfeber

Upphandling av optiskt nät

25 Jul 2015
/ Bloggen fiberfeber

OptaSense – när fiber blir sensorer

3 Jul 2015
/ Bloggen fiberfeber

Teknisk djupdykning: Optisk magi med ramanförstärkare

2 Jul 2015
/ Bloggen fiberfeber

Teknisk utvikning: 130.000 fibrer som i en liten ask

1 Jul 2015
/ Bloggen fiberfeber

NOCen spekulerar 2: Felrapporter

27 Jun 2015
/ Bloggen fiberfeber

NOCen spekulerar 1: hög belastning

26 Jun 2015
/ Bloggen fiberfeber

Teknisk djupdykning: Optisk magi med EDFA

22 Jun 2015
/ Bloggen fiberfeber

Långartikel: Så designar man ett fiberoptiskt nät

11 Jun 2015
/ Bloggen fiberfeber

Bredare motorväg för svenska data – äntligen en offensiv satsning!

22 Maj 2015
/ Bloggen fiberfeber

Om den interaktiva tidslinjen

21 Maj 2015
/ Bloggen fiberfeber

Om den interaktiva kartan

20 Maj 2015
/ Bloggen fiberfeber

Fiberfeber: Vad som har varit och vad som komma skall

19 Maj 2015
/ Bloggen fiberfeber

Följ bygget av Sunets nät på bloggen Fiberfeber!

18 Maj 2015
/ Bloggen fiberfeber

Teknisk djupdykning: den mystiska routerkraschen

11 Jun 2006
/ Bloggen fiberfeber

2000–2013: Sunet mognar och kapaciteten ökar. Identitetsfederation skapas.

1 Jan 2000
/ Bloggen fiberfeber

1990–1999: Kapaciteten stiger, 2 – 34 – 155 Mbps

1 Jan 1990
/ Bloggen fiberfeber

1968–1989: Idéernas tidevarv. Internets vagga.

1 Jan 1968
/ Bloggen fiberfeber

Jörgen Städje

Jag heter Jörgen Städje och har skrivit om teknik och vetenskap sedan 1984. Friskt kopplat, hälften brunnet!


Warning: file_get_contents(https://www.linkedin.com/countserv/count/share?url=https://www.sunet.se/blogg/natets-centrum/&format=json): failed to open stream: HTTP request failed! HTTP/1.0 404 Not Found in /var/www/html/wp-content/themes/sunet/functions.php on line 5416