Långläsning: Följa fiber – från Tulegatan till Stockholms universitet

av Jörgen Städje den 26 Aug 2016

E-brev skriver vi varje dag. Massor av dem. Och trycker på Send och vips är de borta och en sekund senare hoppar de fram hos mottagaren. Men hur går det till i detalj? Fiberfeber beslutade sig för att utreda processen riktigt närsynt och förklara hur ett e-brev överförs.

I denna skildring sänds brevet från SUNETs kontor på Tulegatan (hädanefter TUG) och går till IT-avdelningen på Stockholms universitet (hädanefter SU). På vägen har det passerat två radiolänkar, två kopparnät och sju optiska nät om totalt tre kilometer och farit runt i sex routrar och två switchar och lagrats på minst fyra hårddiskar. Men var inte orolig. Allt är över på en tiondels sekund.

Processen som ska beskrivas här, består i att SUNETs nätninja Fredrik Korsbäck skickar ett e-brev till nätverksansvarige Ulf Blixt på SU. Brevet följs från dess tillblivelse i e-postklienten i Fredriks Macintosh tills det hamnar på bildskärmen hos Ulf, förmedlat av hans Outlook-klient.

Innehållsförteckning

1. Nätverken – Nätverket i allt ökande detalj
2. Logisk kontra fysisk process – hur dataöverföring måste betraktas på två plan
3. Den logiska processen – logiskt består dataöverföring av funktioner och beslut
4. Spamtvätten – att bli av med skräpet
5. Så här slutar det – hur den logiska processen slutar hos mottagaren
6. Den fysiska processen – stor karta att följa fiber på
7. Utrustningen på Tulegatan – en genomgång av olika typer av maskiner
8. Hit men inte längre – gränssnitten mellan två leverantörer
9. Utrustningen ute på stan – nätägaren Stokabs utrustning
10. Utrustningen på Stockholms universitet – en genomgång av olika typer av maskiner
11. Sammanfattning
12. Läs mer – referenser, ytterligare artiklar

Nätverken

När man skickar ett e-brev åker det väl bara in i SUNET och kommer ut i andra änden, så som nedan, eller hur?

översiktligt nätverk 1

Det gör det visserligen, men detta är en grov överförenkling. Det är flera nätverk inblandade på vägen. Nästa bild beskriver situationen bättre.

översiktligt nätverk 2

Båda institutionerna har ett eget intranät som datorerna är anslutna till. Ingen persondator sitter någonsin ansluten direkt till SUNET. Det vore helt enkelt inte möjligt eller ändamålsenligt att ansluta en persondator direkt till ett fiberoptiskt långdistansnät. Intranätet består ofta av flera delnät, till exempel ett trådat nät och ett trådlöst, och näten har ett antal kopplingspunkter. Så bilden ovan är inte heller helt sann.

översiktligt nätverk 3

Egentligen är det minst fem olika nät inblandade, som alla åtskiljs av kopplingsutrustning i form av switchar och routrar, för att fördela lasten i nätet, skydda mot fel och för att få redundans. Intranäten har som sagt trådlösa noder, såväl som persondatorer anslutna med ledning.

Intranätet är enbart avsett för användarna. Det är anslutet till corenätet, som är avsett att koppla intranätet mot SUNET. I fallet TUG har corenätet också andra syften: nämligen att hjälpa till med övervakningen av SUNET och förse SUNET med anslutning till servrar som lämnar olika nättjänster, såsom videokonferens, identitetskontroll, spamtvätt med mera. I just detta specialfall upphör faktiskt SUNET rent fysiskt när ansvaret för transporten inom Storstockholm övergår till Stokab, som tar brevet vidare till SU.

Nu kryper sanningen fram. SUNET är bara förnamnet. Den verklige aktören i just detta fall är Stokab, företaget som driver stadsnätet i Storstockholm (och lite varstans runt Mälardalen). Det vore meningslöst för SUNET att försöka lägga egna fibrer i Stockholm när Stokab redan har lagt staden full av fiber. Istället hyr SUNET in sig på ett antal fibrer från datorhallarna och ut till stockholmskunderna. Men vi föredrar att kalla det för SUNET i alla fall, eftersom hela förbindelsen ser ut som SUNET för kunderna.

När brevet trasslat sig ur Stokabs fibrer hamnar det i SUs corenät, som har ungefär samma funktion som det på TUG, nämligen att utföra anslutningen av hela SU mot det fiberoptiska höghastighetsnätet.

Man kan tycka att det är en väldig massa nätverk inblandade, men detta är ändå inte hela sanningen. För att kunna förse SUNET med det stora landsomspännande Sunet C har Tele2 fått anlita hela 140 underleverantörer. Det kan handla om exempelvis de lokala elleverantörerna på alla orter där den kraftledningsburna fibern kommer ned på marken. Man måste ha tillgång till elleverantörernas ställverk för att kunna dra ut fibern därifrån till närmsta avlämningspunkt. Alla större städer har dessutom stadsnät som ägas av någon, som kommunen eller ett företag. Även dessa måste blandas in när man vill ha en förbindelse från kraftnätets avlämningspunkt genom staden fram till universitetet.

Logisk kontra fysisk process

Dataöverföring kan indelas i två processer, den logiska och den fysiska. Båda löper samtidigt, men har väldigt lite med varandra att göra. Den logiska processen består av beslut, funktioner och tjänster och anger hur något görs, medan den fysiska processen anger med vad det utförs och består av maskiner och ledningar som fungerar som stöd för den förra.

De båda ser inte likadana ut. Den logiska processen bryr sig inte om vilken sorts kabel som överför data, bara det kommer fram i andra änden. Den logiska processen kan till exempel utgöras av en funktion som exekverar på en server och lämnar en tjänst.

Den fysiska processen bryr sig å andra sidan inte om till exempel hur användaren fått tillgång till nätet, utan har som enda mål att lagra och överföra data, se till att det flyter fotoner etc. Den fysiska funktionen kan utgöras av själva servern och dess elektriska anslutning till nätet, optofibrerna i gatan och radiovågorna i luften.

Den logiska processen

Det här vad allting börjar med, ett enkelt e-brev. Här sitter Fredrik Korsbäck på TUG och avser att författa ett e-brev till en kollega.

person-fredrik

Innan Fredrik börjar skriva något som helst är det lämpligt att han loggar in, alltså identifierar sig för eduroam-systemet så att nätet på TUG vet vem han är och att han har rätt att skicka e-brev. När han slår på sin dator börjas en autenticering enligt 802.1x-protokollet. Det är i detta fall den trådlösa accesspunkten från Ruckus som ber sitt styrsystem (Ruckus Controller) om att identifiera den inloggade. Styrsystemet tar kontakt med den lokala Radius-databasen med betrodda medlemmar och det visar sig att Fredrik är betrodd. Hans dator tilldelas en IP-adress och existerar således för nätverket.

Nu går det bra att skicka brev.

mail från korsbäck till blixt

Fastän brevet är klart och försett med mottagaradress, kan det inte skickas någonstans alls. Fredriks dator måste veta var mailservern finns. Mailservern är postkontor och brevbärare. Hans dator frågar DNS-servern om den sanna IP-adressen till mail.sunet.se och med den klar kan brevet överföras till mailservern.

DNS är en slags uppslagsbok, en funktion som känner till namnen på alla mottagare, kan slå upp dem och lämna mottagarens sanna IP-adress tillbaka. Denna funktion behövs, eftersom en adress som är begriplig för människan, som ulf.blixt@su.se inte kan förstås av en dator. Istället behövs en adress som passar för mekanismerna på Internet, en IP-adress. Den kan se ut så här: 123.123.123.123. Den betyder å andra sidan ingenting för en människa.

processbild

Mailservern vet lika lite. Textsträngen ulf.blixt@su.se som utgör mottagaradressen betyder absolut ingenting för en maskin. Men mailservern fattar efterledet su.se och går ut till SUNETs generella DNS och frågar om den kan få en IP-adress till mailservern som tar hand om brev med adressen su.se. Det får den, men svaret från su.se är att brevet inte kan släppas fram innan det spamtvättats.

Spamtvätten

Spamtvätten är en viktig del av SUNETs verksamhet. Spam är ogiltiga e-brev som måste rensas bort innan de når den oskyldige mottagaren. För att förstå hur viktig spamtvätten är, kan man ta en titt på ett par veckors statistik från SUs tvättade e-posttrafik. Notera att Y-axeln visar antalet inkomna brev i miljontal per dag.

spam-statistics

Spamtvätten sker i två steg. Innan SUs mailserver tar emot brevet får den en förfrågan från spamtvättservern på TUG om användaren ulf.blixt existerar. Om inte, så kastas brevet direkt. Sådana brev representeras av de gula staplarna (Invalid recipient). Hellre än att slösa processorkraft på att arbeta vidare med ett brev som ändå inte har någon mottagare och förmodligen är spam, scam eller bluff, så slänger man det.

Finns användaren hos SU, undersöks brevet enligt olika regler för spamtvätt (svartlistor, vitlistor, spampoängsättning) och kan därefter antingen överföras till mailservern på SU som det är, eller om spampoängen överstiger ett förinställt värde, överföras försett med en spamvarning. Dessa brev representeras av den röda stapeln.

spamrad

Återstår så den gröna lilla plutten kallad ”non-spam” som uppfyller alla krav och kan levereras direkt.

Mängden spam som flyter runt på Internet är förbluffande. Statistiken från SU visar att det vissa dagar kan vara hela 95 procent spamklassade brev som kastas direkt, varav bara ett fåtal märks med spamvarning innan de faktiskt överförs. Endast cirka fem procent av inkomna brev är äkta. Fundera på vad detta kostar alla användare. Någon ska betala för tvättservrarna, de ska underhållas, uppdateras och de drar ström och kräver kapacitet i UPS:en. Nätet måste ha överskjutande kapacitet för att ta hand om den meningslösa mailtrafiken, som ändå bara kastas i ett senare skede. Någon måste betala för den överskjutande kapaciteten, som bara slösas bort.

Använd SUNETs spamtvätt för din egen skull!

Så här slutar det

På IT-avelningen på SU har nätverksansvarige Ulf Blixt just startat Outlook och ser att det kommit brev från SUNETs driftledning. Intressant!

Men det kunde han inte ha fått om han inte varit godkänd som medlem i eduroam. Inloggningen mot eduroam på SU är precis likadan som den på TUG och sker med samma mekanismer, men mot SUs lokala, betrodda Radius-databas. I det här fallet är det WLAN-controllern av märke Cisco som frågar databasen om tillåtelse att släppa in Ulf på det trådlösa nätet.

person-ulf

Efter att Ulfs dator blivit autenticerad, tillfrågas den lokala DNS-servern om IP-adressen till SUs mailserver och datorn kan börja hämta dagens e-post.

När brevet dyker upp ser det ut så här.

mail-framme hos blixt

Uppdraget är utfört. Det tog en tiondels sekund.

Den fysiska processen – att följa fiber

Är du redo att följa fiber? Klicka på bilden och zooma.

Artikelbild-bamse-7

Klickar du på kartan får du en större version. Gillar du bilden kan du klicka HÄR och få en högupplöst PDF att skriva ut och hänga på väggen, att ha i undervisningssyfte eller liknande.

Datats väg framgår av kartan i mitten, nämligen från SUNETs hallar mitt i Stockholm och norröver, till SU. Detaljbilden av SU visar hur de två redundanta fibrerna kommer in, en norrifrån och en söderifrån. De är separerade så mycket som möjligt, för att en händelse som skadar den ena (en ond grävmaskin), inte ska kunna skada den andra också. SU har två redundanta datorhallar kallade N-hallen och S-hallen och utrustningen i dem är dubblerad och sammankopplad med redundanta länkar. Skulle exempelvis Juniper MX480-routern i någon av hallarna gå sönder, kan den andra ta över hela trafiken. Frånfället noteras av SUNETs routrar som automatiskt växlar över all trafik till den fungerande enheten. Trafiken fördelas runt i SUs alla byggnader med Cisco Nexus 7010-routrar, som också är hopkopplade med en redundant länk. Skulle en av dem gå sönder kan den andra routern ta över hela jobbet, eftersom de båda har redundanta ledningar till varandra. Trafiken fördelas över alla våningsplan och byggnader med en Cisco 6880-X, en switch med routingkapacitet. Ute på varje våningsplan (ungefär) i någon av de 150 korskopplingsgarderoberna sitter en Cisco 2960-X kontorsswitch från vilken man drar de slutliga kopparledningarna ut till alla arbetsstationer och trådlösa accesspunkter. Där är det slut med redundansen. Skulle kontorsswitchen gå sönder, blir våningsplanet utan datatrafik.

På TUG är det nästan likadant, fast tvärtom. Kontorsswitchen där de trådlösa accesspunkterna och alla kontorsdatorer är anslutna, är en av många enheter som är anslutna till den Juniper MX480 som binder ihop tjänsterna i SUNETs datorhall, i avsikt att kunna leverera dem till SUNETs alla användare. En sådan tjänst är spamtvättservrarna, som väldigt många institutioner använder sig av. Spamtvätten är alltså en centralt underhållen funktion. Den drar så mycket datorkraft att den exekveras på egna, fysiska servrar. SUNET har dessutom en hel mängd andra centralt underhållna funktioner som exekverar i ett antal virtuella servrar, såsom videoströmning, ID-hantering, säkerhetskopiering med mera. För utgående nät, det som utgör det egentliga SUNET, finns två stora routrar, jättebamse-routrarna Juniper MX2020, vars bakplan har en total kapacitet på 80 terabit per sekund vardera. De är dessutom imponerande vackert blått belysta.

Som tidigare nämnt är det Stokab som sköter ljustransporten i Storstockholm. Där Storstockholm tar slut, exempelvis i Kista och Botkyrka, finns andra datorhallar där Stokab har avlämningspunkter mot Tele2, vars kraftledningshängda långdistansnät tar över och utgör det egentliga Sunet C.

Redundansen i SUNET innebär inte att brevet kopieras i två och får fara fram på båda länkarna mot SU. Istället har routrarna redan bestämt sig för vilken väg brevet ska ta ut från TUG. De har bestämt den lönsammaste vägen med hjälp av BGP-protokollet (Border Gateway Protocol), i avsikt att inte slösa länkkapacitet i onödan. Redundansen finns där ändå och skulle överföringen misslyckas, kan brevet skickas på den andra länken istället. Det kostar bara en hundradels sekund extra. Nästa brev kan mycket väl komma att överföras på den andra länken, beroende på belastningen för ögonblicket.

Du kanske noterar att det inte verkar vara mycket till ringstruktur på stokabnätet, till skillnad från resten av Sunet C? Det är sant. Inne i centrala Stockholm tillämpas ingen ringstruktur utan SUNET framförs som tidigare, som två punkt-till-punkt-länkar till varje kund.

Utrustningen på Tulegatan

Vår rundvandring börjar på TUG, där man klart och tydligt kan se att nätverksbyggarna favoriserat Junipers routrar och annan maskinvara och Ruckus trådlösa accesspunkter.

utrustning-tug-ap-ruckus

De trådlösa användarna på TUG ansluts via ett nätverk av accesspunkter från Ruckus, nämligen Ruckus R510. Kontorsdatorerna i övrigt är anslutna med fasta UTP-ledningar. Båda typerna av förbindelser slutar emellertid i kontorsswitchen.

Typbeteckning: Ruckus Zoneflex R510
Utrustningstyp: Trådlös accesspunkt 802.11ac
Kapacitet: Two-stream MU-MIMO 2×2:2, 867 Mbps på 5 GHz-bandet
Allmän användning: En accesspunkt som klarar ac-standard behövs för att få ut bra överföringshastighet på det trådlösa nätet på ett modernt kontor.

utrustning-tug-intranätswitch

Kontorsswitcharna döljs nästan fullständigt i denna makalösa kabeldragning utförd enligt spaghetti-metoden, sk ostrukturerat kablage. Switcharnas andra ände är kopplade till den stora samlingsroutern.

utrustning-tug-juniper_mx480

Juniper MX480 samlar samman många av funktionerna och tjänsterna i datorhallen på TUG, som till exempel eduroam.

Typbeteckning: Juniper MX480 Universal Edge Router
Utrustningstyp: Router
Kapacitet: Totalt 480 Gbps
Allmän användning: Har varit en arbetshäst som stor stark-router sedan dess tillblivelse år 2006. Kan bestyckas med olika gränssnitt allt efter behov och finns i olika storlekar från 2-45 höjdenheter. I mindre krävande tillämpningar kan den agera kant-router och ansluta direkt mot SUNET, men i detta fall behövs en större produkt för detta.

utrustning-tug-servrar

Utöver användarna lokalt på TUG ansluts också servrarna med nättjänsterna till MX480-routern. Bilden visar ett rackskåp med ett serverkluster inuti vilket ett antal virtuella servrar körs.

Typbeteckning: Nutanix NX-1365-G4
Utrustningstyp: Hyperkonvergerad virtualiseringsplattform
Kapacitet: 80 CPU:er (Intel Broadwell), körs under ESXi, 1 TB RAM och 4 TB SSD-lagring
Användning: Servrarna används som ett kluster för drift av virtuella tjänster, som Radius-databas, DNS och styrenhet för de trådlösa accesspunkterna. Dessa servrar är del av en större virtualiseringsmiljö som körs i både Stockholm och Köpenhamn.

utrustning-tug-juniper_mx2020

När allt data har packats ihop i Juniper MX480 går det vidare till dunderroutern Juniper MX2020 för vidare befordran ut i landet. Routern är helt redundant kopplad med flera länkar på 100 Gbps till datorhallen i Fredhäll och tillsammans bildar de kärnnätet i Stockholm, men är också en mycket viktig del av spridningsnätet för SUNET C.

Typbeteckning: Juniper MX2020 Universal Edge Router
Utrustningstyp: Router
Kapacitet: 80 Tbps
Allmän användning: En relativt ny produkt som tillkom år 2012 och är Junipers allra kraftfullaste router. Dess kraft behövs för att kunna mata ut ena halvan av hela SUNET. 80 Tbps behövs kanske inte nu, men räkna med att den kommer att behövas.

utrustning-tug-juniper_mx2020-inkommande

Bilden ovan visar inkommande fiber till MX2020 från MX480. Det är den tjocka gröna ledningen som egentligen består av 24 multimodefibrer, eller 12 par om 10 Gbps, som ansluts i en gemensam kontakt. Så kallad MPO (Multi-fiber Push-on) eller ”trunk cable” är det billiga sättet att få till 100 Gbps för trafik inom en datorhall.

utrustning-tug-juniper_mx2020-utgående

Den översta fibern på den här bilden tar ut det färdigroutade datat ur MX2020 för vidare befordran ut i världen, via Stokabs nät. Detta är i princip ett färdigt SUNET med 100 Gbps per optisk våglängd.

Hit men inte längre!

Så brukar ansvarsfördelningen definieras i optiska fibernät.

utrustning-tug-stokab

Gränssnittet mellan två operatörer kallas avlämningspunkt eller Demarcation Point. Bilden ovan visar Stokabs avlämningspunkt i SUNETs datorhall på TUG. Allting framför panelen, de blå optofibrerna, är SUNETs ansvar, medan allt bakom panelen är Stokabs.

Utrustningstyp: Passiv korskopplingsplint
Avlämningspunktens kapacitet: 80 par fiber ut till Stokabs spridningsnät

utrustning-tug-stokab-detalj

Det rör sig om ett antal fibrer som förs vidare ut till SUNETs stockholmskunder, såsom universitet, myndigheter och museer, via Stokabs fibernät. Hur det går till har SUNET ingen insyn i. Allting bakom panelen kan betraktas som en svart låda, vars innehåll man aldrig får reda på. Men man kan luska lite genom att mäta på den svarta lådan med en OTDR (se vidare https://www.sunet.se/blogg/otdr-grundlaggande-om/).

OTDR-listlena

Bilden visar en OTDR-mätning från SUNETs datorhall och vidare mot Västerås. Vad vi vet är att Stokabs andra avlämningspunkt finns i Kista, där Tele2s kraftledningshängda nät tar vid. OTDR-kurvans första 22 mätutslag visar vägen genom Stokabs nät till Kista. Den mäter avståndet till Kista ”fotonvägen” så att säga, vilket är 30 kilometer, och anger att det är 22 skarvar på vägen. Man kan också se om den svarta lådan uppfyller de krav som SUNET ställt upp och betalar för, nämligen en högsta dämpning per kilometer. Och det gör den.

utrustning-tug-utgående-fiber

Den gröna slangen innehåller alla optiska fibrer som går från TUG och ut i vida världen. Så här ser SUNET ut, om du skulle vilja ta på det. Här försvinner det in i en kabeltrumma och sprids vidare till resten av Sverige.

Utrustningen ute på stan

En av de kopplingsplintar som gör något av hacken nummer 1-22 i OTDR-bilden ovan, ser ut som på bilden nedan. Den visar en typisk korskopplingspunkt i en av Stokabs avlämningspunkter. Vad du ser är sålunda en inblick i den svarta lådan.

utrustning-stokab

Det är inte särskilt upphetsande. Det finns ingen aktiv utrustning, bara fibrer som möter fibrer, helt passivt. De svarta rektanglarna är kontaktdon där fibrerna kopplas ihop och ”staketet” ovanför är förvaringsfack för överskjutande fiberlängder.

Utrustningstyp: Passiv korskopplingsplint, bara en liten del i en typisk korskoppling

Utrustningen på Stockholms universitet

Väl komna till SU inser vi att vi äntrar Ciscoland. Driftledningen har helt klart favoriserat Ciscos produkter för både tråd och trådlöst.

utrustning-su-utgående-fiber

De välkända gröna fiberslangarna kommer upp till ytan igen, inne vid SUs S-hall.

utrustning-su-stokab

Här! Just här kommer SUNET in till SU i den ena hallen. Det är två ingående fibrer, data in och data ut som kommer ut ur Stokabs avlämningspunkt.

Utrustningstyp: Passiv korskopplingsplint
Avlämningspunktens kapacitet: Ut mot SUNET använder SU två anslutningar med två hyrda fibervägar som skall vara fysiskt diversa. I övrigt hyr SU andra Stokab-anslutningar för att koppla upp sig mot mindre platser till exempel inne i centrala Stockholm, men det exakta antalet använda fiber varierar. Mellan SU-KTH-KI finns en separat svartfiberring, som installerades i samband med färdigställandet av Norra Länken-tunnlarna. Denna består av två separata ringar med 96 fiberpar i varje ring. En kort artikel finns här: http://www.su.se/medarbetare/it/it-nyheter/fiber-i-tunnel-ger-%C3%B6kat-forskarsamarbete-1.211717

utrustning-su-juniper_mx480

De inkommande länkarna från SUNET hamnar i varsin router, en i N-hallen och en i S-hallen. De sitter hopkopplade med 3 x 10 Gbps redundanta länkar så de kan ta över varandras uppgifter. SU har inte samma behov av gigantisk routingkapacitet som i nätets centrum, så här räcker det med två Juniper MX480 som centrala routrar i corenätet.

Du ser de tre redundanta mellanlänkarna komma ut längst till vänster, därefter den inkommande mot SU:s corenät och längst till höger fibern som går vidare ut till SUNET.

Typbeteckning: Juniper MX480 Universal Edge Router
Utrustningstyp: Router
Kapacitet: Totalt 480 Gbps
Allmän användning: 480 Gbps är mer än vad SU kommer att behöva inom överskådlig tid, så MX480 kan förväntas leva länge än i datorhallen.

utrustning-su-cisco-nexus-7000

Fibern med data in till hela SU går vidare till en Cisco Nexus 7010, en switch med routingkapacitet. Härifrån fördelas data till alla tjänster och användarnät. Några fibrer avdelas till exempel till serverrackar som lämnar olika webbtjänster, och till aggregeringsswitchar, som Cisco 6880-X (nedan) som fördelar ut anslutningar till de olika husen.

Typbeteckning: Cisco Nexus 7010
Utrustningstyp: Switch med routingkapacitet
Kapacitet: 550 Gbps
Allmän användning: Används framförallt inom datacenter-lösningar där man behöver hög switchingkapacitet och många portar för att ansluta sina servrar och spridningsnät

utrustning-su-cisco-wlan

Denna stapel utgörs av en uppsättning styrenheter till nätet av trådlösa accesspunkter från Cisco. Det är tre olika typer av WLAN-controllers av typerna Cisco WiSM och Cisco WiSM2 i ett C6509-E chassi, samt den lilla, separata WLAN-controllern för labbruk ovanpå, en modell 2504. Dessa controllers frågar den lokala Radius-databasen om den som försöker logga in på det trådlösa nätet är en betrodd eduroam-användare.

Typbeteckning: Cisco WiSM (Wireless Services Module)
Utrustningstyp: WLAN-Controller
Kapacitet: WiSM2 kan hantera 1000 accesspunkter och 15.000 användare. Den kan vidare uppdatera programvaran i 500 accesspunkter samtidigt.
Allmän användning: Controllern styr nätets uppförande och sköter autenticeringen mot eduroam-systsmet.

utrustning-su-cisco-nexus-7000-esx

Nexusroutern är väldig flexibel och kan byggas ut med externa gränssnitt, som för ut kapaciteten till andra ställen i datorhallen. Överst baktill i ESX-klustrets serverrack på nästa bild sitter ett sådant gränssnitt, kallat Cisco FEX 2232PP (Fabric Extender, en utbruten del av Nexus 7010). Du ser de inkommande fibrerna till höger och alla de svarta Fibre Channel-ledningarna till servrarna.

Typbeteckning: Cisco FEX 2232PP (Nexus 2232PP 10GE Fabric Extender)
Utrustningstyp: Utökat gränssnitt för router
Kapacitet: Varje FEX kan matas med upp till 8 stycken 10 Gbps fiber från routern och lämnar 32 stycken 10 Gbps Ethernet-anslutningar eller Fibre Channel Over Ethernet (FCoE)-anslutningar mot servrarna
Allmän användning: FEX agerar Nexus-routerns förlängda arm. Det är enklare att flytta ut ett gränssnitt till stället där det behövs, än att dra en hel stam med kablar tvärs över datorhallen.

utrustning-su-servrar

Servrarna i det virtualiserade ESX-klustret lämnar ett antal olika tjänster till nätet och dess användare. De fungerar exempelvis som mailservrar och håller Radius-databasen som används till att identifiera alla eduroam-medlemmar för nätet. Varje högskola och universitet håller sin egen databas med eduroam-identiteter, som de övriga anslutna litar på. Läs mer om eduroam här: http://techworld.idg.se/2.2524/1.508958/gratis-internet-for-nastan-hela-varlden

Typbeteckning: Dell Poweredge R730
Utrustningstyp: Servrar i rackskåp
Kapacitet: 18 servrar som går under VMware ESX och innehåller cirka 500 virtuella servrar. ESX-servrarna har 48 logiska CPU:er på ~2,5 GHz var och 256 GB RAM per styck.
Användning: Servrarna används som ett kluster för drift av virtuella tjänster, som Radius-databas, DNS och mailserver.

utrustning-su-cisco-6880

Switchen för fördelning av anslutningar ut till de olika husen ser ut så här, en Cisco 6880. En av de utgående fibrerna hamnar i en kontorsswitch i ett av de 150 olika korskopplingsskåp som finns på hela universitetsområdet.

Typbeteckning: Cisco Catalyst 6880-X
Utrustningstyp: Switch
Kapacitet: Upp till 80 stycken 1/10 GbE-portar eller 20 stycken 40 GbE-portar. Förberedd för 100 GbE. Hanterar MPLS, VPLS och Multicast.
Allmän användning: Används framförallt som ett prisvärt aggregeringslager i större nätverk men kan även som sin föregångare 6500 kopplas samman med en granne i ett sk VSS-kluster och agera corenätverk för mindre installationer

utrustning-su-kopplingsgarderob

Vi tittar in i ett mycket välordnat korskopplingsskåp, som förser hela IT-avdelningen med anslutningar. Switcharna i skåpet är Cisco 2960-X som ansluter såväl fast kopplade datorer som trådlösa accesspunkter med UTP-ledningar på en Gbps.

Typbeteckning: Cisco Catalyst 2960-X
Utrustningstyp: Switchar i korskopplingsskåp
Kapacitet: 24 eller 48 UTP-portar om 10/100/1000 Mbps och 370 eller 740 W Power over Ethernet till trådlösa accesspunkter
Allmän användning: Denna typ av switch är som smör och bröd i alla större kontorsnät.

utrustning-su-ap-cisco

Överallt i taken runt omkring finner vi olika trådlösa accesspunkter från Cisco. Just denna är en Cisco Aironet 1850E. Den är en 4×4 multiuser MIMO 802.11ac-produkt som kan leverera 1,7 Gbps total kapacitet på 5 GHz-bandet. De fyra antennerna medger strålformning av sändarstrålen. Undkom den om du kan!

Typbeteckning: Cisco Aironet 1850E
Utrustningstyp: Trådlös accesspunkt 802.11ac
Kapacitet: 1,7 Gbps på 5 GHz
Allmän användning: SU har cirka 1400 trådlösa accesspunkter på olika ställen på området men antalet växer stadigt då det ställs ständigt ökade krav på den här typen av uppkopplingsmöjlighet

Sammanfattning

Vi har nu sett hur nätverk för dataöverföring på storstadsnivå byggs upp och fungerar både logiskt och fysiskt. Vi har sett ett urval av alla de beslut som tas för att kunna lämna åtkomst till näten och för att överföra data på ett säkert sätt. Vi har också sett den samling utrustning som behövs för att förverkliga den logiska processen för dataöverföring.

Läs mer

En router är en apparat som kan sortera och skicka datapaket efter deras IP-adress, ut i vida världen: https://www.sunet.se/blogg/router-grundlaggande-om/

En switch är en apparat som inte förstår IP-adresser utan bara kan skicka data inom en byggnad, baserat på mottagarmaskinens fysiska MAC-adress: https://www.sunet.se/blogg/switch-grundlaggande-om/

Läs mer om Ruckus intressanta accesspunkter och hur de använder MIMO och beamforming. Ruckus börjar på sidan 5: http://www.idg.se/2.1085/1.541979/mimo-och-beamforming

Om eduroam och betrodda identiteter: http://techworld.idg.se/2.2524/1.508958/gratis-internet-for-nastan-hela-varlden

En liten titt in i en annan av Stokabs svarta lådor: http://techworld.idg.se/2.2524/1.373346/datorhallen-som-star-emot-krig-terror-och-solvind

Save

Save

Save

Save

Save

Save

Save

1968-01-01

Fiberfeber startades

1 May 2015

Beställa routrar och optik

15 Sep 2015

Leverans av routrar och optik

1 Jan 2016

Byggnation av kärnnät

1 Feb 2016

Börja flytta över kunder

16 Jun 2016

Nya Sunet operativt

16 Oct 2016
2017-06-24

Fler blogginlägg av Jörgen Städje

SNIC-snack

2 Jun 2017
/ Bloggen fiberfeber

We have liftoff: del 5 av 2

3 Maj 2017
/ Bloggen fiberfeber

Maria Häll: We are at the Forefront!

13 Apr 2017
/ Bloggen fiberfeber

Maria Häll: Vi ligger i framkant!

10 Apr 2017
/ Bloggen fiberfeber

We have liftoff, del 4 av 2

22 Feb 2017
/ Bloggen fiberfeber

We have liftoff, del 3 av 2

30 Jan 2017
/ Bloggen fiberfeber

We have liftoff! Del 2 av 2

9 Jan 2017
/ Bloggen fiberfeber

We have liftoff! Del 1 av 2

16 Dec 2016
/ Bloggen fiberfeber

Long Read – Cleanliness is a Virtue

20 Sep 2016
/ Bloggen fiberfeber

Långläsning - tvättar bäst som tvättar först

16 Sep 2016
/ Bloggen fiberfeber

Ericsson, then swänske Lars Magnus

7 Jun 2016
/ Bloggen fiberfeber

One ring to rule them all

24 Maj 2016
/ Bloggen fiberfeber

Den tunga bakgrundstrafiken

12 Maj 2016
/ Bloggen fiberfeber

Long read: How to Design a Fibre Optic Network

5 Maj 2016
/ Bloggen fiberfeber

Welcome to the Fiber Fever Blog!

3 Maj 2016
/ Bloggen fiberfeber

Procuring an Optical Network – Smooth as Silk

2 Maj 2016
/ Blogg

The Breadth and Width of a Megabit

29 Apr 2016
/ Blogg

The Nobel Prized Piece of Glass

28 Apr 2016
/ Blogg

What’s the time? Really?

28 Apr 2016
/ Blogg

SUNET in i molnet (3) – molnsäkerhet

26 Apr 2016
/ Blogg

SUNET in i molnet (2) – vad är molnet egentligen?

25 Apr 2016
/ Blogg

SUNET in i molnet (1) – det här får du

25 Apr 2016
/ Blogg

Read about the brand new Sunet network.

11 Apr 2016
/ Bloggen fiberfeber

GÉANT och NORDUnet – bästa kompisar

14 Mar 2016
/ Bloggen fiberfeber

Ljuset kommer från Tyskland

3 Mar 2016
/ Bloggen fiberfeber

Thunderbirds are GO!

19 Feb 2016
/ Bloggen fiberfeber

Ett panorama av verkligheten

17 Feb 2016
/ Bloggen fiberfeber

Det allseende ögat

15 Feb 2016
/ Bloggen fiberfeber

Förstärkning på längden

15 Jan 2016
/ Bloggen fiberfeber

Dämpning och förstärkning i optisk fiber

14 Jan 2016
/ Bloggen fiberfeber

Grundläggande om L-bandet

14 Jan 2016
/ Bloggen fiberfeber

C-bandet – grundläggande om

14 Jan 2016
/ Bloggen fiberfeber

Logaritmer, min käre Watson

14 Jan 2016
/ Bloggen fiberfeber

CERN – krossen som slår sönder materiens minsta byggstenar

12 Jan 2016
/ Bloggen fiberfeber

Riksarkivets samarbete med SUNET

11 Jan 2016
/ Bloggen fiberfeber

One Ring to Rule them - Vetenskapsrådet

21 Dec 2015
/ Bloggen fiberfeber

Alla jättars jätte - Cisco

19 Dec 2015
/ Bloggen fiberfeber

En värld av siffror - belastning

19 Dec 2015
/ Bloggen fiberfeber

Ur led är inte alls tiden - atomur

19 Dec 2015
/ Bloggen fiberfeber

En djungel av kontaktdon

4 Dec 2015
/ Bloggen fiberfeber

Elektronisk enbärsdricka - Juniper

27 Nov 2015
/ Bloggen fiberfeber

Vad är Géant?

26 Nov 2015
/ Bloggen fiberfeber

Radar Love - Eiscat

25 Nov 2015
/ Bloggen fiberfeber

The Color Purple - dispersion

25 Nov 2015
/ Bloggen fiberfeber

Full Metal Packet - switchen

10 Nov 2015
/ Bloggen fiberfeber

Get your kicks on route 66 - routrar

10 Nov 2015
/ Bloggen fiberfeber

Game of Stones - kvarts

10 Nov 2015
/ Bloggen fiberfeber

The Twilight Zone - fotonen

10 Nov 2015
/ Bloggen fiberfeber

Peering – SUNETs ekonomiska ryggrad

9 Nov 2015
/ Bloggen fiberfeber

I mörkret är alla katter infraröda

4 Nov 2015
/ Bloggen fiberfeber

Fibertyperna i nätet och deras optiska felaktigheter

29 Okt 2015
/ Bloggen fiberfeber

Vad är klockan? Egentligen?

21 Okt 2015
/ Bloggen fiberfeber

Nätets centrum

20 Okt 2015
/ Bloggen fiberfeber

Den optiska transceivern

17 Okt 2015
/ Bloggen fiberfeber

Polarisation och informationsöverföring

1 Okt 2015
/ Bloggen fiberfeber

Laserns historia

30 Sep 2015
/ Bloggen fiberfeber

Koherent ljus, vad är det?

28 Sep 2015
/ Bloggen fiberfeber

När allt är klart

28 Sep 2015
/ Bloggen fiberfeber

SUNET – nu ännu bättre!

16 Sep 2015
/ Bloggen fiberfeber

Fibern fruktar fukten

11 Sep 2015
/ Bloggen fiberfeber

Att få kontakt

11 Sep 2015
/ Bloggen fiberfeber

Så tillverkas optisk fiber

31 Aug 2015
/ Bloggen fiberfeber

EMC – EMI – EMP

31 Aug 2015
/ Bloggen fiberfeber

Glasbiten som gav nobelpris

21 Aug 2015
/ Bloggen fiberfeber

Megabit på längden och tvären

21 Aug 2015
/ Bloggen fiberfeber

Långartikel: Fibern från Frostmofjället

21 Aug 2015
/ Bloggen fiberfeber

Upphandling av optiskt nät

25 Jul 2015
/ Bloggen fiberfeber

OptaSense – när fiber blir sensorer

3 Jul 2015
/ Bloggen fiberfeber

Teknisk djupdykning: Optisk magi med ramanförstärkare

2 Jul 2015
/ Bloggen fiberfeber

Teknisk utvikning: 130.000 fibrer som i en liten ask

1 Jul 2015
/ Bloggen fiberfeber

NOCen spekulerar 2: Felrapporter

27 Jun 2015
/ Bloggen fiberfeber

NOCen spekulerar 1: hög belastning

26 Jun 2015
/ Bloggen fiberfeber

Teknisk djupdykning: Optisk magi med EDFA

22 Jun 2015
/ Bloggen fiberfeber

Långartikel: Så designar man ett fiberoptiskt nät

11 Jun 2015
/ Bloggen fiberfeber

Bredare motorväg för svenska data – äntligen en offensiv satsning!

22 Maj 2015
/ Bloggen fiberfeber

Om den interaktiva tidslinjen

21 Maj 2015
/ Bloggen fiberfeber

Om den interaktiva kartan

20 Maj 2015
/ Bloggen fiberfeber

Fiberfeber: Vad som har varit och vad som komma skall

19 Maj 2015
/ Bloggen fiberfeber

Följ bygget av Sunets nät på bloggen Fiberfeber!

18 Maj 2015
/ Bloggen fiberfeber

Teknisk djupdykning: den mystiska routerkraschen

11 Jun 2006
/ Bloggen fiberfeber

2000–2013: Sunet mognar och kapaciteten ökar. Identitetsfederation skapas.

1 Jan 2000
/ Bloggen fiberfeber

1990–1999: Kapaciteten stiger, 2 – 34 – 155 Mbps

1 Jan 1990
/ Bloggen fiberfeber

1968–1989: Idéernas tidevarv. Internets vagga.

1 Jan 1968
/ Bloggen fiberfeber

Jörgen Städje

Jag heter Jörgen Städje och har skrivit om teknik och vetenskap sedan 1984. Friskt kopplat, hälften brunnet!