NOCen spekulerar 2: Felrapporter

av Jörgen Städje den 27 Jun 2015

Då och då går något sönder i nätet. Det kan vara något enkelt, eller det kan vara en halv katastrof. En router kraschar, en fiber blir uppgrävd, eller det kanske blir strömavbrott någonstans. Då rycker driftcentralen NOC (Network Operations Centre) på Tulegatan i Stockholm in och åtgärdar. Oftast märker du inte att det hänt, eller att det åtgärdats, men dokumentationen finns alltid tillgänglig.

Intensiv arbetsstund i NUNOC. De röda textraderna på skärmen till höger är SMTP-rapporter från maskinvara som är i olag.
Intensiv arbetsstund i NUNOC. De röda textraderna på skärmen till höger är SMTP-rapporter från maskinvara som är i olag.

Naturligtvis händer det saker i SUNET hela tiden. Driftcentralen har ett ständigt sjå med att isolera felaktigheter och få dem åtgärdade, och själva lägga upp planerade serviceåtgärder. Allting ska dokumenteras och offentliggöras.

Jonny Lundin är NOC-chef för NUNOC.
Jonny Lundin är NOC-chef för NUNOC.

Jonny Lundin, NOC-chef för NUNOC som driftar både SUNET och NORDUnet i Stockholm, har stenkoll.

– NUNOC är både en driftcentral och ett Engineering Team. På svenska blir det en grupp som ägnar sig åt nätdesign och nätplanering och genomför olika konfigurationer av maskinvaran. NOC är dessutom ansiktet utåt mot kunderna. Driftcentralen är bemannad med sex personer från klockan 7 på morgonen till klockan 7 på kvällen. Under övriga tider har personalen jourtjänst hemifrån. Alla skärmbilder som kan visas på storskärmarna på Tulegatan kan all personal se på sina datorer hemma.

Även Engineering-gruppen har jourtjänst, för att driftteknikerna ska kunna kontakta dem som ett första steg innan man går vidare till leverantörerna med exempelvis ett routerproblem. För en avgrävd fiber går man emellertid på fiberägaren direkt.

nunoc hemsidaAlla felhändelser (och rätthändelser) rapporteras löpande öppet på Internet på NUNOCs kundstödssida, kallad Support & Fault Reporting. Titta själv på http://www.nunoc.org/nunocweb/support___fault_reporting.html

lista trouble tickets juli

För att få se vad som är på tapeten väljer du länken ”Open trouble tickets”, som tar dig till en sida med ouppklarade felrapporter.Just den här dagen var det lite ansträngt. Många problem att ta itu med. Låt oss börja med att titta på den första rapporten, kallad NORDUNETTICKET-3220. Den har som du ser status Open, vilket betyder att den alltså ännu är olöst, eller åtminstone inte fullbordad.

Planerat underhåll

Du ser också att rapporten har bestämningen ”Planned Maintenance” i kolumnen Summary. Då och då genomför man uppdateringar av Junos, operativsystemet i Juniperroutrarna av typen MX-80. Detta kommer att påverka alla kund-routrar, såväl som NORDUnets core-routrar.

Arbetsgången är att man först tankar upp den nya operativsystemversionen till routern och därpå startar om den. Då startar routern om med det nya operativsystemet i drift och alla uppkopplade länkar går ned. Arbetet måste alltså helst skötas utanför kontorstid och bara på ett av de redundanta näten åt gången.Planned maintenance meddelande 2015-06-18 at 09.44.40

Klickar man på den första länken med namnet NORDUNETTICKET-3220 visas en detaljerad beskrivning av åtgärden, på det format som användarna normalt kan se, i form av en enkel textsida.

Det viktiga för kunden är när åtgärden kommer att utföras, Maintenance Window Start, i detta fall den 23 juni 2015 och det hela börjar klockan 5 UTC på morgonen, då förhoppningsvis alla studenter är hemma och sover. NOC förväntar sig att omstarten ska ta en kvart (Estimated outage), men man har reserverat hela dagen för man vet inte när exakt på dagen det hela kommer att inträffa på ett bestämt universitet. Det inträffar givetvis på olika tider för de olika kunderna, som du ser uppräknade i listan Affected organisations. Man kommer att beta av alla organisationer från BTH (Blekinge Tekniska Högskola) till UU (Uppsala Universitet) i bokstavsordning. I stycket Description beskrivs därefter noggrant vad som ska hända och alltihop slutar med att inget egentligen händer för kundens del, eftersom Impact (verkan) bara är reducerad redundans, men ingen förlust av kommunikation.

I själva verket är det Business as Usual.

Oplanerade händelser

felkarta fysisk norra sverigePlötsligt på natten till den 8 maj 2015 slocknade lyset i fibern mellan förstärkarstationerna i Gävle och Östervåla. Det var norrgående ”röd” fiber i Sunet som var drabbad och DU (Högskolan i Dalarna i Falun och Borlänge), HIG (Högskolan i Gävle), MIUN (Mittuniversitetet i bland annat Sundsvall och Östersund) och UMU (Umeå Universitet) hade förlorat redundansen, men inte kommunikationsförmågan.
Det här hade man inte förväntat sig. Därför står det ”Type: Unscheduled” på andra raden i NUNOCs felrapport (bilden nedan). Första åtgärden var att kontakta fiberleverantören och fråga om de hade några kända fel. Det rapporterades till leverantören kl 01:21 UTC”.

Eftersom TDC är leverantör för OptoSunet får de undersöka vad som hänt. Det började de med klockan 2.02 UTC på morgonen. Det var ett avbrott på fibern, så TDC gick vidare till den som faktiskt förvaltade fibern på den aktuella sträckan och de skulle börja skarvningen av den trasiga fibern klockan 13.38 UTC. Alltihop avsågs vara tillbaka i drift klockan 01 på natten, men det visade sig att allting var klart (Problem end) redan klockan 20 UTC på kvällen. Totalt var nätet nere (Total outage) 1150 minuter, eller 19,2 timmar.

Logiskt routerschema av Sunets nordliga sträckning, med röda och gröna delnät, från Stockholm och uppåt.
Logiskt routerschema av Sunets nordliga sträckning, med röda och gröna delnät, från Stockholm och uppåt.

Den text som kunderna kan läsa om de klickar på en Open Trouble Ticket, visas nedan.

Där rapporteras bara det lyckliga slutet som ”All services restored after re-splicing of the fibre”.

Jonny avslutar:

– Det här är ett ganska vanligt fall. Kunderna tappade den redundanta förbindelsen och märker förmodligen inget, då trafiken kör på den andra förbindelsen.Extern trouble ticket 8 maj

Fler blogginlägg av Jörgen Städje

DNS och DNSSEC utan facksnack

30 Jan 2018
/ Bloggen fiberfeber

Från oss alla, till er alla

14 Dec 2017
/ Bloggen fiberfeber

Så arbetar NOC

13 Nov 2017
/ Bloggen fiberfeber

SUNET i Hongkong

20 Sep 2017
/ Bloggen fiberfeber

SUNETs handbok i informations- och IT-säkerhet

1 Sep 2017
/ Bloggen fiberfeber

Den ökända hästen från Troja

31 Jul 2017
/ Bloggen fiberfeber

Redundans är allt

3 Jul 2017
/ Bloggen fiberfeber

SNIC-snack

2 Jun 2017
/ Bloggen fiberfeber

We have liftoff: del 5 av 2

3 Maj 2017
/ Bloggen fiberfeber

Maria Häll: We are at the Forefront!

13 Apr 2017
/ Bloggen fiberfeber

Maria Häll: Vi ligger i framkant!

10 Apr 2017
/ Bloggen fiberfeber

We have liftoff, del 4 av 2

22 Feb 2017
/ Bloggen fiberfeber

We have liftoff, del 3 av 2

30 Jan 2017
/ Bloggen fiberfeber

We have liftoff! Del 2 av 2

9 Jan 2017
/ Bloggen fiberfeber

We have liftoff! Del 1 av 2

16 Dec 2016
/ Bloggen fiberfeber

Long Read – Cleanliness is a Virtue

20 Sep 2016
/ Bloggen fiberfeber

Långläsning - tvättar bäst som tvättar först

16 Sep 2016
/ Bloggen fiberfeber

Följa fiber – från Tulegatan till Stockholms universitet.

26 Aug 2016
/ Bloggen fiberfeber

Ericsson, then swänske Lars Magnus

7 Jun 2016
/ Bloggen fiberfeber

One ring to rule them all

24 Maj 2016
/ Bloggen fiberfeber

Den tunga bakgrundstrafiken

12 Maj 2016
/ Bloggen fiberfeber

Long read: How to Design a Fibre Optic Network

5 Maj 2016
/ Bloggen fiberfeber

Welcome to the Fiber Fever Blog!

3 Maj 2016
/ Bloggen fiberfeber

Procuring an Optical Network – Smooth as Silk

2 Maj 2016
/ Blogg

The Breadth and Width of a Megabit

29 Apr 2016
/ Blogg

The Nobel Prized Piece of Glass

28 Apr 2016
/ Blogg

What’s the time? Really?

28 Apr 2016
/ Blogg

SUNET in i molnet (3) – molnsäkerhet

26 Apr 2016
/ Blogg

SUNET in i molnet (2) – vad är molnet egentligen?

25 Apr 2016
/ Blogg

SUNET in i molnet (1) – det här får du

25 Apr 2016
/ Blogg

Read about the brand new Sunet network.

11 Apr 2016
/ Bloggen fiberfeber

GÉANT och NORDUnet – bästa kompisar

14 Mar 2016
/ Bloggen fiberfeber

Ljuset kommer från Tyskland

3 Mar 2016
/ Bloggen fiberfeber

Thunderbirds are GO!

19 Feb 2016
/ Bloggen fiberfeber

Ett panorama av verkligheten

17 Feb 2016
/ Bloggen fiberfeber

Det allseende ögat

15 Feb 2016
/ Bloggen fiberfeber

Förstärkning på längden

15 Jan 2016
/ Bloggen fiberfeber

Dämpning och förstärkning i optisk fiber

14 Jan 2016
/ Bloggen fiberfeber

Grundläggande om L-bandet

14 Jan 2016
/ Bloggen fiberfeber

C-bandet – grundläggande om

14 Jan 2016
/ Bloggen fiberfeber

Logaritmer, min käre Watson

14 Jan 2016
/ Bloggen fiberfeber

CERN – krossen som slår sönder materiens minsta byggstenar

12 Jan 2016
/ Bloggen fiberfeber

Riksarkivets samarbete med SUNET

11 Jan 2016
/ Bloggen fiberfeber

One Ring to Rule them - Vetenskapsrådet

21 Dec 2015
/ Bloggen fiberfeber

Alla jättars jätte - Cisco

19 Dec 2015
/ Bloggen fiberfeber

En värld av siffror - belastning

19 Dec 2015
/ Bloggen fiberfeber

Ur led är inte alls tiden - atomur

19 Dec 2015
/ Bloggen fiberfeber

En djungel av kontaktdon

4 Dec 2015
/ Bloggen fiberfeber

Elektronisk enbärsdricka - Juniper

27 Nov 2015
/ Bloggen fiberfeber

Vad är Géant?

26 Nov 2015
/ Bloggen fiberfeber

Radar Love - Eiscat

25 Nov 2015
/ Bloggen fiberfeber

The Color Purple - dispersion

25 Nov 2015
/ Bloggen fiberfeber

Full Metal Packet - switchen

10 Nov 2015
/ Bloggen fiberfeber

Get your kicks on route 66 - routrar

10 Nov 2015
/ Bloggen fiberfeber

Game of Stones - kvarts

10 Nov 2015
/ Bloggen fiberfeber

The Twilight Zone - fotonen

10 Nov 2015
/ Bloggen fiberfeber

Peering – SUNETs ekonomiska ryggrad

9 Nov 2015
/ Bloggen fiberfeber

I mörkret är alla katter infraröda

4 Nov 2015
/ Bloggen fiberfeber

Fibertyperna i nätet och deras optiska felaktigheter

29 Okt 2015
/ Bloggen fiberfeber

Vad är klockan? Egentligen?

21 Okt 2015
/ Bloggen fiberfeber

Nätets centrum

20 Okt 2015
/ Bloggen fiberfeber

Den optiska transceivern

17 Okt 2015
/ Bloggen fiberfeber

Polarisation och informationsöverföring

1 Okt 2015
/ Bloggen fiberfeber

Laserns historia

30 Sep 2015
/ Bloggen fiberfeber

Koherent ljus, vad är det?

28 Sep 2015
/ Bloggen fiberfeber

När allt är klart

28 Sep 2015
/ Bloggen fiberfeber

SUNET – nu ännu bättre!

16 Sep 2015
/ Bloggen fiberfeber

Fibern fruktar fukten

11 Sep 2015
/ Bloggen fiberfeber

Att få kontakt

11 Sep 2015
/ Bloggen fiberfeber

Så tillverkas optisk fiber

31 Aug 2015
/ Bloggen fiberfeber

EMC – EMI – EMP

31 Aug 2015
/ Bloggen fiberfeber

Glasbiten som gav nobelpris

21 Aug 2015
/ Bloggen fiberfeber

Megabit på längden och tvären

21 Aug 2015
/ Bloggen fiberfeber

Långartikel: Fibern från Frostmofjället

21 Aug 2015
/ Bloggen fiberfeber

Upphandling av optiskt nät

25 Jul 2015
/ Bloggen fiberfeber

OptaSense – när fiber blir sensorer

3 Jul 2015
/ Bloggen fiberfeber

Teknisk djupdykning: Optisk magi med ramanförstärkare

2 Jul 2015
/ Bloggen fiberfeber

Teknisk utvikning: 130.000 fibrer som i en liten ask

1 Jul 2015
/ Bloggen fiberfeber

NOCen spekulerar 1: hög belastning

26 Jun 2015
/ Bloggen fiberfeber

Teknisk djupdykning: Optisk magi med EDFA

22 Jun 2015
/ Bloggen fiberfeber

Långartikel: Så designar man ett fiberoptiskt nät

11 Jun 2015
/ Bloggen fiberfeber

Bredare motorväg för svenska data – äntligen en offensiv satsning!

22 Maj 2015
/ Bloggen fiberfeber

Om den interaktiva tidslinjen

21 Maj 2015
/ Bloggen fiberfeber

Om den interaktiva kartan

20 Maj 2015
/ Bloggen fiberfeber

Fiberfeber: Vad som har varit och vad som komma skall

19 Maj 2015
/ Bloggen fiberfeber

Följ bygget av Sunets nät på bloggen Fiberfeber!

18 Maj 2015
/ Bloggen fiberfeber

Teknisk djupdykning: den mystiska routerkraschen

11 Jun 2006
/ Bloggen fiberfeber

2000–2013: Sunet mognar och kapaciteten ökar. Identitetsfederation skapas.

1 Jan 2000
/ Bloggen fiberfeber

1990–1999: Kapaciteten stiger, 2 – 34 – 155 Mbps

1 Jan 1990
/ Bloggen fiberfeber

1968–1989: Idéernas tidevarv. Internets vagga.

1 Jan 1968
/ Bloggen fiberfeber

Jörgen Städje

Jag heter Jörgen Städje och har skrivit om teknik och vetenskap sedan 1984. Friskt kopplat, hälften brunnet!