SUNET i Hongkong

av Jörgen Städje den 20 Sep 2017

Karolinska Institutet har nyligen öppnat en filial i Hongkong kallad Wai Lau Centre. Då har SUNET inget annat att göra än att följa sitt eget direktiv, nämligen att ”utveckla vårt unika datornät och våra till detta länkade tjänster för att motsvara behoven hos våra kunder” och fixa en ledning från KI i Stockholm till Hongkong. Det andra syftet var att kunna peera lokalt i Hongkong. Det blir allt viktigare med peeringpunkter i Asien. En lång sladd blev det.

Filialen i Hongkong skulle kopplas in på insidan av KIs brandvägg, varför det fick bli en specialkoppling med VPN-tunnel i stil med den som binder samman Uppsala Universitet med dess filial Campus Gotland. Då ledningen inte går genom demokratiskt territorium är förbindelsen dessutom ytterligare krypterad, eftersom man måste förvänta sig avlyssningsförsök.

När alla förhandlingar var klara och NORDUnet ordnat redundanta kopplingar Jorden runt, reste NORDUnets fibertrollare Fredrik Korsbäck till Hongkong för att installera förbindelsen och se till att den fungerade.

Regenerativ medicin

Ming Wai Lau Centre for Reparative Medicine har sina lokaler i Hong Kong Science Park. Foto: Hong Kong Science Park.

Fredagen den 7 oktober 2016 invigdes Ming Wai Lau Centre for Reparative Medicine i Hongkong. Centrumet kommer att samla forskare inom regenerativ medicin, med sikte på att i framtiden kunna ersätta skadad eller förlorad vävnad. Regenerativ medicin syftar till att ersätta skadad eller förlorad vävnad med nya celler, eller med vävnad producerad från stamceller. Det kan exempelvis handla om RNA-teknologi, encellsanalys eller genteknik. I ett framtida perspektiv kan forskningen ha relevans för behandling av sjukdomar som svår hjärtsvikt, leversvikt, ryggmärgsskador och Parkinsons sjukdom.

Alternativ bild: Fredrik Korsbäck. Läs skylten till höger i bilden.

Hong Kong Science Park har sin egen intressanta historia. Området planerades och grundades av fiberoptikens, om inte uppfinnare, så åtminstone möjliggörare Charles K Kao, vilket renderade honom ett nobelpris. Mer om det finns här: https://www.sunet.se/blogg/glasbiten-som-gav-nobelpris/

Själva transporten av utrustningen till Hongkong var också en intressant historia. För SUNETs del var det inte så betungande eftersom man kunde återanvända gamla Juniper MX-80-routrar från OptoSunet. Problemet var att routrarna kunde hantera SSH (kryptering) och därför räknades som krigsmaterial av de kinesiska myndigheterna. Pappersarbetet belöpte sig till en bunt på två centimeter och skriftväxlingen tog ett halvår. Centret invigdes i oktober 2017, men ledningen var inkopplad och klar redan i maj 2017. Byråkratins kvarnar började alltså mala redan i december 2016.

NORDUNet växer

Titta närmare på NORDUnets belastningskarta, som du själv kan hämta i en levande version från http://stats.nordu.net/stat-q/load-map/ndn-map,,traffic,peak Numera finns vägen till KI i Hongkong inritad. Du ser den gulaktiga ledningen från FFM i Frankfurt till MX-80-routern kallad ”CHW” i Hongkong. Därifrån går det en blåaktig ledning till MWLC (Ming Wai Lau Centre). Ledningen till MWLC är blåaktig, vilket indikerar en belastning på under en procent. Det beror på att institutet är ganska nyetablerat och på att de har en cache-server där allt data som hämtas från Stockholm mellanlagras, så man inte behöver hämta det igen. En överföring på 1 Gbps är inte hela världen, så cache-servern behövs.

Den primära vägen till Hongkong går från Tulegatan (router TUG) till DTU i Danmark (UNI), Hamburg, Interxion Frankfurt (FFM) och därefter som en kapacitetslänk till routern CHW som står i datacentralen MEGA-i i Hongkong. Därifrån går en länk till Chinese University of Hong Kong hall, som huserar HKIX, som är den största knutpunkten i hela Asien.

Den sekundära vägen till Hongkong via USA finns bara delvis på nätverkskartan. Du ser vägen från Tulegatan (TUG), Uninett i Danmark (UNI), och knutpunkten Geant Open i London där NORDUnets egen router HEX (Harbour Exchange) står. Därifrån har man ett avtal med japanska SINET om en tunnel till Hongkong, via Atlanten, tvärs över USA och under Stilla Havet och via Japan till routern CHW. Exakt var den förbindelsen går, har NORDUnet ingen kontroll över.

En närmare titt

Systemskissen försöker visa alla kända routrar och nätverk på vägen mellan Stockholm och Hongkong, men den kan bara bli ungefärlig, eftersom NORDUnet inte känner till den exakta vägen från den egna routern i Frankfurt och vidare österut. Det är upp till Vodafone att välja transportväg för den transparenta, skyddade tunnel på 1 Gbps med 99,9 % tillgänglighet som NORDUnet köpt österut.

Vodafone får också använda valfritt transportprotokoll och eftersom TEA-förbindelsen inte är direkt ny så använder man fortfarande SDH (Sonet) vilket i Västeuropa i stort sett har ersatts av OTN. TEA är en blandning av olika system på 10 och 2,5 Gbps. Eftersom NORDUnets router i MEGA-i inte kan hantera SDH har Vodafone installerat en protokollkonverterare alldeles inunder i rackskåpet.

Transportvägen via Stilla Havet och Japan år också okänd. Det enda Fredrik vet är att den fungerar och trafik kan gå däröver vid behov. Ledningen från japanska SINET lämnar dock IP-protokoll direkt.

Ska man peera någonstans, ska det ske på HKIX. Det är Asiens största peeringpunkt och alla som har någon affärsverksamhet i Sydostasien peerar där. NORDUnet ansluter bland annat till lokala asiatiska operatörer och liknande för att spara bandbredd från Stockholm. HKIX ligger bra till för KI, som etablerat sig tvärs över gatan. Observera att systemskissen bara visar de logiska kopplingsvägarna. Fysiskt ser det lite annorlunda ut, som vi ska se nedan.

Fiber Jorden runt

Det finns, som redan visats ovan tre vägar, en snabb primär väg och två långsammare reservvägar. När SUNET ska till Hongkong väljer man företrädesvis landvägen genom Ryssland.

SUNETs primära väg går via NORDUnet till Frankfurt, där NORDUnet har köpt en 1 Gbps förbindelse via Vodafone Globals kabelsystem TEA-3 och TEA (Transit Europe-Asia) som går via Ryssland och Kina till Hongkong. Fördröjningen hamnar kring 170 millisekunder +/-5 procent. SUNET och NORDUnet ingen insyn eller driftansvar för den förbindelsen. Som du ser, finns det massor av fiberkabel utlagd längs Transsibiriska järnvägen. Sjökablarna är bara svagt markerade på Vodafones karta.

Framkomligheten genom Ryssland längs den 9000 kilometer långa Transsibiriska järnvägen och genom Kina är ingalunda garanterad. Istället räknar man med 10-12 avbrott per år. Reservvägen består av en av flera sjökablar, som Sea-Me-We-5 (South East Asia–Middle East–Western Europe, totalt 20.000 kilometer) eller FEA FLAG (Fiber-Optic Link Around the Globe, totalt 28.000 kilometer). Dessa kommer att orsaka större fördröjning än landvägen men NORDUnet har ingen möjlighet att påverka situationen eller vägvalet. Kartbilden ovan är ungefärlig, eftersom man inte vet exakt vilken väg Vodafone kommer att välja ned genom Europa, till sjökabelns landfäste och vidare under Medelhavet.

Uppstår ett fel hos Vodafone, eller om datorhallen i Frankfurt blir obrukbar kommer NORDUnets router i Köpenhamn att välja den sekundära vägen via London, sjökabeln under Atlanten, över hela USA, mera sjökabel under Stilla Havet, via Tokyo och det japanska forskningsnätet SINET (även kallat JGN-X) och fram till Hongkong. Denna väg är betydligt långsammare, med en ungefärlig fördröjning på över 210 millisekunder mellan London och Hongkong och kapaciteten är inte garanterad.

En titt hos MEGA-i

Ledningarna kommer in till provinsen Hongkongs sydö Hongkong och hamnar i datacentret MEGA-i. Därifrån transporteras data till provinsens nordliga del Kowloon och knutpunkten HKIX hos Chinese University of Hong Kong. HKIX är Asiens största knutpunkt där många peerar med varandra.

Med Fredrik Korsbäcks hjälp tar vi oss in i datorhallen hos MEGA-i för att se på utrustningen. Hallen representeras av den översta kinesiska gula rutan i systemskissen ovan. MEGA-i ägs av företaget iAdvantage Ltd, är Hongkongs överlägset största datacenter och används av den finansiella branschen. Det är strategiskt beläget vid kusten, just där sjökablarna landar.

Vodafones stora SDH-router i MEGA-i visas inte på bilderna. Den har NORDUnet heller ingen kontroll över.

Juniper MX-80-routern CHW är uppkallad efter Chai Wan, industriområdet där MEGA-i finns.

Från Cisco-routern kommer Vodafones routade SDH-ledning ur fiberknippet från höger in i protokollkonverteraren som är den vita lådan nederst i bilden. Konverteraren gör om SDH till IP och matar det vidare till routern CHW genom den vita UTP-kabeln. Fibern från SINET i Japan kommer direkt in till det fiberoptiska gränssnittet överst till vänster på routern.

Ut går en likaledes gul dubbel fiber åt höger och vidare till rackskåpets botten och för med sig data från Stockholm.

Men du ser att det kommer ut en gul fiber till, som också går vidare till rackskåpets botten.

Låt oss zooma ut.

Routern i rackskåpets botten, en Cisco Nexus 7700 utgör HKIX knutpunkt hos MEGA-i. NORDUnet har köpt två tjänster i HKIX router.

  1. Den första är en port som tar signalen vidare till Ming Wai Lau Centre över ett VLAN via HKIX.
  2. Den andra är en port som leder till ytterligare tjänster, nämligen anslutning till de peeringpartners NORDUnet avtalat med HKIX, såsom streamingtjänster med stora datavolymer som Netflix, Amazon, Google, Akamai och det lokala telefonbolaget osv, som man helst inte vill transportera via Stockholm. Att få peera i Asien är det andra syftet som NORDUnet ursprungligen hade med förbindelsen. En närvaro i Asien har funnits med i strategin från tidigt 1990-tal. Listan med tillgängliga peeringpartners hos HKIX är väldigt lång och NORDUnet peerar med alla de som inte kan nås på annat sätt från Europa.

Redundansen i den ryska förbindelsen provades genom att Fredrik helt enkelt drog ut fiberkontakten från Ryssland och såg hur trafiken växlades över till den japanska förbindelsen.

Efter att förbindelsen satts upp i MEGA-i och godkänts, undersöks den av de lokala teknikerna.

Vidare till Karolinska Institutet

Ming Wai Lau Centre har etablerat sig tvärs över vägen från HKIX och ansluts via ett enkelt fiberpar under sagda väg.

KI i Hongkong är ingen stor institution. Golvytan är någonstans mellan 1000-2000 kvadratmeter och består mest av laboratorier, några få kontorsutrymmen och ett mötesrum. Där fanns vid tiden för Fredriks besök måhända ett tiotal datorer.

Så här ser datorracken ut som försörjer KI med datakraft och lagring.

Börjar man uppifrån, finner man en del boxar för strukturerat kablage och strax inunder dessa en kontorsswitch som inte är inkopplad ännu. Alla de blå UTP-kablarna är spridningsnätet på kontoret.

Halvt dold under dessa sitter SUNETs egentliga närvaro i Hongkong, nämligen ytterligare en MX-80-router. Den gula fibern från Stockholm, via MEGA-i, via HKIX, kommer in i vänstra hörnet.

Längst ned sitter en racklåda med bladservrar som agerar lokal cache som lagrar allt inkommande data så att man inte ska behöva hämta det från Stockholm upprepade gånger. Data lagras i de svarta lådorna från NetApp. Även de tunna klienterna kommer att ha sin arbetsyta i denna lagringsstation. Skulle Hongkong råka isoleras på grund av någon lokal olycka, kommer en lokal cache väl till pass.

Avslutning

Fredrik låter lite besviken när han medger att allting faktiskt fungerade på en gång. Alla internationella förbindelser fungerade så snart de kopplades in. Den 16 maj var allting klart och trafiken från en server på KI i Stockholm började flöda till en server på det lokala nätet i Ming Wai Lau Centre.

Res med mig SUNET
I en fiber till Hongkong
Det går så lagom fort

Läs mer

Se TEA-3 på Vodafone Globals nätverkskarta: http://globalnetworkmap.vodafone.com/?entity=TEA-3&type=cable&layer=broadband&location=0,-22.5,2

KIs centrum för regenerativ medicin i Hongkong: http://ki.se/nyheter/nu-ar-kis-forskningscentrum-i-hongkong-invigt

Asiens största knutpunkt HKIX i Hongkong: http://www.hkix.net/

Om regenerativ medicin: https://en.wikipedia.org/wiki/Regenerative_medicine

Fakta: Vad fick KI i Hongkong?

NORDUnets utrustning i Hongkong står i datacentret MEGA-i
Router: Juniper MX-80

Vodafones primära ledning: Frankfurt – Ryssland – Kina – Hongkong
Kapacitet: 1 Gbps
Längd: ~12.000 km
Fördröjning: 170 ms +/–5 % enligt SLA

Vodafones reservväg – Frankfurt – sjökabel under Indiska oceanen – Hongkong
Kapacitet: 1 Gbps
Längd: ~20.000 km
Fördröjning: 210-220 ms

Sekundär ledning: Stockholm – London – New York – Stilla Havet – Tokyo – Hongkong
Kapacitet: godtycklig, ej över 10 Gbps
Längd: ~23.000 km
Fördröjning: >210 ms

The Fredrik Korsbäck Museum of Contemporary Art: Chinese Still-Life with Vacuum Cleaner and Sign.

 

Fler blogginlägg av Jörgen Städje

Från oss alla, till er alla

14 Dec 2017
/ Bloggen fiberfeber

Så arbetar NOC

13 Nov 2017
/ Bloggen fiberfeber

SUNETs handbok i informations- och IT-säkerhet

1 Sep 2017
/ Bloggen fiberfeber

Den ökända hästen från Troja

31 Jul 2017
/ Bloggen fiberfeber

Redundans är allt

3 Jul 2017
/ Bloggen fiberfeber

SNIC-snack

2 Jun 2017
/ Bloggen fiberfeber

We have liftoff: del 5 av 2

3 Maj 2017
/ Bloggen fiberfeber

Maria Häll: We are at the Forefront!

13 Apr 2017
/ Bloggen fiberfeber

Maria Häll: Vi ligger i framkant!

10 Apr 2017
/ Bloggen fiberfeber

We have liftoff, del 4 av 2

22 Feb 2017
/ Bloggen fiberfeber

We have liftoff, del 3 av 2

30 Jan 2017
/ Bloggen fiberfeber

We have liftoff! Del 2 av 2

9 Jan 2017
/ Bloggen fiberfeber

We have liftoff! Del 1 av 2

16 Dec 2016
/ Bloggen fiberfeber

Long Read – Cleanliness is a Virtue

20 Sep 2016
/ Bloggen fiberfeber

Långläsning - tvättar bäst som tvättar först

16 Sep 2016
/ Bloggen fiberfeber

Följa fiber – från Tulegatan till Stockholms universitet.

26 Aug 2016
/ Bloggen fiberfeber

Ericsson, then swänske Lars Magnus

7 Jun 2016
/ Bloggen fiberfeber

One ring to rule them all

24 Maj 2016
/ Bloggen fiberfeber

Den tunga bakgrundstrafiken

12 Maj 2016
/ Bloggen fiberfeber

Long read: How to Design a Fibre Optic Network

5 Maj 2016
/ Bloggen fiberfeber

Welcome to the Fiber Fever Blog!

3 Maj 2016
/ Bloggen fiberfeber

Procuring an Optical Network – Smooth as Silk

2 Maj 2016
/ Blogg

The Breadth and Width of a Megabit

29 Apr 2016
/ Blogg

The Nobel Prized Piece of Glass

28 Apr 2016
/ Blogg

What’s the time? Really?

28 Apr 2016
/ Blogg

SUNET in i molnet (3) – molnsäkerhet

26 Apr 2016
/ Blogg

SUNET in i molnet (2) – vad är molnet egentligen?

25 Apr 2016
/ Blogg

SUNET in i molnet (1) – det här får du

25 Apr 2016
/ Blogg

Read about the brand new Sunet network.

11 Apr 2016
/ Bloggen fiberfeber

GÉANT och NORDUnet – bästa kompisar

14 Mar 2016
/ Bloggen fiberfeber

Ljuset kommer från Tyskland

3 Mar 2016
/ Bloggen fiberfeber

Thunderbirds are GO!

19 Feb 2016
/ Bloggen fiberfeber

Ett panorama av verkligheten

17 Feb 2016
/ Bloggen fiberfeber

Det allseende ögat

15 Feb 2016
/ Bloggen fiberfeber

Förstärkning på längden

15 Jan 2016
/ Bloggen fiberfeber

Dämpning och förstärkning i optisk fiber

14 Jan 2016
/ Bloggen fiberfeber

Grundläggande om L-bandet

14 Jan 2016
/ Bloggen fiberfeber

C-bandet – grundläggande om

14 Jan 2016
/ Bloggen fiberfeber

Logaritmer, min käre Watson

14 Jan 2016
/ Bloggen fiberfeber

CERN – krossen som slår sönder materiens minsta byggstenar

12 Jan 2016
/ Bloggen fiberfeber

Riksarkivets samarbete med SUNET

11 Jan 2016
/ Bloggen fiberfeber

One Ring to Rule them - Vetenskapsrådet

21 Dec 2015
/ Bloggen fiberfeber

Alla jättars jätte - Cisco

19 Dec 2015
/ Bloggen fiberfeber

En värld av siffror - belastning

19 Dec 2015
/ Bloggen fiberfeber

Ur led är inte alls tiden - atomur

19 Dec 2015
/ Bloggen fiberfeber

En djungel av kontaktdon

4 Dec 2015
/ Bloggen fiberfeber

Elektronisk enbärsdricka - Juniper

27 Nov 2015
/ Bloggen fiberfeber

Vad är Géant?

26 Nov 2015
/ Bloggen fiberfeber

Radar Love - Eiscat

25 Nov 2015
/ Bloggen fiberfeber

The Color Purple - dispersion

25 Nov 2015
/ Bloggen fiberfeber

Full Metal Packet - switchen

10 Nov 2015
/ Bloggen fiberfeber

Get your kicks on route 66 - routrar

10 Nov 2015
/ Bloggen fiberfeber

Game of Stones - kvarts

10 Nov 2015
/ Bloggen fiberfeber

The Twilight Zone - fotonen

10 Nov 2015
/ Bloggen fiberfeber

Peering – SUNETs ekonomiska ryggrad

9 Nov 2015
/ Bloggen fiberfeber

I mörkret är alla katter infraröda

4 Nov 2015
/ Bloggen fiberfeber

Fibertyperna i nätet och deras optiska felaktigheter

29 Okt 2015
/ Bloggen fiberfeber

Vad är klockan? Egentligen?

21 Okt 2015
/ Bloggen fiberfeber

Nätets centrum

20 Okt 2015
/ Bloggen fiberfeber

Den optiska transceivern

17 Okt 2015
/ Bloggen fiberfeber

Polarisation och informationsöverföring

1 Okt 2015
/ Bloggen fiberfeber

Laserns historia

30 Sep 2015
/ Bloggen fiberfeber

Koherent ljus, vad är det?

28 Sep 2015
/ Bloggen fiberfeber

När allt är klart

28 Sep 2015
/ Bloggen fiberfeber

SUNET – nu ännu bättre!

16 Sep 2015
/ Bloggen fiberfeber

Fibern fruktar fukten

11 Sep 2015
/ Bloggen fiberfeber

Att få kontakt

11 Sep 2015
/ Bloggen fiberfeber

Så tillverkas optisk fiber

31 Aug 2015
/ Bloggen fiberfeber

EMC – EMI – EMP

31 Aug 2015
/ Bloggen fiberfeber

Glasbiten som gav nobelpris

21 Aug 2015
/ Bloggen fiberfeber

Megabit på längden och tvären

21 Aug 2015
/ Bloggen fiberfeber

Långartikel: Fibern från Frostmofjället

21 Aug 2015
/ Bloggen fiberfeber

Upphandling av optiskt nät

25 Jul 2015
/ Bloggen fiberfeber

OptaSense – när fiber blir sensorer

3 Jul 2015
/ Bloggen fiberfeber

Teknisk djupdykning: Optisk magi med ramanförstärkare

2 Jul 2015
/ Bloggen fiberfeber

Teknisk utvikning: 130.000 fibrer som i en liten ask

1 Jul 2015
/ Bloggen fiberfeber

NOCen spekulerar 2: Felrapporter

27 Jun 2015
/ Bloggen fiberfeber

NOCen spekulerar 1: hög belastning

26 Jun 2015
/ Bloggen fiberfeber

Teknisk djupdykning: Optisk magi med EDFA

22 Jun 2015
/ Bloggen fiberfeber

Långartikel: Så designar man ett fiberoptiskt nät

11 Jun 2015
/ Bloggen fiberfeber

Bredare motorväg för svenska data – äntligen en offensiv satsning!

22 Maj 2015
/ Bloggen fiberfeber

Om den interaktiva tidslinjen

21 Maj 2015
/ Bloggen fiberfeber

Om den interaktiva kartan

20 Maj 2015
/ Bloggen fiberfeber

Fiberfeber: Vad som har varit och vad som komma skall

19 Maj 2015
/ Bloggen fiberfeber

Följ bygget av Sunets nät på bloggen Fiberfeber!

18 Maj 2015
/ Bloggen fiberfeber

Teknisk djupdykning: den mystiska routerkraschen

11 Jun 2006
/ Bloggen fiberfeber

2000–2013: Sunet mognar och kapaciteten ökar. Identitetsfederation skapas.

1 Jan 2000
/ Bloggen fiberfeber

1990–1999: Kapaciteten stiger, 2 – 34 – 155 Mbps

1 Jan 1990
/ Bloggen fiberfeber

1968–1989: Idéernas tidevarv. Internets vagga.

1 Jan 1968
/ Bloggen fiberfeber

Jörgen Städje

Jag heter Jörgen Städje och har skrivit om teknik och vetenskap sedan 1984. Friskt kopplat, hälften brunnet!