Se bo internet med karanteno zlomil?

Od začetka marca smo na Arnesu spremljali novice o širjenju koronavirusa. Najprej so bili v pisarnah na pol šaljivi pogovori sodelavcev ob jutranji kavi, ki so le nekaj dni kasneje potihnili. Nastopilo je nelagodno pregledovanje novičarskih portalov pred načrtovanimi službenimi potmi v tujino. Ko pogledamo nazaj, lahko ugotovimo, da so dogodki zelo hitro eskalirali. V dobrih dveh tednih smo porabili litre razkužil, opozarjali o umivanju rok, na koncu pa dobesedno čez noč celoten kolektiv preselili v domače pisarne.

Ko se zaprejo vse šole
Ko so se razmere zaostrile, smo vse bolj razmišljali o stvareh, ki jih moramo narediti, če se zaprejo vse šole in fakultete, pouk pa se v celoti preseli na splet. To je velik izziv in scenarij, na katerega se težko pripraviš. Kje bodo ozka grla, kako bomo lahko odpravili zastoje in kaj bo delo od doma velikega dela državljanov pomenilo za stabilnost interneta v državi? Po dveh tednih karantene, dela in izobraževanja na daljavo smo na Arnesu strnili misli.



Cunami uporabnikov
Povečano rabo storitev smo zaznali že pred ponedeljkom, ko so 16. marca vpeljali izobraževanje na daljavo, saj so mnogi med vikendom začeli s pripravami. Naval na storitve, ki omogočajo učni proces, Arnes Učilnice, Arnes Splet, portal Arnes Video, vidokonferenčne storitve in Arnes SPM, smo pričakovali. Število uporabnikov storitev v Arnesovem oblaku pa se je v ponedeljek povečalo do 100-krat.



Arnes Učilnice so pred pandemijo tekle na dveh strežnikih, strežniki pa so brez težav skrbeli za 150 hkratnih uporabnikov. Kratek časovni okvir nam ni dopuščal pravega načrtovanja, že v petek smo videli, da povečanje virov obstoječih virtualnih strežnikov v ponedeljek nikakor ne bo zadostovalo. V treh dneh smo zato na glavo obrnili celotno arhitekturo strežnikov, iz dveh virtualnih strežnikov smo prešli na 7 fizičnih in tri virtualne. Sproti smo se učili, kako Moodle deluje v taki postavitvi. Skrbnik storitve in tisti, ki so sicer opravljali druge naloge, so takoj prevzeli dodatno breme in se usklajevali videokonferenčno. V nedeljo smo mislili, da nam je uspelo.

V ponedeljek se je število uporabnikov povečevalo z neverjetno hitrostjo, kot pravi cunami. Arhitektura storitve bi morala biti pravilna, uporabnikov je bilo vse več, in kljub temu da smo dodali nove strežnike, so bili ti preobremenjeni. Pa ne bi smeli biti.



Število uporabnikov storitve Arnes Učilnice. Označena sta 12. marec, ko je bilo napovedano zaprtje šol in 16. marec, ko se je začelo izobraževanje na daljavo.
 
Moodle in posojeni superračunalniški strežniki
V takih razmerah je težko dobiti dovolj veliko število strežnikov. Nekaj smo jih imeli na Arnesu in še niso bili v uporabi, druge smo prestavili z ostalih storitev. Veliko zahvalo pa dolgujemo Institutu Jožefa Stefana, podjetjem Žabec, Xenya in DHH ter Pošti Slovenije, ki so velikodušno in brezplačno v izposojo ponudili lastno opremo in strokovnjake. Od prvega pogovora do posoje ni minil niti en dan. Strežniki, ki jih je za Arnes Učilnice posodil Institut Jožefa Stefana, so popolnoma novi in namenjeni visoko zmogljivemu računanju – superračunalnikom. Grafične kartice Instituta Jožef Stefan bodo pomagale pri delovanju portala Arnes Video.



Neprekinjeno delo je trajalo od petka do srede, sodelavci Arnesa so neprestano delali tudi po 15 ur, dokler niso zmogli več. Delo inženirjev smo organizirali v parih, na strežnik sta bila povezana dva. Prvi je delal in sodelavcu razlagal postopek, drugi je pomagal in opravljal nadzor, da ne bi prišlo do napake. Tako kompleksno storitev je namreč težko upravljati, ne da bi pod pritiskom na kaj pozabil. Pregledali smo vsako podrobnost, izmerili učinek vsake spremembe, Učilnice so vsak dan delovale bolje, a ne brezhibno. Komunikacija je potekala videokonferenčno na Arnesovem sistemu Pexip, saj je tako lažje delati.
Eureka!

V sredo zvečer smo odkrili kritično napako v kodi Arnes Učilnic in takrat se je odzivni čas za uporabnike spustil na manj kot pol sekunde. Programer bo za nagrado prejel veliko pico. Delo pa s tem ni bilo zaključeno, nov izziv je bila na primer infrastruktura za AAI-prijavo, ki ni zmogla obdelati velikega števila prijav v tako kratkem času. Odpravljanje manjših težav, ki jih uporabniki morda niti niso zaznali, je pri različnih storitvah trajala še nekaj dni. Posvetili smo se tudi uporabniški izkušnji, saj smo morali nekaj funkcionalnosti storitev izključiti zaradi obremenjenosti virov.

Največji in najdaljši napad DDOS v nepravem trenutku
Hkrati smo zaznavali in reševali težave pri delovanju drugih storitev. Tako je Arnesova e-pošta doživela enega največjih napadov DDOS, ki je neprekinjeno trajal kar 12 ur in strežnik obremenjeval s 300 e-sporočili na sekundo. Napad je bil veliko bolj sofisticiran, kot smo ga vajeni, saj ga nismo uspeli omejiti na določene domene, uporabnike ali naslove IP. Naslovi, iz katerih je potekal napad, so bili iz 2.700 različnih podomrežij, zato smo začasno omejevali promet iz tistih držav, iz katerih običajno ni povezav na naše strežnike. Na ta način smo zmanjšali moč napada na 50 sporočil na sekundo, s tem pa so naši strežniki ohranili odzivnost za e-pošto, ki ni bila povezana z napadom.



Vsi proti vsem ustavi še videoportal

Izobraževanje na daljavo še vedno poteka po ustaljenem, večinoma dopoldanskem urniku, in tako uporabniki do storitev dostopajo hkrati. Seveda to predstavlja veliko breme za strežniško infrastrukturo in povezave do uporabnikov. Z rabo izobraževalnega portala Arnes Video, kamor učitelji naložijo posnetke svojih učnih ur, v spletnih učilnicah in na šolskih spletiščih pa objavijo ustrezne povezave, smo obremenitve zmanjšali in enakomerno porazdelili.

Dnevno število ogledov posnetkov je naraslo za skoraj 30-krat, v letošnjem letu jih je bilo v treh mesecih že naloženih več kot v celotnem letu 2019. V soboto, 21. marca, pa se je v večernih urah oglasil alarm. Portal Arnes Video je onemogočilo 7.000 gledalcev, ki so si v Bazi slovenskih filmov želeli brezplačno ogledati film Vsi proti vsem. Politični triler, v katerem je igral tudi Peter Musevski, se dogaja v izmišljenem kraju Rovte pod idiličnimi Alpami in govori o demokraciji, volilnih prevarah in razkrajanju družbenih vrednot. Seveda smo takoj povečali kapacitete in ogled filma v dogovoru s Filmoteko izjemoma omogočili tudi v nedeljo.

Število uporabnikov multimedijskih storitev se je hitro povečevalo. Spletne konference Arnes VOX uporabniki pogosto popolnoma zasedejo že v jutranjih urah, zato jih preusmerjamo na prenose v živo. Predavanja lahko tam, ker smo dodali sistemske vire, hkrati spremlja tudi več kot tisoč uporabnikov. Hkrati smo se dogovorili še za možnost brezplačne rabe videokonferenčnih storitev Cisco Webex, za uporabnike pa pripravljamo še videokonference Jitsi, ki bodo delovale v Arnes Učilnicah.
 
Število ogledov na portalu Arnes Video. Označena sta 12. marec, ko je bilo napovedano zaprtje šol in 16. marec, ko se je začelo izobraževanje na daljavo.
 
Zlom interneta v Sloveniji?

V Italiji, ki je najbolj prizadeta država v Evropi, so se med epidemijo pojavljali članki, da so italijanski operaterji na robu zmogljivosti, saj so uporabniki, ki so zaprti doma, preobremenili njihova omrežja. Tudi v Sloveniji so ponudniki uporabnikom povečali količine razpoložljivih podatkov, odklenili programske pakete, uporabniki pa so začeli komunicirati videokonferenčno, uporabljati video portale, se izobraževati prek spleta in igrati igre. Kako se je na to odzval slovenski internet?

Že v petek, 13. marca, smo zaznali hitro naraščanje prometa prek stičišča omrežij SIX, ki ga upravljamo na Arnesu in je namenjen lokalni izmenjavi prometa med ponudniki interneta v Sloveniji. V soboto je promet prvič v zgodovini presegel 100 Gbit/s skupnega prometa, 22. marca pa že 130 Gbit/s. V dobrem tednu se je količina prometa podvojila.


 
V soboto in v nedeljo smo na vse možne načine obveščali vse ponudnike, katerih promet je dosegal limite povezav. Ti so se hitro odzvali, tako da je bila večina povezav nadgrajenih že v ponedeljek, zadnja pa v torek. Skupaj smo v le nekaj dneh zmogljivost povezav povečali za 110 Gb/s, obe povezavi omrežja ARNES v SIX pa nadgradili iz 10 Gbit/s na 20 Gbit/s.

Stanje slovenskega interneta je tako v splošnem dobro in ni strahu, da bi nehal delovati, seveda pa lahko na nekaterih povezavah od ponudnikov do gospodinjstev pride do občasne prezasedenosti infrastrukture. Ugotavljamo, da je največ prometa med sedmo in deseto uro zvečer, zato priporočamo, da pomembne opravke opravljate v drugem času.
 
Podpora v izrednih razmerah
Delo, ki smo ga opravili, ne bi bilo mogoče brez priprave na delo od doma za okoli 100 sodelavcev. Zaposleni imajo povečini službene prenosnike, za tehnično podporo smo v nekaj dneh pred karanteno pripravili dodatne računalnike za delo od doma. Na težave pa smo naleteli pri delu svetovalcev v klicnih centrih, saj smo najprej predvidevali, da se bo delo izvajalo na Arnesu. Nato je prišlo do ukinitve javnega prevoza in morali smo najti rešitev, kako bomo klice prevzemali ob delu od doma.

To nam je uspelo urediti šele v ponedeljek, zato je imela 16. marca telefonska centrala na voljo samo dva zelo obremenjena telefonista. Na žalost se na ta dan nismo mogli odzvati na velik odstotek klicev uporabnikov. Število telefonskih klicev uporabnikov je na prvi dan izobraževanja na daljavo naraslo za petkrat, nato pa se je ustalilo dvakratniku povprečja. Število vprašanj po e-pošti je v ponedeljek naraslo za šestkrat in se v primerjavi z dnevi pred karanteno ustalilo na trikratniku. Samo v obdobju med 16. in 25. marcem smo prejeli 1.346 prijav težav po elektronski pošti, kar je več kot v februarju, ko jih je bilo 1.280.
 
Podporo zaradi zaščite sodelavcev in prebivalstva v večji meri še vedno preusmerjamo na naš elektronski naslov helpdesk@arnes.si. Telefonsko pomoč nudimo med 8. in 16. uro, tehnično pa po e-pošti med 8. in 20. in še dodatno med vikendi med 8. in 16. uro, ko so še vedno aktivni informatiki in učitelji.


 
Si ostal doma?
Osnova interneta so tudi domene. V primeru slovenske domene .si med drugimi zagotavljamo tudi delovanje tako pomembnih, kot so v trenutnih razmerah mf.uni-lj.si, kclj.si, ukc-mb.si ali nijz.si. Sodelavci Register.si, ki je del Arnesa, skrbijo za registracijo domen in upravljajo porazdeljeni sistem DNS doma in v tujini, ta pa omogoča dostopnost celotnega slovenskega domenskega prostora. Od tega je odvisno delovanje vaših spletnih strani, elektronskih naslovov in drugih storitev pod .si, kar je v teh razmerah še bolj pomembno kot na običajen dan. Zato vse nosilce domen vabimo, da prek iskalnika WhoIs preverijo veljavnost domen in jih prek registrarja pravočasno podaljšajo. Tako bodo zagotovili nemoteno spletno komunikacijo podjetij. 


 
Domene pod .si, ki potečejo, gredo v karanteno. Ja, tudi domene morajo v karanteno, ne le ljudje. Ta karantena ni povezana z virusom in jo uporabljamo že 15 let. Po izteku karantene se domene izbrišejo iz sistema in so na voljo za ponovno registracijo. Rok karantene smo s 23. marcem podaljšali s 30 na 60 dni. Nosilci boste tako imeli več časa za podaljšanje domen in obenem večjo varnost, da vaše potečene domene ne registrira kdo drug. 
 
Kot vselej se najdejo tudi “podjetneži”, ki skušajo izredne razmere izkoristiti v svojo korist. V sodelovanju s SI-CERT zato spremljamo registracije domen, ki vsebujejo besede, povezane s COVID-19, saj se pod nekaterimi drugimi vrhnjimi domenami že izkoriščajo za distribucijo škodljive kode ali zavajanje spletnih uporabnikov. Pri tem izmenjujemo podatke tudi v okviru združenja evropskih nacionalnih registrov CENTR.

Spletna in omrežna varnost v času pandemije
Selitev delovnega okolja na dom predstavlja različne izzive, tudi varnostne. Kako bomo prišli do podatkov na službenem omrežju, so naše naprave in naše domače omrežje dovolj varni? Kaj v teh spremenjenih okoliščinah pomeni par otrokovih naključnih drsov po tablici ali pa sprehod domače mačke čez tipkovnico, medtem, ko smo šli v kuhinjo po čaj in pustili odprto službeno preglednico s pomembnimi poslovnimi podatki?




Nacionalni odzivni center za kibernetsko varnost SI-CERT, ki je del Arnesa, je objavil navodila za delodajalce, podjetja in organizacije ter za zaposlene, ki v trenutnih razmerah delajo na daljavo. Ta so bila dobro sprejeta. Sodelavci SI-CERT tudi v teh razmerah delujejo v režimu 24/7, o čemer smo obvestili vse izvajalce bistvenih storitev in Upravo RS za informacijsko varnost, dodali pa smo tudi navodila za prijavo incidentov. Na SI-CERT smo dodali še seznam tveganj in najbolj pogoste scenarije napadov in zlorab. Seveda s posebnim poudarkom na zdravstvenih ustanovah, za katere bomo vedno poskrbeli, da jim bo pomoč na voljo takoj, ko bo potrebna. Vseeno držimo pesti, da nam ne bo treba posredovati!
 
Vabimo vas, da spremljajte nove prispevke na portalu varninainternetu.si in kanalih na družbenih omrežjih. Pripravljamo namreč nove video napotke in konkretne nasvete, kako prepoznati spletna tveganja! Če se tam prijavite na novičnik, jih boste dobili v poštni predal.


 
Neverjetne delovne razmere in neumorni sodelavci

Pritisk, s katerim so se soočali sodelavci Arnesa, je bil izjemen. 300.000 šolarjem smo morali omogočiti izobraževanje na daljavo. Delo je oteženo, saj so na Arnesu lahko samo najnujnejši kadri. Kljub temu je potekalo skoraj brez odmora, a tudi brez panike. Sodelavci Arnesa so bili vedno pripravljeni priskočiti na pomoč tistemu, ki jo je potreboval, z neprecenljivim znanjem, logistiko, obveščanjem, primerno in mirno komunikacijo. Pomembno spodbudo nam je predstavljala podpora uporabnikov.


Storitve še vedno nadgrajujemo in nismo imeli časa za proslavo, le za veselje prek videokonference in v Arnes Utripu, novičniku, v katerem v izolaciji izpostavljamo pomembne dosežke naših sodelavcev.

***

Javni zavod Arnes opravlja več funkcij: upravlja omrežje in storitve za izobraževalno, raziskovalno in kulturno sfero v Sloveniji, poleg tega pa upravlja tudi s pomembnim delom nacionalne digitalne infrastrukture. Skrbi za upravljanje vozlišča SIX (Slovenian Internet eXchange), preko katerega teče promet med slovenskimi ponudniki, skrbi za nemoteno delovanje domenskega sistema .si (Register.si) in nudi pomoč pri vdorih, okužbah in zlorabah na omrežju z nacionalnim odzivnim centrom za kibernetsko varnost SI-CERT.