5G Cloud Testikeskuksen käyttöönotto

(1)

Mikko Huttu & Miikka Tuovinen

5G Cloud Testikeskuksen käyttöönotto

(2)

5G Cloud Testikeskuksen käyttöönotto

Mikko Huttu

Sähkötekniikan tutkinto-ohjelma Miikka Tuovinen

Tietotekniikan tutkinto-ohjelma Opinnäytetyö

Syksy 2018

Oulun ammattikorkeakoulu

(3)

TIIVISTELMÄ

Oulun ammattikorkeakoulu

Sähkö- ja automaatiotekniikan tutkinto-ohjelma, Sähkövoimatekniikka Tieto- ja viestintätekniikan tutkinto-ohjelma, Ohjelmistokehitys

Tekijät: Mikko Huttu & Miikka Tuovinen

Opinnäytetyön nimi suomeksi: 5G Cloud Testikeskuksen käyttöönotto Opinnäytetyön nimi englanniksi: 5G Cloud Test Site Establishment Työn ohjaaja: Ensio Sieppi

Työn valmistumislukukausi ja -vuosi: Syksy 2018 Sivumäärä: 57 + 4 liitettä

Opinnäytetyön aiheena oli 5G Cloud Testikeskuksen käyttöönotto. Työn tavoitteena oli pystyttää ja käyttöönottaa toimiva alusta 5G Cloud -testausta varten kokoamalla, kytkemällä ja konfiguroimalla kaksi räkkikaappia palvelimineen ja kytkimineen. Työn tilaajana toimi Nokia Oyj.

Opinnäytetyön toteutus aloitettiin kasaamalla tarvittavat laitteistot räkkikaappei- hin. Laitteistoina kaapeissa tarvittiin palvelimia ja kytkimiä. Räkkikaappien ka- lustamisen ja kaapeloinnin jälkeen palvelimille asennettiin käyttöjärjestelmät ja tarvittavat yhteydet sekä kytkimet konfiguroitiin toimimaan halutulla tavalla.

Lopputuloksena saatiin toimiva testiympäristö, jota tullaan hyödyntämään yrityk- sessä. Lisäksi yrityksen sisäiseen käyttöön tehtiin ohjeistus, jotta vastaavanlai- sen työn tekeminen on selkeämpää tulevaisuudessa. Ohjeistus tehtiin englanniksi ja se on julkaistu vain Nokian käyttöön. Projektisuunnitelmamme aikataulu- tus piti hyvin ja työ saatiin valmiiksi ilman isompia ongelmia.

(4)

ABSTRACT

Oulu University of Applied Sciences

Degree Programme in Electrical Engineering, Electrical Power Engineering Degree Programme in Information Technology, Software Development

Authors: Mikko Huttu & Miikka Tuovinen

Title of thesis: 5G Cloud Test Site Establishment Supervisor: Ensio Sieppi

Term and year when the thesis was submitted: Fall 2018 Pages: 57 + 4 appendices

The subject of this thesis was the establishment of a 5G cloud test site. The goal was to deploy proper and operational platform for 5G cloud testing by building, assembling and configuring two rack cabinets with servers and internet switches. The work was assigned by our employer Nokia Oyj.

The implementation of the work was started by assembling the necessary hardware to rack cabinets. The required hardware consisted of servers and internet switches. After assembling and cabling the cabinets the required operating sys- tems and connections were installed to the servers and internet switches were configurated to work in a proper way.

As a result, operational test platform was successfully built and configurated.

This platform will be implemented in the company. In addition, instructions were made for company’s internal use. Instructions will help employers to establish similar setups in the future. The timetable of our project plan was well managed, and the work was completed without any critical problems.

Keywords: 5G, cloud computing, data center, switch, server

(5)

ALKULAUSE

Haluamme kiittää erityisesti Nokian esimiestämme Mika Kelloniemeä työpai- koista sekä mahdollisuudesta tehdä opinnäytetyö työsuhteemme alkuvaiheessa työkuvaamme liittyen. Opinnäytetyön tekeminen kyseiseen aiheeseen antoi meille paremmat lähtökohdat syventyä työhömme.

Lisäksi haluamme kiittää Oulun ammattikorkeakoulun yliopettajaa Ensio Sieppiä työn ohjaamisesta sekä Nokian perehdyttäjiämme Juha Pökkylää ja Petteri Ellilää tuesta ja perehdytyksestä.

Oulussa 12.11.2018

Mikko Huttu Miikka Tuovinen

(6)

SISÄLLYS

1 JOHDANTO 10

2 5G CLOUD 11

3 TESTIKESKUKSEN RAKENNE 14

3.1 Räkki 15

3.1.1 Sähkönsyöttö 16

3.1.2 Virranjakeluyksiköt 17

3.2 Palvelimet 18

3.3 Kytkimet 20

3.3.1 Dell S3048-ON 21

3.3.2 Dell Z9100-ON 22

3.3.3 Cisco 2960-S 23

3.3.4 Cisco 3750X 24

3.3.5 Cisco 2960G 25

3.3.6 Juniper EX4200 26

3.4 Kaapelit 27

3.4.1 Virtakaapelit 27

3.4.2 Datakaapelit 28

3.5 Mediamuuntimet 30

4 KAAPELOINTI 33

4.1 Laboratoriosyötöt 34

4.2 Palvelimien kaapelointi 34

4.3 Kytkinten ketjutukset 35

5 KÄYTTÖJÄRJESTELMÄN ASENNUS JA KONFIGUROINTI 36

5.1 Käyttöjärjestelmän asennus 36

5.2 BMC & SSH 37

5.2.1 BMC 37

5.2.2 SSH 37

5.2.3 Yhteyksien asetus 38

5.3 Kytkinten konfigurointi 39

5.3.1 Esikonfigurointi 39

5.3.2 Etäyhteydet 42

(7)

5.3.3 Kytkinkohtaiset konfiguroinnit 43

5.4 Kytkinten ominaisuuksien vertailu 46

6 OHJEISTUS YRITYKSEN KÄYTTÖÖN 47

6.1 Confluence 47

6.2 Ohjeistuksen hyödyt 47

7 POHDINTA 49

LÄHTEET 52

LIITTEET

Liite 1 Räkki 1 kokoonpano Liite 2 Räkki 2 kokoonpano

Liite 3 Vuokaavio: järjestys, miten työ olisi pitänyt toteuttaa Liite 4 Vuokaavio: järjestys, miten työ toteutettiin

(8)

SANASTO

5G viidennen sukupolven matkapuhelinverkot ja langattomat tiedonsiirrot

BIOS (Basic Input-Output System) tietokoneohjelma, joka lataa käyttöjärjestel- män keskusmuistiin ja käynnistää sen tietokoneen käynnistyessä

BMC (Baseboard Management Controller) mikrokontrolleri, joka on sulautettu palvelimen emolevyyn

IoT (Internet of Things) esineiden internet, eli internetin laajentuminen verkon yli ohjattaviin, mitattaviin ja sensoroitaviin laitteisiin

IPv4 tällä hetkellä yleisimmin käytössä oleva IP-protokolla

IPv6 nykyisen IP-protokollan (IPv4) seuraajaksi kehitetty protokolla

MAC-osoite (Media Access Control) verkkosovittimen ethernet-verkossa yksi- löivä osoite

NDCS (Nokia Data Center Solution) Nokian kehittämä datakeskusmalli PDU (Power distribution unit) virranjakeluyksikkö

pilvi (Cloud) metafora internetille

pilvilaskenta (Cloud computing) internetissä tapahtuva tietotekniikan kehitys QSFP (Quad Small Form-factor Pluggable) 4-kanavainen lähetin-vastaanotin mediamuunnin

RAN (Radio Access Network) radioliityntäverkko

SFP (Small Form-factor Pluggable) yksikanavainen lähetin-vastaanotin media- muunnin

SSH (Secure Shell) salattuun tietoliikenteeseen tarkoitettu protokolla Telco (Telecommunication) mobiilitietoliikenne

(9)

Telco cloud mobiililiikenteen pilvi

USB (Universal Serial Bus) sarjaväyläarkkitehtuuri oheislaitteiden liittämiseksi tietokoneeseen

viive (Latency) aika, joka IP-paketilta kuluu matkaan lähettäjältä vastaanottajalle ja takaisin

(10)

1 JOHDANTO

5G tulee lähivuosina ilmaantumaan jokapäiväiseen elämäämme ja pilvilaskenta (Cloud computing) tulee olemaan iso osa 5G-teknologiaa. Jatkossa suuri osa mo- biililiikenteestä tulee kulkemaan pilvessä (Cloud).

Työskentelemme Nokialla testitiimissä, jonka tehtävänä on jatkossa testata 5G Cloudin tulevia ominaisuuksia. Tässä vaiheessa ei ole vielä tarkkaa tietoa, miten tämä tulee tapahtumaan, mutta tarvittavan testausalustan vaatimukset ovat sel- keät.

Testitiimille tarvitaan alusta 5G Cloud -testausta varten. Alusta toteutetaan kah- tena täytenä palvelinräkkikaappina. Tarvittavat komponentit työn aloittamista varten olivat saatavilla alusta asti. Työn alkaessa räkkikaapit olivat jo paikallaan la- boratoriossa ja toista oli ehditty kalustaakin. Tavoitteena oli saattaa molemmat palvelinräkkikaapit toimintakuntoiseksi testausta varten ja tehdä työstä ohjeistus yrityksen sisäiseen käyttöön.

Tämä työ on rajattu räkkikaappien sisällön kalustamiseen, kaapelointiin, räkin si- säisten kytkinten konfigurointiin, palvelimien käyttöliittymien asennuksiin ja palvelimien etäyhteyksien toimivuuden saavuttamiseen. IP-suunnitteluun emme ota kantaa tässä työssä. Osa työssä käytetyistä laitteista ja konfiguroinneista on sa- lassa pidettäviä, joten niiden teknisiä tietoja ei voida tässä työssä paljastaa.

Työn tilaajana toimii työnantajamme Nokia Oyj, joka toimii 5G-kehityksen kärki- päässä. Nokia on yli sadassa maassa toimiva globaali teknologiajohtaja verkot- tuneen maailman teknologioiden kehittämisessä. Yli 150 vuotta vanha yritys kes- kittyy nykyään muun muassa verkkoliikennetoimintaan, terveysratkaisuihin, pu- helimiin ja mediateknologioihin. (1.) Suomessa Nokialla on toimipisteet Es- poossa, Oulussa ja Tampereella.

(11)

2 5G CLOUD

5G on verkkoteknologian uusin kehitysaskel. Se takaa nopeammat ja luotetta- vammat yhteydet älypuhelimiin ja muihin laitteisiin kuin aiemmin on nähty. 5G:n avulla 1 Gbps (gigabittiä sekunnissa) -nopeudet tulevat olemaan arkipäivää. 5G:n myötä Internet of Things (IoT, esineiden internet) nousee esiin, mikä mahdollistaa älykkäämmän ja yhdistetymmän maailman. (2.) Kuvassa 1 on esitetty 5G:n eroja verrattuna 4G-teknologiaan sekä siitä nähdään, että viive tulee 5G:n myötä pie- nemään ja dataliikenne, datan piikkiarvot, saatavilla oleva spektri sekä yhteysti- heys tulevat kasvamaan.

KUVA 1. 4G:n ja 5G:n vertailu (3)

Pilviteknologialla (Cloud) tarkoitetaan tietoteknisten palveluiden hajautusta ja ul- koistusta. Pilvipalvelussa tiedot tallennetaan pysyvästi internetissä sijaitseville palvelimille (“pilveen”) ja vain tilapäisesti päätelaitteisiin. Käytännössä sen käyttö ei siis vaadi käyttäjältä ohjelmien asennuksia eikä omia palvelimia. Pilvipalvelut mahdollistavat kustannustehokkuuden, joustavuuden ja nopeuden palveluiden toteutuksessa. (4.)

Telco Cloudilla tarkoitetaan mobiilitietoliikennepilveä. Telco-pilvi laajentaa ihmis- ten teknologiamahdollisuuksia uusiin mobiilitietoliikennemalleihin sekä avaa ovia uusien sovellusten ja palvelujen maailmaan. Se tarjoaa myös lisää verkkokapa-

(12)

5G:n ja pilviteknologian yhdistelmällä taataan selvät hyödyt yhteyksien kapasi- teettiin, joustavuuteen ja toimivuuteen mobiiliverkko-operaattorien IoT-palvelutar- jonnassa. 5G-pilviteknologia mahdollistaa puhelinoperaattoreille kilpailukykyisiä palveluita, kuten 5G-verkot IoT-pohjaisiin verkkoteknologioihin ja pilvipalveluihin.

(6.)

Nokia on maailman johtavia 5G-innovaattoreita yli kuudellakymmenellä sopimuk- sella (7). Monet näistä sopimuksista ovat arvoltaan miljardeja dollareita. Esimer- kiksi yhdysvaltalainen operaattorijätti T-Mobile solmi Nokian kanssa heinäkuussa 2018 3,5 miljardin dollarin sopimuksen (8).

Nokia vastaa haasteisiin kehittämällään AirScale-radioliitynnällä (Radio Access), joka on täysin uusi tapa rakentaa radioliityntäverkkoja (RAN). AirScale tuottaa palveluja rajoittamattomalla kapasiteetin skaalaamisella, pienellä viiveellä ja hy- vällä yhdistettävyydellä. AirScale Radio Access muodostuu AirScale-tukiase- masta, aktiiviantenneista, Wi-Fistä, ohjelmistoista sekä pilvi-radioliityntäverkosta (Cloud RAN) ja sen hallinnosta. AirScale-radioliitynnällä saavutetaan monia hyö- tyjä. Sillä saadaan muun muassa suljettua kuilu tietotekniikan ja teleoperaattorin väliltä, nopeutetaan ohjelmistosyklejä innovaation ja performanssin paranta- miseksi. Se tukee kaikkia verkkoteknologioita, on 5G-valmis ja Wi-Fi-integroitu, sekä se on ketterä ja skaalautuva pilviteknologiaan. (9.) Kuvassa 2 on nähtävillä Nokia AirScale -radioliitynnän komponentit.

(13)

KUVA 2. Nokia AirScale Radio Access komponentit (9)

(14)

3 TESTIKESKUKSEN RAKENNE

Testikeskuksen rakenne pohjautuu Nokia AirFrame Data Center Solutioniin (NDCS). NDCS on Nokian kehittämä datakeskusmalli, jonka voi helposti skaalata yhdestä palvelimesta massiiviseksi datakeskukseksi (10, s. 4). Erityisesti Telco- käyttöön suunniteltu NDCS tarjoaa pienen viiveen ja suuren suoritustehon Telco- sovelluksille (11). Asiakkaille toimitettavat kokonaisuudet ovat valmiiksi kytkettyjä räkkejä palvelimien ja kytkimien kanssa (12).

Projektissamme emme saaneet valmista pakettia, koska Nokialla ei ole suoraan tarjolla tarvitsemaamme kokoonpanoa. NDCS:n koko kokoonpanoon kuuluvat räkki, virranjakeluyksiköt, palvelimet, kytkimet, kaapelit ja medianmuuntimet. Ku- vassa 3 on nähtävillä Nokia AirFrame data center.

KUVA 3. AirFrame data center (13)

(15)

3.1 Räkki

NDCS:ään kuuluva räkkimalli on 19 tuuman standardisoitu palvelinkaappi, joka on kooltaan 42 U-yksikköä. U-yksikkö (Rack unit) on standardiin kuuluva laite- koko, joka käsittää yhden räkkiin suunnitellun laitteen, korkeudeltaan 44,50 mm.

Leveydeltään asennettavat laitteet voivat olla etupaneeliltaan 483 mm ja le- veydeltään 450 mm. Laitteiden maksimisyvyys on 914,40 mm ja räkin asennus- telineen syvyyttä pystyy säätämään. Kaikki projektissa käytetyt laitteet ovat kooltaan yhden U-yksikön. (14.) Kuvassa 4 on nähtävillä AirFrame-räkki.

KUVA 4. Nokia AirFrame Cloud Rack (15)

NDCS-räkin kalustamisesta tekee hienoa se, että sen voi melkein kokonaan suo- rittaa ilman työkaluja. Ainoastaan palvelimiin kiinnitettävät laitekiskot vaativat Phi- lips-päällä varustetun ruuvimeisselin. Räkin asennustelineeseen kiinnitettävät laitekiskot toimivat napsautettavalla pikalukolla ja laitteisiin on suunniteltu kiinnik-

(16)

keet, joiden ansiosta laitekiskot voi napsauttaa suoraan paikoilleen. Tämän jäl- keen on helppo liu’uttaa laitteet paikalleen räkin kiskoille. Kuvassa 5 on esitetty palvelimen asennus.

KUVA 5. Palvelimen asennus (16)

Räkkiin on myös mahdollista asentaa kaapelitelineitä, jotka vievät yhden U-yksi- kön verran tilaa. Kaapelitelineet asennetaan yleensä kytkimien alapuolelle ja ne helpottavat kaapelointia myös tässä työssä. Telineet ruuvataan kiinni asennuste- lineen reikälevyyn kalusteruuveilla.

Räkkien kokoonpanokuvat ovat liitteinä 1 ja 2. Räkkien kokoonpano eroaa hieman toisistaan. Ensimmäistä räkkiä jouduttiin täydentämään yhdellä kytkimellä, joka ei ole NDCS-ratkaisussa mukana. Räkki 2:ssa kolme ylintä kytkintä on myös ratkaisun ulkopuolelta ja ovat kiinnitettyinä samalla kiinnityksellä kuin kaapelitelineet.

3.1.1 Sähkönsyöttö

Varsinaisten kiinteiden sähkösyöttöjen ja maadoitusten toteutus ei ole vastuul- lamme, vaan tämä toteutetaan tekemällä työtilaus laboratoriotukitiimille, joka hoi- taa toteutuksen. Tukitiimille jäävä toteutus on seuraava: tehdä sähkökaapelien vedot ja asentaa kaksi 3-vaihepistorasiaa räkkien välittömään läheisyyteen, jonne virranjakeluyksiköiden kaapelit yltävät. Tässä tapauksessa 3-vaihepistora- siat asennettiin laboratorion kattoon kahden metrin säteellä räkkien yläosasta.

Vaatimukset verkkovirralle ovat seuraavat:

- nimellisjännite 230 VAC

(17)

- jännitealue 100–240 VAC - taajuus 47–63 Hz.

Maadoitus toteutetaan vetämällä maakaapeli laboratorion maadoituskiskosta räkkien päällä olevaan maadoituskiskoon. (17.)

3.1.2 Virranjakeluyksiköt

Virranjakeluyksiköt (Power Distribution Unit eli PDU) toimivat räkin sisällä jaka- massa virtaa räkin laitteistolle (18). NDCS:ssa on räkin takaosassa kaksi PDU- yksikköä, joista jokainen räkissä oleva laite saa virtansa. Kaikissa NDCS-lait- teissa on kaksi virtalähdettä, jotka ovat kytkettyjä eri PDU-yksiköihin. Yksi PDU- yksikkö pystyy syöttämään koko räkin tehotarpeen, joten tämä mahdollistaa toi- minnan jatkuvuuden toisen PDU-yksikön vioittuessa. PDU-yksiköissä on myös mahdollisuus etämonitorointiin verkkokaapeliliitännällä. (19.) Luvussa 3.1.1 mai- nitut sähkönsyötöt on vedetty PDU-yksiköitä varten ja PDU-yksiköt asettuvat rä- kin takaosaan molemmille sivuille pystyyn. 3-vaihepistokkeet yhdistetään laboratorion verkkovirtaan räkin yläpuolelle asennettuihin 3-vaihepistorasioihin räkin yläviennin kautta. Kuvassa 6 on havainnollistettu virransyöttö räkin sisällä.

(18)

KUVA 6. Virranjakelu räkissä (19)

3.2 Palvelimet

Palvelimet ovat tietokoneita, jotka on suunniteltu käsittelemään dataa ja lähettä- mään tietoa toiselle tietokoneelle internetin kautta. Yleisesti sana palvelin ymmär- retään webpalvelimena, jolla mahdollistetaan pääsy internetsivuille. Todellisuu- dessa palvelimille on monia käyttötarkoituksia. Mikä tahansa tietokone voidaan ottaa palvelinkäyttöön oikealla ohjelmistolla. Tyypillisesti palvelimella tarkoitetaan raskaamman luokan tietokoneita, jotka ovat suunniteltuja nimenomaan palvelin- käyttöön ja sisältävät paljon suorituskykyisempää laitteistoa kuin kuluttajatuot- teet. Tarkkaan ottaen palvelin on ohjelmisto, joka vaati suorituskykyisen fyysisen alustan tietokoneen muodossa, jota kutsutaan palvelimeksi. Palvelintyyppejä on olemassa seuraavanlaisia:

(19)

- webpalvelin

- sähköpostipalvelin - FTP-palvelin - tunnistepalvelin.

Palvelimet ovat jatkuvassa käytössä. Tästä syystä ne ovat toiminnassa 24/7 ja alasajoja suoritetaan vain suunniteltujen huoltojen ajaksi. Joskus palvelimet voivat joutuvat verkkohyökkäysten kohteeksi, jotka saattavat hidastaa toimintoja tai kaataa koko palvelimen. (20.)

Työssä käytettiin Nokia AirFrame -palvelimia, jotka ovat Nokian omia palvelimia, joita on useita eri malleja eri tarkoituksiin. Ne luokitellaan kolmeen eri ryhmään:

- controller (ohjainyksikkö) - compute (laskentayksikkö) - storage (varastoyksikkö).

Yksiköt toimivat nimensä mukaisesti tarvittavissa kokoonpanoissa. Todellisuu- dessa mikä tahansa malli voi toimia toisessa tehtävässä, koska kaikki ovat poh- jimmiltaan saman tyyppisiä palvelimia. Suoritusteho ja tallennuskapasiteetti tie- tenkin vaihtelee näiden välillä. Löytyy myös kaikki yhdessä (All In One) -malleja pienille kokoonpanoille. Projektimme kaikki palvelimet ovat compute-mallia, joista osaa käytetään tarpeen mukaan kontrollereina.

Tässä projektissa käytimme 48 kappaletta AirFrame -palvelimia, jotka ovat kaikki saman mallisia kooltaan yksi U-yksikköä. Palvelimet jakautuivat tasan kahteen räkkiin, eli 24 kappaletta kumpaankin. Tekniset tiedot käyttämästämme mallista eivät ole julkisia.

Palvelimia pystyy täydentämään useammalla verkkokortilla haluttujen käyttöliitty- mämäärien ja nopeuksien saavuttamiseksi. Käyttöliittymänopeudet projektissamme ovat 1 GbE (Gigabit Ethernet), 10 GbE ja 25 GbE riippuen käyttöliitty- mästä. Jatkossa tarkoituksena on päästä eroon 1 GbE:n käyttöliittymistä vaihta- malla verkkokortit 10 GbE-versioiksi.

(20)

KUVA 7. Nokia AirFrame -palvelinyksikkö (21)

3.3 Kytkimet

Yleisesti kytkimiä (Network switch) käytetään yhdistämään tietokoneita, tulosti- mia, puhelimia, kameroita, valoja ja servereitä rakennuksissa tai kampuksilla.

Kytkin toimii ohjaimena, jolla saadaan verkotetut laitteet kommunikoimaan tois- tensa kanssa. Tiedon ja resurssien jakamisen kautta kytkimet lisäävät tuotta- vuutta ja säästävät rahaa yrityksissä.

Kytkimet jaetaan yleensä kahteen alaryhmään: hallittuihin (managed) ja ei-hallittuihin (unmanaged) kytkimiin. Ei-hallittuja kytkimiä käytetään yleensä kotiver- koissa niiden yksinkertaisuuden ja vähäisen tiedonsiirron takia. Tässä työssä käytettiin hallittuja kytkimiä, jotka ovat konfiguroitavia ja tarjoavat parempaa suo- jausta, joustavuutta ja kapasiteettia kuin ei-hallitut kytkimet. Hallittuja kytkimiä voi monitoroida ja säätää paikallisesti tai etänä. (22.)

Testikeskuksen palvelimet vaativat kahdessa räkkikaapissa yhteensä kahdeksan kytkintä. Taulukosta 1 voi nähdä, miten kytkimet on jaoteltu räkkeihin. Molem- missa räkeissä päällimmäisenä listattuja kytkimiä käytetään hallintakytkiminä (Management switch) ja loppuja käytetään datakytkiminä. Tästä kerrotaan tar- kemmin luvussa 5.3.3.

TAULUKKO 1. Kytkinten mallit

Räkkikaappi 1 Räkkikaappi 2 Dell S3048-ON Cisco 3750X Dell S3048-ON Cisco 2960G Dell Z9100-ON Juniper EX4200 Cisco 2960-S Dell Z9100-ON

(21)

Serverikaappien kytkimet olisi voitu toteuttaa käyttämällä vain kahdenlaisia kytki- miä (esim. Dell S3048-ON ja Dell Z9100-ON), jotka kuuluvat NDCS-ratkaisuun.

Molemmat kaapit tarvitsivat yhdet Dell Z9100-ON:n kaltaiset 10/25/40/50/100 GbE (Gigabit Ethernet) -kytkimet pilven datakapasiteetin vuoksi. 1 GbE -kytkimet olisi voitu toteuttaa vain yhdellä mallilla. Yrityksen tiloissa kuitenkin oli saatavilla vain kaksi kappaletta Dell S3048-ON -kytkimiä ja pitkien toimitusaikojen ja kallii- den hintojen takia käytettiin yrityksen tiloista löytyviä vanhempia kytkinmalleja, jotka olivat ylimääräisiä. Nämä Ciscon ja Juniperin valmistamat kytkimet eivät kuulu NDCS-ratkaisuun. Työssä käytetyistä kytkinten malleista on kerrottu tar- kemmin seuraavaksi. Kytkinten portit ja suorituskyky on listattu kaikille kytkimille omina luetteloinaan.

3.3.1 Dell S3048-ON

Dell S3048-ON on alan ensimmäinen yrityksille tarkoitettu 1 GbE (Gigabit Ether- net) -kytkentäalusta, joka tarjoaa sekä teollisuuteen kovetetun käyttöliittymän että tuen avoimelle verkkotyöskentelylle tarjoten vapauden käyttää kolmannen osa- puolen käyttöliittymiä. S3048-ON on suunniteltu tehokkaille ja ohjelmistomääri- tellyille datakeskuksille. Se takaa toiminnot normaaleille työkuormille sekä joustavuuden luoda uusia työkuormia, kuten Hadoop tai Big Data. (23, s. 1.)

Portit:

- 48 1 GbE -porttia

- 4 10 GbE SFP+ -porttia - 1 konsoliportti

- 1 hallintaportti - 1 USB 2.0-portti.

Suorituskyky:

- MAC-osoitteita enintään 80000 - IPv4-reittejä enintään 16000 - IPv6-reittejä enintään 8000

(22)

- viive 1GbE / 3.7μs, SFP+ / 1.8 μs. (23, s. 2)

KUVA 8. Dell S3048-ON (23, s. 1)

3.3.2 Dell Z9100-ON

Dell Z9100-ON on 10/25/40/50/100 GbE -kytkin, jonka käyttökohteita ovat tehok- kaat datakeskukset sekä laskentaympäristöt. Sen 100GbE QSFP28 -portit voidaan jakaa joko 1x100 GbE-, 2x50 GbE-, 1x40 GbE-, 4x25 GbE- tai 4x10 GbE - porteiksi. (24, s. 1.)

Portit:

- 32 100 GbE QSFP28 -porttia - 2 10 GbE SFP+ -porttia - 1 konsoliportti

- 1 hallintaportti - 1 USB 2.0-portti Suorituskyky:

- MAC-osoitteita enintään 136000 - IPv4-reittejä enintään 136000 - IPv6-reittejä enintään 68000 - kytkentäkapasiteetti 6.4 Tbps - lähetyskapasiteetti 4400 Mpps - viive 500 ns. (24, s. 1 - 3.)

(23)

KUVA 9. Dell Z9100-ON (25)

3.3.3 Cisco 2960-S

Cisco Catalyst 2960S-48TS-L on yrityskäyttöön suunniteltu 1 GbE -kytkin, jolla taataan luotettavat ja turvalliset yhteydet vähemmillä kuluilla (26). Catalyst 2960- S -sarja poistui myynnistä vuonna 2015 (27).

Portit:

- 48 1 GbE -porttia

- 4 10 GbE SFP+ -porttia - 1 konsoliportti

- 1 hallintaportti - 1 USB 2.0-portti Suorituskyky:

- kytkentäkapasiteetti 176 Gbps - lähetyskapasiteetti 77.4 Mpps. (26.)

(24)

KUVA 10. Cisco Catalyst 2960S-48TS-L (28)

3.3.4 Cisco 3750X

Cisco 3750X-48T-S on energiatehokas, helppokäyttöinen ja hyvät turvallisuus- ominaisuudet omaava 1 GbE -kytkin (29). Se poistui myynnistä 2016 (30). Kytki- meen on lisäksi asennettu verkkomoduuli (Cisco Catalyst C3KX-NM-10G Net- work Module), jolla saadaan lisäportteja käyttöön (31). Kuvasta 11 nähdään, että verkkomoduuli antaa käyttöön kaksi SFP+ -porttia, jotka voidaan muuttaa joko 10 GbE:ksi tai 1 GbE:ksi sekä kaksi SFP-porttia, jotka ovat 1 GbE -portteja.

Portit:

- 48 1 GbE -porttia

- verkkomoduulista 2 SFP+ -porttia ja 2 SFP -porttia - 1 konsoliportti

- 1 hallintaportti - 1 USB 2.0 -portti Suorituskyky:

- kytkentäkapasiteetti 160 Gbps

- lähetyskapasiteetti 101.2 Mpps. (32.)

(25)

KUVA 11. Cisco 3750X-48T-S (33)

KUVA 12. Cisco Catalyst C3KX-NM-10G -verkkomoduuli (31)

3.3.5 Cisco 2960G

Cisco 2960G-48TC-L on 1 GbE -kytkin, joka on lähes samanlainen kuin Cisco 2960S. Se on vanhempaa mallia ja poistui myynnistä 2012 (34).

Portit:

- 44 1 GbE -porttia

- 4 jaettavaa 1 GbE/SFP -porttia Suorituskyky:

- kytkentäkapasiteetti 32 Gbps

- lähetyskapasiteetti 10.1 Mpps. (35.)

(26)

KUVA 13. Cisco 2960G-48TC-L (34)

3.3.6 Juniper EX4200

EX4200 on Juniper-valmistajan 1 GbE-kytkin yrityskäyttöön. Se on tehokas ja joustava kytkin datakeskuksille. (36.)

Portit:

- 48 1 GbE -porttia - 4 SFP -porttia - 1 konsoliportti - 1 hallintaportti - 1 USB2.0-portti Suorituskyky:

- MAC-osoitteita enintään 32000 - IPv4-reittejä enintään 136000 - IPv6-reittejä enintään 68000 - kytkentäkapasiteetti 136 Gbps

- lähetyskapasiteetti 101 Mpps. (37, s. 7-8.)

(27)

KUVA 14. Juniper EX4200 (36)

3.4 Kaapelit

Molemmat räkkikaapit täyttyivät kaapeleista työn edetessä. Tässä luvussa on kerrottu kaapelien tyypit. Kaapeloinnista on kerrottu luvussa 4. Räkin säh- kösyötöstä ja maadoituksesta on kerrottu luvussa 3.1.1.

3.4.1 Virtakaapelit

Virranjakeluyksiköiltä palvelimille ja kytkimille lähtevinä virtakaapeleina käytettiin räkkien mukana tulleita kolmenapaisia IEC320-liittimillä varustettuja kaapeleita (kuva 15). Kyseessä on normaali tietokoneissakin käytetty virtakaapeli. Kaape- leita tuli räkkien mukana reilusti ja niiden pituus vaihteli, joten oli helppo saada ne asettumaan siististi räkkien sisällä. Työssä tarvittiin näitä kaapeleita kaksi kappaletta palvelinta kohti ja yksi tai kaksi kappaletta kytkintä kohti kytkimien mallista riippuen. Kahteen räkkiin virtakaapeleita käytettiin yli 100 kappaletta.

(28)

3.4.2 Datakaapelit

Datakaapeleina räkeissä käytettiin Cat6 RJ45 1 Gbits/s -verkkokaapeleita, QSFP28/4x SFP28 Breakout DAC 4x 25 Gbit/s -kaapeleita sekä optisia kuitukaapeleita. Näiden kaapelien kytkennöistä on kerrottu luvussa 4.2.

Cat 6 (Category 6) -kaapeleita (kuva 16) käytetään pääasiassa tietokoneiden verkkoliikenteeseen ja niillä saadaan yli 1 Gbps:n dataliikennenopeuksia. Cat 6 - kaapeli koostuu neljästä kuparijohtoparista (kahdeksasta johdosta), jotka kaikki on hyödynnetty dataliikenteeseen. Se takaa 250 MHz:n kaistanleveyden, jopa 10 Gbps nopeuden sekä saa olla jopa 100 metriä pitkä. Cat 6 -kaapeli on täysin yhteensopiva aiempien Cat-versioiden standardien kanssa. Cat 6 -kaapeli takaa paremmat ylikuulumiset ja vaimennuksen suojauksen kuin edeltävät Cat-versiot.

(39.)

KUVA 16. Cat 6 -kaapeli (40)

RJ45 (Registered Jack-45), joka tunnetaan myös dataliittimenä, on kahdeksan johdon liitin (kuva 17), joita käytetään liittämään tietokoneita verkkoihin. Alun pe- rin niitä käytettiin vain puhelinstandardeissa, mutta nykyään niitä käytetään to- della laajasti verkkokaapeleissa. (41.)

(29)

KUVA 17. RJ45-liitin (42)

Työssä käytetyissä QSFP28/4x SFP28 Breakout DAC 4x25 Gbps -kaapeleissa toisessa päässä on QSFP28-moduuli, joka haarautuu toiseen päähän neljäksi SFP28-moduuliksi (kuva 18). Nämä ovat DAC (Direct Attach Copper) -kaapeleita, eli suoraan liitettäviä kuparikaapeleita, joissa käytetään kiinteästi kytkettyjä me- diamuuntimia (43). Mediamuuntimista on kerrottu luvussa 3.5.

KUVA 18. QSFP28 / 4x SFP28 Breakout DAC 4x25 Gbps -kaapeli (44)

Optinen kuitukaapeli (kuva 19) on kaapeli, jossa tietty määrä optisia kuituja on kasattu yhteen. Optiset kuitukaapelit toimivat digitaalisten datasignaalien siir- rossa valon muodossa ja niillä saadaan suurempi suoritusteho kuin tavallisilla verkkokaapeleilla (45). Optisia kuitukaapeleita on kahta tyyppiä: multi-mode

(30)

(MM) ja single-mode (SM). Kaapelityyppien erona on se, että multi-mode-tyyppi- sellä kaapelilla on suurempi valonkuljetusydin ja sitä käytetään yleensä lyhyen matkan siirtoihin (46).

KUVA 19. Optinen kuitukaapeli (47)

3.5 Mediamuuntimet

Mediamuunnin on laite, jolla signaali saadaan muutettua yhdestä mediasta toiseen, esimerkiksi RJ-45-signaalista optiseksi signaaliksi valokuituun (48). Työssä käytettiin mediamuuntimina SFP, SFP+, SFP28, QSFP ja QSFP+ -moduuleita kytkennöissä kytkimistä palvelimiin ja toisiin kytkimiin.

SFP (Small Form-factor Pluggable) on kompakti lähetin-vastaanotin, jota käyte- tään tietoliikenne- ja dataliikennetekniikan sovelluksissa. SFP-moduuli yhdistää verkkolaitteen (esim. kytkimen) optiseen kuitukaapeliin tai kupariseen verkkokaa- peliin. Yleensä SFP tukee nopeuksia 1,25 Gbps:n ja 4,25 Gbps:n väliltä. SFP- liitäntä esiteltiin vuonna 2000. SFP tukee muun muassa Gigabit Ethernet -yhteysstandardia. Työssä käytettiin myös Active Copper SFP -moduuleita, joita käy- tettiin yhdistämään RJ-45-liitännät SFP-liittimiin.

(31)

SFP+ on paranneltu versio SFP:stä. Ne ovat saman näköisiä ja kokoisia sekä niitä käytetään samaan tarkoitukseen. SFP+ kuitenkin pohjautuu eri protokol- lastandardiin. SFP+ takaa suuremmat nopeudet kuin tavallinen SFP, yltäen 10 Gbps:ään asti. SFP+ tukee muun muassa 10 GbE-yhteysstandardia.

SFP28 on kolmannen sukupolven SFP-malli. Se ei myöskään eroa ulkonäössä muista SFP-malleista. SFP28 on suunniteltu 25 Gbps nopeuksille ja ne takaavat isomman kaistanleveyden ja paremman impedanssinhallinnan verrattuna muihin SFP-malleihin. SFP28 tukee muun muassa 25 GbE -yhteysstandardia. (49).

KUVA 20. SFP-moduuli 49)

QSFP (Quad Small Form-factor Pluggable) on 4-kanavainen lähetin-vastaanotin.

SFP on 1-kanavainen. QSFP eroaa SFP:stä myös ulkoisesti olemalla leveämpi.

Saatavilla olevat QSFP-tyypit ovat:

- 4x1 Gbps QSFP - 4x10 Gbps QSFP+

- 4x25 Gbps QSFP28.

QSFP+ voi jakautua 1x40 Gbps-yhteydeksi ja QSFP28 voi jakautua 2x50 Gbps- tai 1x100 Gbps-yhteyksiksi. (50.)

(32)

KUVA 21. QSFP28 ja QSFP+ -moduulit (50)

(33)

4 KAAPELOINTI

Kaapelointi voi vaikuttaa varsin suoraviivaiselta yksinkertaisesti ajateltuna: vedä kaapeli paikasta a paikkaan b. Huolellisesti tehtynä kaapeloinnissa tulee kuitenkin ottaa huomioon muutama seikka:

- oikeat mitoitukset - kiinnikkeiden käyttö

- selkeät kaapelointikanavat eri yhteyksille - erottaa virta- ja datakaapelit toisistaan - erottaa kupari- ja kuitukaapelit toisistaan - räkin ulkoiset yhteysvedot mahdollisimman lyhyeksi - kaapelitelineiden käyttö kytkimille.

Oikean mittaiset kaapelit mahdollistavat siistin ja selkeän kytkennän, eikä räkin sisälle jää kerälle ylimääräistä kaapelia haitaksi ilmanvaihdolle tai muille kytken- nöille. Liian tiukalla mitoituksella kaapeleita ei pitäisi myöskään käyttää, vaan on hyvä jättää hieman ylimääräistä. Tiukkaan kytketty kaapeli voi irrota tai rikkoontua itsestään.

Kaapelien kiinnittämisellä ehkäistään myös vaurioita kaapeleissa. Vapaana roik- kuvat kaapelit ovat haitaksi muita kytkentöjä tai muutoksia tehdessä. Räkkien sei- nissä on paljon erilaisia kiinnityskohtia, mihin kaapelit saa helposti kiinni.

Selkeä kaapelointi eri yhteyksille vähentää häiriöitä tiedonsiirrossa. Kuitukaapelit ovat herkkiä menemään rikki taivutuksessa. Tämä takia ne pitäisi aina kytkeä viimeisenä tai suojata, jos niiden lähellä suoritetaan muutakin kaapelointia.

Ulkopuolisten yhteyksien yhdyntäpisteet tulisi toteuttaa mahdollisimman lähelle räkkiä, jolloin pitkät kaapelivedot vähenisivät. Kiinteä kuitupaneeli räkin päällä helpottaisi pitempien kuituyhteyksien tekemistä ja räkin siirtämistä, mikäli siirtä- miselle tulee tarve.

(34)

Kaapelitelineet kytkimen ylä- tai alapuolella helpottavat selkeää kaapelointia kytkimelle. Toisaalta ne vievät aina yhden laitepaikan räkistä, joten niille ei välttä- mättä ole tilaa täydessä räkissä.

Kaikkia näitä periaatteita ei ole voitu noudattaa projektissamme. Suurimmat haasteet kaapeloinnin suhteen loivat räkin mukana toimitetut kaapelit, jotka olivat valmiiksi mitoitettu asiakkaalle koottavan mallin mukaisesti. Lisäksi osasta ulkois- ten yhteyksien vedoista tuli varsin pitkiä.

4.1 Laboratoriosyötöt

Laboratoriosyötöt olivat kaikki ulkoisia yhteyksiä, jotka tulivat laboratorion eri ja- kamoista. Ne vedettiin laboratorion kattoon kiinnitettyjä kouruja pitkin ja tuotiin räkin yläkautta sisälle räkkiin mahdollistaen mm. etäyhteydet palvelimille ja kytkimille. Nämä yhteydet vaativat myös konfiguroinnit laitteille toimiakseen. Lisää konfiguroinnista on kerrottu luvussa 5. Työssä tehtiin seuraavat laboratoriovedot:

- hallinta (management) -yhteys jokaiselle kytkimelle etäyhteyttä varten Cat 6 -kaapeleilla

- kuituyhteys hallintakytkimille SSH- ja BMC-yhteyksiä varten

- kuituyhteys 100 GbE -datakytkimelle molempiin räkkeihin 5G Edge Cloud -yhteyttä varten.

4.2 Palvelimien kaapelointi

Palvelimien vaatimat yhteysnopeudet tarvitsivat kattavaa kaapelointia: SSH- ja BMC-yhteydet sekä muut testikäyttöön tulevat käyttöliittymät. Jokaiselle palvelimelle tehtiin seuraavat kaapeloinnit:

- BMC- ja SSH-yhteydet hallintakytkimelle Cat 6 -kaapeleilla - testikäyttöön useita Cat 6 -kaapelointeja datakytkimille

- testikäyttöön QSFP Breakout -kaapeliyhteys 100 GbE -datakytkimeen - IEC320-virtakaapelit palvelimille PDU-yksiköstä.

Mikäli verkkokortit päivitetään 10 GbE -versioiksi, kaikki yhteydet paitsi BMC:n voisi toteuttaa QSFP Breakout -kaapeleilla. Tämä moninkertaistaisi datayhteyk-

(35)

sien nopeuksia ja vähentäisi tarvittavien datakytkinten määrää, sekä NDCS:n ul- kopuolisista kytkimistä voitaisiin luopua, koska niille ei olisi enää tarvetta kaape- limäärän vähentyessä. Tämänhetkinen massiivinen määrä Cat 6 -kaapeleita (120 kappaletta per räkki) vie paljon tilaa räkin sisällä ja tekee siitä sekavan näköisen.

4.3 Kytkinten ketjutukset

Datakytkimet ketjutettiin räkkien sisällä. Kytkimien ketjutus mahdollisti datan kul- kemisen kytkimestä toiseen. Tällä myös vähennettiin ulkoista kaapelointia, kun yhteen datakytkimeen tuotua 5G Cloud -yhteyttä voitiin käyttää myös muilla kyt- kimillä. Myös räkki 2:n SSH- ja BMC-yhteys ketjutettiin räkki 1:n hallintakytki- meltä. Tällä vältettiin pitkän kuituyhteyden veto jakamoon. Kytkinten väliin tehtiin seuraavat kaapeloinnit:

- kuituyhteys datakytkinten välille

- Cat 6 -kaapeliyhteys datakytkinten välille, jotka eivät tukeneet kuituyh- teyttä SFP+ -moduuleilla

- kuituyhteys räkkien hallintakytkinten välille SSH- ja BMC-yhteyden jaka- miseen.

NDCS:n ulkopuoliset kytkimet tuottivat vaikeuksia ketjutuksissa. Nämä Ciscon ja Juniperin valmistamat kytkimet olivat osittain hyvinkin vanhoja eivätkä tukeneet SFP+ -moduuliyhteyttä. Lopuksi ketjutus suoritettiin Cat 6 -kaapeleilla ja Active Copper SFP-moduuleilla.

(36)

5 KÄYTTÖJÄRJESTELMÄN ASENNUS JA KONFIGUROINTI

Testikeskuksen käyttöönotto vaati myös perehtymistä ohjelmistopuoleen, sillä palvelimille piti asentaa käyttöjärjestelmät, jotka ovat Linux-pohjaisia. Lisäksi kytkimet piti konfiguroida käyttötarkoitukseen sopivaksi. Tässä luvussa on kerrottu Linuxin asentamisesta, palvelimien yhteyksien asetuksista sekä kytkinten esikon- figuroinnista sekä kytkinkohtaisista konfiguroinneista.

5.1 Käyttöjärjestelmän asennus

Käyttöjärjestelmänä palvelimilla käytetään Ubuntua. Se on Linux-pohjainen ja- kelu, joka pyrkii työpöytäkäytön yksinkertaistamiseen. Ubuntun pääkehittäjä on Canonical-yritys, mutta sitä kehitetään kuitenkin normaalien avoimen lähdekoo- din periaatteiden mukaisesti, eli kaikki voivat osallistua sen suunnitteluun, kään- nöksiin, toteuttamiseen ja virheraportteihin. (51.)

Käyttöjärjestelmä asennettiin yhdelle palvelimelle kerrallaan kytkemällä aluksi palvelimeen näyttö VGA-kaapelilla ja näppäimistö USB-kaapelilla. Käytössä oli kaksi USB-muistitikkua, joista toiselle oli asennettu Ubuntu 16.04 -käyttöjärjes- telmä ja toiselle Clonezilla Live.

Clonezilla on ohjelma, joka on tarkoitettu levyn kloonaamiseen sekä imagen ot- tamiseen. Siitä on olemassa kaksi versiota. Clonezilla Live on sopiva yhden ko- neen varmuuskopiontiin ja palautukseen kerrallaan. Laajemmille laitteistoille on olemassa Clonezilla SE, jolla voidaan kloonata jopa 40 tietokonetta yhtä aikaa.

(52.)

Muistitikut kytkettiin palvelimen USB-portteihin ja palvelin laitettiin käyntiin. Pal- velimen käynnistyttyä Clonezilla avautui ja sitä kautta image kopioitiin, jonka jäl- keen palvelin käynnistettiin uudelleen. Käynnistyksen aikana siirryttiin BIOSiin painamalla F2-näppäintä, mistä käynnistyslaitteeksi valittiin Ubuntu. Valinnat tal- lennettiin ja siirryttiin seuraavaan palvelimeen. (53.) Tämä toistettiin kaikille 48 palvelimelle.

(37)

5.2 BMC & SSH

Palvelimiin voidaan ottaa etäyhteys kahdella eri tavalla, joiden käyttötarkoitus on varsin erilainen. Molempia yhteyksiä varten on palvelimella oma käyttöliittymä- porttinsa. Yhteydet asetettiin palvelimien käyttöliittymän konfigurointitiedostoihin ja BIOS-asetuksiin.

5.2.1 BMC

BMC (Baseboard Management Controller) on palveluprosessori, joka pystyy mo- nitoroimaan palvelimien, tietokoneiden tai muiden laitteiden fyysistä tilaa senso- rien avulla. BMC sisältää bootloaderin ja fyysisen käyttöliittymäportin palveli- messa. Monitoroinnin lisäksi BMC pystyy suorittamaan seuraavanlaisia tehtäviä palvelimella:

- lokien kerääminen ja virheanalyysit - virranhallinta

- etähallintamahdollisuudet ominaisuuksille:

- lokien kerääminen - virranhallinta

- sensoriarvojen luku.

BMC vaatii oman IP-osoitteen, joka mahdollistaa pääsyn BMC-verkkokäyttöliitty- mään. BMC auttaa käyttäjää valvomaan suurta määrää palvelimia tai laitteita etäyhteydellä, mikä vähentää verkon toimintakustannuksia. (54.)

5.2.2 SSH

SSH (Secure Shell) on protokolla, joka käyttää salausta turvatakseen etäyhtey- den käyttäjän ja palvelimen välillä. Kaikki lähetykset ovat salattuja ja näin suojat- tuja verkkohyökkäyksiltä. SSH on käytännössä ohjelmistopaketti, joka sallii tur- vallisen systeeminhallinnan ja tiedonsiirron epäluotettavien verkkojen yli. Sitä käytetään lähes jokaisessa datakeskuksessa isoissa yhtiöissä. SSH:lla estetään siis verkkojen tietoturvahyökkäyksiä konfiguroimalla, operoimalla ja huoltamalla

(38)

palomuureja, reitittimiä, kytkimiä ja palvelimia kriittisisissä verkoissa. (55.) Opin- näytetyössä SSH-yhteydellä taataan turvallinen etäyhteys palvelimelle. SSH-yhteyden luominen tapahtuu kuvassa 22 osoitetulla tavalla.

KUVA 22. SSH-yhteyden luominen (55)

5.2.3 Yhteyksien asetus

BMC- ja SSH-yhteyksien luominen vaatii palvelimille tehtäviä asetuksia ennen kuin palvelimille päästään etäyhteyksillä käsiksi. Valmistelut tehtiin luvun 5.1 mukaisesti yhdelle palvelimelle kerrallaan näyttöä ja näppäimistöä käyttäen.

Palvelimen käynnistyttyä SSH-yhteys asetettiin palvelimen käyttöliittymässä ko- mentoriville. Komennolla nano /etc/network/interfaces näkyville saadaan SSH- käyttöliittymä, johon asetettiin tarvittava käyttöliittymäportti ja IP-osoite. SSH-asetukset viimeistellään komennoilla depmod ja reboot, joka käynnistää palvelimen uudelleen.

BMC-yhteys asetetaan palvelimen BIOS-näkymässä, joka avautuu palvelimen käynnistyksen yhteydessä painamalla F2-näppäintä. BIOS-valikoista löytyy BMC IP-asetukset, joihin menemällä IP-osoite asetetaan. Valinnat tallennetaan ja palvelin käynnistetään uudelleen. (53.) Samat asetukset toteutettiin jokaiselle palvelimelle.

(39)

5.3 Kytkinten konfigurointi

Jokainen kytkin vaatii konfiguroinnin toimiakseen halutulla tavalla. Jokaisella käy- tetyllä kytkinvalmistajalla on omat käyttöjärjestelmänsä, joten kytkinten välillä on eroja konfiguroinnissa. Tässä luvussa on keskitytty pääosin Dell-valmistajan kytkinten konfigurointiin Dell Networking OS -käyttöjärjestelmällä. Konfiguroinnista on kerrottu yleisellä tasolla, salassapidon vuoksi täysiä konfigurointeja ei paljas- teta.

5.3.1 Esikonfigurointi

Kytkimen käyttöönottoa varten se pitää niin sanotusti esikonfiguroida. Esikonfi- gurointi tapahtuu komentorivin eli CLI:n (Command Line Interface) avulla. Jois- sakin kytkimissä voidaan myös käyttää Express-konfigurointia verkkoselaimen kautta, mutta komentorivi sopi tähän työhön paremmin.

Esikonfiguroinnissa kytkimelle määritetään muun muassa IP-osoite hallintapor- tille, hallintareitti (management route), käyttäjänimi ja salasanat, jotta kytkimeen saadaan etäyhteys konfigurointia varten.

Komentoriviä käytettäessä esikonfigurointia varten tarvitaan kytkimen konsolipor- tista PC:hen kytketty RJ45/DB9-kaapeli. Kaapelin kytkemisen jälkeen PC:n laite- hallinnasta tarkistetaan, mihin COM-porttiin yhteys muodostuu. Kytkimen komen- toriville päästään esimerkiksi Putty-ohjelmalla, jota työssä käytettiin. Dellin kytkimet vaativat kuvan 23 mukaiset asetukset Puttylle:

- 115200 baud rate - no parity

- 8 data bits - 1 stop bit

- no flow control. (56, s. 17.)

(40)

KUVA 23. Puttyn asetukset Dell-kytkimille

Kun Putty-yhteys on avattu, komentorivillä sallitaan käyttöliittymä (interface) ja laitetaan tämä kytkentätilaan. Näitä komentoja käytetään myös varsinaisessa konfiguroinnissa kytkimien porteille. Käyttöliittymä sallitaan seuraavalla tavalla:

1. Salli käyttöliittymä INTERFACE mode no shutdown

2. Aseta käyttöliittymä kytkentätilaan INTERFACE mode

(41)

switchport

Isäntänimi (host name) määritetään, jotta kytkintä etänä käytettäessä tiedetään, mitä kytkintä parhaillaan ohjataan. Isäntänimi on vakiona Dell. Isäntänimi määri- tetään seuraavalla tavalla:

1. Lisää uusi isäntänimi CONFIGURATION mode hostname name

Hallintaportin (management port) IP-osoite konfigurointi:

1. Mene hallintaportin interface-tilaan CONFIGURATION mode

interface ManagementEthernet slot/port 2. Aseta IP-osoite käyttöliittymälle

INTERFACE mode

ip address ip-address/mask 3. Salli käyttöliittymä

INTERFACE mode no shutdown

Hallintareitin (management route) konfigurointi:

1. Konfiguroi hallintareitti verkkoon, josta haluat järjestelmään CONFIGURATION mode

management route ip-address/mask gateway Käyttäjänimen ja salasanan konfigurointi:

1. Konfiguroi käyttäjänimi ja salasana etäyhteyksiä varten CONFIGURATION mode

username username password [encryption-type]

Koska kytkintä konfiguroidessa halutaan käyttöön kaikki käskyt, tarvitaan myös pääsy EXEC Privilege -tilaan. Tähän päästään käsiksi enable-komennolla, jota

(42)

varten tarvitsee konfiguroida enable-salasana. Enable-salasanoja on kahdenlaisia: enable password sekä enable secret. Näiden erona on se, että enable secret käyttää vahvempaa MD5-salausprotokollaa enable-passwordin käyttäessä hei- kompaa DES (Data Encryption Standard) -salausprotokollaa. Dell Networking suosittelee käyttämään enable secret -salasanaa, joka määritetään seuraavalla tavalla:

1. Luo salasana päästäksesi EXEC Privilege -tilaan CONFIGURATION mode

enable [password | secret] [level level] [encryption-type] password. (56, s.

17-19.) 5.3.2 Etäyhteydet

Kun esikonfigurointi on saatu tehtyä, voidaan kytkimeen ottaa etäyhteys konfiguroinnin tekemiseksi. Etäyhteyksissä käytettiin mRemoteNG-ohjelmaa ja Telnet- protokollaa. Tässä olisi voinut käyttää myös SSH-yhteyttä sen parempien salaus- ominaisuuksien takia, mutta suurin osa kytkimistä ei tukenut SSH-protokollaa, joten kaikissa päädyttiin Telnet-prokollaan.

Telnet (Terminal Network) on verkkoprotokolla, jota käytetään tarjoamaan komentorivi, millä kommunikoidaan laitteiden kanssa. Telnet eroaa SSH:sta siten, että sillä on heikommat suojausominaisuudet. Esimerkiksi salasanoja ei ole suo- jattu, vaan ne menevät selkokielellä yhteyskohteisiin. Telnetiä käytetään eniten etähallintaan, mutta myös yksilöllisiin asetuksiin laitteistoille, kuten kytkimille.

(57.)

mRemoteNG (Multi-Remote Next Generation) on avoimen lähdekoodin monipro- tokollainen etäyhteysmanageri. Sillä voi katsella monia etäyhteksiä useilla väli- lehdillä yhdellä ikkunalla. (58.)

(43)

KUVA 24. mRemoteNG näkymä

5.3.3 Kytkinkohtaiset konfiguroinnit

Molempien räkkikaappien päällimmäisiä kytkimiä käytetään hallintakytkiminä.

Nämä kytkimet tarvitsevat BMC- ja SSH-yhteyksille oman VLANin sekä hallinta- portille toisen VLANin. Hallintakytkimen kaikki 48 1 GbE -porttia on käytetty tuo- maan 24 serverille tarvittavat BMC- ja SSH-yhteydet.

VLAN (Virtual LAN) eli virtuaalinen lähiverkko on looginen aliverkko, joka voi koota yhteen laitteita eri fyysisistä lähiverkoista. Oikein asennettuna niillä voidaan parantaa kiireisten verkkojen yleistä suorituskykyä. Kahden tai useamman fyysisen verkon liikenne pitää yleensä käsitellä verkon reitittimien avulla, mutta VLA- Nia käytettäessä sama liikenne voidaan käsitellä tehokkaammin kytkinten avulla.

(44)

VLAN-verkot myös tuovat lisää turvallisuushyötyjä suuremmissa verkoissa tuo- malla paremman hallinnan yhdistettyihin laitteisiin. (59.) Kuvasta 25 nähdään, että reitittimen takana oleva kytkin voi jakautua esimerkiksi kahteen eri VLANiin.

KUVA 25. VLAN esimerkki (60)

Suurin osa 100 GbE -datakytkinten käytössä olevista porteista on jaettu 4x25 GbE -porteiksi datansiirtoa varten. Tämä saadaan toteutettua seuraavilla käs- kyillä:

1. Jaa 100 GbE -portti neljäksi 25 GbE -portiksi CONFIGURATION mode

stack-unit stack-unit-number port number portmode quad speed 25G.

(61.)

Näin saadaan muutettua yksi portti neljäksi portiksi.

(45)

100GbE-kytkimet käyttävät eri VLANia kuin hallintakytkimet ja tämä VLAN on ket- jutettu kuiduilla myös kahteen 1 GbE -kytkimeen. Näihin portteihin, joista haluttu VLAN kulkee, tulee lisätä tunniste (tag). VLAN-tunniste on numero, jolla portti voidaan tehdä kuuluvaksi monelle VLANille yhden sijaan. Tunniste lisätään suoraan VLANin asetuksiin halutuille porteille seuraavilla käskyillä:

1. Mene INTERFACE VLAN -tilaan sille VLANille, jolle haluat lisätä tunnis- teen

CONFIGURATION mode interface vlan vlan-id

2. Salli tunniste halutulle käyttöliittymälle INTERFACE mode

tagged interface. (62.)

Kaikkien kytkimien porttien käyttäjäliittymät on sallittu ja asetettu kytkentätilaan (ks. luku 5.3.1). Kaikkien kytkimien porteille on myös lisätty kuvaus (description), jotta etänä on helppo tutkia, mihin mikin yhteys kulkee. Kuvauksen lisääminen Dell-kytkimille tapahtuu seuraavilla käskyillä:

1. Mene halutun portin interface-tilaan CONFIGURATION mode

interface port-type slot/port 2. Anna kuvaus portille

INTERFACE mode description text. (63.)

Asetettu konfigurointi saadaan näkyviin antamalla komento show running-config ja käytössä olevat VLANit komennolla show vlan. Asetettu konfigurointi saadaan tallennettua kytkimen muistiin komennolla copy running-config startup-config.

Tallentamalla konfigurointi estetään sen odottamaton katoaminen esimerkiksi sähkökatkon tai hallitsemattoman alasajon seurauksena.

(46)

5.4 Kytkinten ominaisuuksien vertailu

Luvussa 5.3 perehdyttiin pääosin Dell-valmistajan kytkimiin, koska Dell tarjosi uu- simmat ja selkeimmät kytkimet ja niitä oli käytössä eniten. Dellin konfigurointiohjeet olivat myös selkeitä ja helppolukuisia.

Cisco on yksi tunnetuimpia kytkinvalmistajia, mutta käytössämme olleet Cisco- valmisteiset kytkimet olivat hyvin vanhoja laitteistoja, varsinkin 2960-sarja. Cis- con kytkimien huonojen liitäntämahdollisuuksien vuoksi ne olisi voinut korvata uudemmilla kytkimillä.

Juniperin käyttöliittymä erosi muiden valmistajien käyttöjärjestelmistä eniten. Se oli monimutkaisen oloinen, mutta konfiguroimme sen viimeiseksi, joten se ei ai- heuttanut suuria ongelmia. Juniperin verkkosivut puolestaan ovat hyvät ja sel- keät.

Kuten luvussa 3.3 on kerrottu, tarvitsemamme 1 GbE -kytkimet olisi voitu toteuttaa vain yhdellä kytkintyypillä, johon mielestämme parhaiten olisi käynyt Dell S3048-ON. Luvussa 7 on asioita pohdittu laajemmalta näkökannalta.

(47)

6 OHJEISTUS YRITYKSEN KÄYTTÖÖN

Tämän raportin lisäksi työstä tehtiin ohjeistus Nokian sisäiseen käyttöön. Ohjeis- tus toteutettiin Confluence-ohjelmistoon luotuun ympäristöön ja se tehtiin englan- nin kielellä. Confluenceen luotu ympäristö ei vain rajoitu tämän työn ohjeistuk- seen, vaan sitä hyödynnetään laajemmassa mittakaavassa testitiimillemme.

Confluenceen luotiin sivusto, johon tullaan jatkossa tekemään ohjeistuksia mui- hinkin 5G Cloud -asioihin liittyen. Tehty sivusto on niin sanottu wikisivu, johon kirjattiin erillisinä sivuina ja tiedostoina tehtyjä ohjeistuksia. Jatkossa kuka vain organisaatiomme jäsen voi lisätä wikisivulle uusia tiedostoja. Tässä luvussa on kerrottu Confluence-ohjelmasta sekä ohjeistuksen tuomista hyödyistä yrityksen kannalta.

6.1 Confluence

Confluence on australialaisen Atlassian-ohjelmistoyhtiön perustama ja julkai- sema maksullinen kollaboraatio-ohjelmisto. Confluence-ohjelmisto on suunnattu yrityksille, joille Atlassian myy lisenssejä. Confluencella on yli 40 000 asiakasta ympäri maailman, mukaan luettuna Nasa, Spotify ja Nokia. Confluencen ohella Atlassianin tuotteita on muun muassa Nokiallakin käytetty tehtävänhallintaohjel- misto Jira.

Confluence on verkkosivusto, johon käyttäjät voivat itse muokata sisältöä, mikäli käyttäjä tai organisaatio omistaa lisenssin. Confluensessa on kiinnitetty huomiota varsinkin yrityskäytössä tarvittaviin ominaisuuksiin, kuten käyttöoikeuksien hallintaan ja integroitavuuteen. Confluencen sivujen muokkaaminen on helppoa, kun erillisiä ohjelmia ei tarvita. Confluencen muokkaamiseen riittää selain ja verkko- yhteys sekä sivujen luominen ja linkittäminen on vaivatonta. Se myös kirjaa si- vulle tehdyt muutokset automaattisesti. (64.)

6.2 Ohjeistuksen hyödyt

Ohjeistuksen tarkoituksena oli toteuttaa sellainen tietokanta, että seuraavan vas- taavanlaisen työn tekijä ei tarvitsisi apua työn tekemiseen. Tällä saavutetaan mo-

(48)

tiedonhaussa. Confluenceen luodulla wikisivulla myös hyödynnetään organisaa- tion sisäistä tiedonhallintaa, sillä tarvittava informaatio voidaan jatkossa keskittää vain yhteen paikkaan, jolloin työntekijöiden tiedonhaku helpottuu huomattavasti.

Tätä on pohdittu lisää luvussa 7.

(49)

7 POHDINTA

Opinnäytetyön tavoitteena oli pystyttää ja käyttöönottaa toimiva alusta 5G Cloud -testausta varten. Työ toteutettiin kokoamalla, kytkemällä ja konfiguroimalla kaksi räkkikaappia palvelimineen ja kytkimineen. Lisäksi työstä tehtiin ohjeistus yrityksen sisäiseen käyttöön Confluence-ohjelmistoon luotuun ympäristöön.

Näihin tavoitteisiin päästiin tiukasta aikataulusta huolimatta ja testikeskus on yri- tyksessä jo käytössä. Aloitimme työskentelemään yrityksessä jo ennen opinnäy- tetyön aloittamista. Tämän takia opinnäytetyön tekeminen tähän aiheeseen auttoi meitä syventymään työkuvaamme huomattavasti paremmin verrattuna siihen, että olisimme tehneet työn ilman, että se olisi ollut samalla opinnäytetyömme.

Opinnäytetyön tekeminen syvensi ymmärrystä yrityksessä ja alalla käytetyistä laitteistoista, ohjelmistoista sekä työskentelymenetelmistä. Lopputuloksena työstä valmistui toimiva testikeskus, jota käytetään 5G Cloud -projektin jatkotoi- miin. Nämä jatkotoimet testikeskuksessa eivät ole julkista tietoa.

Työn edetessä pohdimme monia kohtia ja menetelmiä, jotka olisi voinut tehdä eri tavalla. Haasteeksi paljastui projektin edetessä sen suunnittelemattomuus. 5G Cloud testikeskuksen käyttötarkoitus oli kaikille selvillä, mutta eri työvaiheiden sisältö ja työjärjestys olivat haasteena. Esimerkiksi samalla, kun imagen kopioi palvelimelle, olisi voinut jatkaa SSH- ja BMC-osoitteiden konfiguroinnilla. Näiden tekemiseen oli erilaisia näkemyksiä työntekijöiden välillä. Työn kannalta olisi ollut parempi, että yrityksessä olisi ollut yksi henkilö, joka olisi perehtynyt projektiin laajemmin ennen työn aloittamista ja häneltä olisi saatu selvempi vastaus työn toteuttamisen järjestyksestä. Suunnitelmallisuuden puutetta edelsi se, että tämän kaltainen työ tehtiin ensimmäistä kertaa tällaiseen käyttötarkoitukseen.

Suunnitelmallisuuden puutteiden takia teimme esimiehemme pyynnöstä vuokaa- vion, missä järjestyksessä työn tulisi edetä vastaavassa projektissa ja vertailuna, missä järjestyksessä se tehtiin tässä projektissa. Vuokaaviot ovat liitteinä 3 ja 4.

Vuokaaviot olisi pitänyt tehdä jo työn suunnitteluvaiheessa. Näin työn etenemi- nen olisi selkeytynyt ja olisimme säästäneet aikaa työn toteutuksessa arviolta vii-

(50)

ja ohjelmistot olivat meille täysin uusia asioita, joten aikaa meni myös itseopiske- luun. Tämä on toki positiivinen asia, että työssä joutui paljon ratkomaan ongelmia ja opettelemaan uusia ja hyödyllisiä asioita alaan liittyen.

Verkkokortteina päädyttiin käyttämään saatavilla olevia 1 GbE -verkkokortteja, koska 10 GbE -verkkokortit eivät olleet saatavilla pitkän toimitusajan takia. 10 GbE -verkkokortteja käyttämällä olisi pärjätty kuudella kytkimellä kahdeksan sijaan ja datakapasiteettia olisi ollut käytössä enemmän. Todennäköisesti jossain välissä verkkokortit tullaan vaihtamaan, mikäli datamäärät tulevat kasvamaan lii- kaa nykyisille verkkokorteille. Verkkokorttien tilauksessa olisi pitänyt ennakoida, jotta nopeammat verkkokortit olisi saatu käyttöön suoraan, eikä tällaisia mahdol- lisia muutoksia tarvitsisi jälkikäteen tehdä.

Kytkimiä on käytössä montaa eri mallia ja osa niistä on hyvin vanhoja. Kytkimet olisi voitu toteuttaa käyttämällä vain kahta mallia, johon mielestämme olisi sopinut parhaiten Dell S3048-on ja Dell Z9100-ON. Nämä kytkimet olivat uusimpia saatavilla olevia ja silloin käytössä olisi ollut vain yksi käyttöjärjestelmä kolmen sijaan, mikä olisi vähentänyt tarvetta opetella monta erilaista käyttöjärjestelmää. Käytös- sämme oli kuitenkin Dellin kytkinten lisäksi Nokia Data Center Solution -ratkaisun ulkopuolisia kytkimiä verkkokorttien saatavuuden takia. Nämä kytkimet olivat Cis- con ja Juniperin valmistamia. Dellin käyttöjärjestelmä tuntui hyvin selkeältä ja hel- polta sekä Dellin nettisivujen konfigurointiohjeet olivat mielestämme parhaat näistä kolmesta.

Oppimisen ja tulevaisuuden kannalta on kuitenkin parempi, että opimme perus- teet monen eri valmistajan käyttöjärjestelmistä, sillä uskomme, että tulevaisuudessa on tarvetta työskennellä myös Ciscon ja Juniperin kytkinten parissa. Nämä Ciscon ja Juniperin kytkimet olivat yrityksen tiloista löytyneitä ylimääräisiä kytki- miä. Ylimääräisten kytkimien konfiguroinnit kävivät kuitenkin yhteen uudempien kanssa ja näiden kytkimien käyttäminen toi myös taloudellisia etuja, sillä yritys- käyttöön tarkoitetut 48-porttiset kytkimet eivät ole halpoja laitteita.

Työn yhtenä osana oli tehdä yrityksen sisäiseen käyttöön ohjeistus Confluence- ohjelmistoon luotuun ympäristöön. Confluenceen päädyttiin sen selkeyden ja helppokäyttöisyyden takia. Confluence-sivustoa on hyvin helppo muokata, mutta

(51)

siinä on myös huonoja puolia. Sivustolla on vaikea navigoida, sillä se ei näytä sivuston rakennetta kokonaan. Sivustolla ei voi tietää, mitä otsikkoja tai tiedostoja tietyn alaotsikon alla on, ellei sitä otsikkoa ensin avaa. Haasteena on myös ohjeistuksen löytäminen, sillä tällä hetkellä ohjeistus löytyy Confluesta Miikka Tuo- visen omalta sivulta. Yhtenä ratkaisuna olemme miettineet, että ohjeistus tullaan jatkossa mahdollisesti siirtämään Confluencesta Office365-ohjelmiston alaisuu- teen.

Ohjeistusten ongelmallinen löytäminen on yleinen ongelma isoissa yrityksissä.

Meillekin selvisi vasta myöhemmin, että muun muassa Nokia Data Center Solu- tion -keskuksen pystyttämiseen löytyy hyvä ohje yrityksen intranetistä. Ohjeistuk- sen löytämiselle toi vaikeuksia se, että yrityksellä on niin monia eri alustoja mihin ohjeita on luotu. Tulevaisuudessa ohjeistukset pitäisi mielestämme keskittää vain yhteen wikisivustoon, mistä ne ovat helposti löydettävissä. Nokian kokoisessa yrityksessä tämä ei kuitenkaan ole mikään helppo toteutus, vaan veisi reilusti aikaa ja vaivaa.

Kokonaisuudessaan opinnäytetyö on hyvin onnistunut projekti. Onnistuimme työssä puuttumaan epäkohtiin ja keksimään niille parannusideoita. Saimme ar- vokasta oppia muun muassa palvelimien ja kytkimien toiminnoista ja konfiguroinneista. Jatkossa tulemme työskentelemään 5G Cloud testikeskukseen rakenne- tun testiympäristön parissa.

(52)

LÄHTEET

1. Ohjelmoitavan maailman globaali teknologiajohtaja. Nokia. Saatavissa:

https://www.nokia.com/fi_fi/tietoa-meista/keita-olemme. Hakupäivä 24.10.2018.

2. Moore, Mike 2018. What is 5G? Techradar. Saatavissa: https://www.techradar.com/news/what-is-5g-everything-you-need-to-know. Hakupäivä 9.10.2018.

3. Getting to 5G: Comparing 4G and 5G System Requirements. Qorvo 2017.

Saatavissa: https://www.qorvo.com/design-hub/blog/getting-to-5g-comparing-4g-and-5g-system-requirements. Hakupäivä 11.10.2018.

4. Pilvipalvelut / SaaS. IteWiki. Saatavissa: https://www.itewiki.fi/opas/pilvipalvelut-saas/. Hakupäivä 9.10.2018.

5. Telco Cloud. Nokia. Saatavissa: https://networks.nokia.com/solutions/telco- cloud. Hakupäivä 9.10.2018.

6. Bandopadhaya, Monalisa – Loveneesh, Bansal 2018. The Role of 5G Net-

working and Cloud. Saatavissa:

https://blog.equinix.com/blog/2018/07/17/the-role-of-5g-networking-and- cloud/. Hakupäivä 9.10.2018.

7. 5G in action. Nokia. Saatavissa: https://networks.nokia.com/5g/5g-in-action.

Hakupäivä 9.10.2018.

8. T-Mobile and Nokia ink $3.5 billion, multi-year 5G network agreement. Nokia 2018. Saatavissa: https://www.nokia.com/en_int/news/releases/2018/07/30/t-mobile-and-nokia-ink-35-billion-multi-year-5g-network- agreement. Hakupäivä 9.10.2018.

9. AirScale Radio Access. Nokia. Saatavissa: https://networks.nokia.com/products/airscale-radio-access. Hakupäivä 9.10.2018.

(53)

10. Executive Summary The Nokia AirFrame data center solution. Nokia. Saata- vissa: https://onestore.nokia.com/asset/200021. Hakupäivä 23.10.2018.

11. Nokia wants to build data centers for mobile operators. Computer World. Saa- tavissa: https://www.computerworld.com/article/2928799/data-center/nokia- wants-to-build-data-centers-for-mobile-operators.html. Hakupäivä 6.11.2018.

12. Nokia Networks Releases AirFrame Data Center Solution. Channel Futures.

Saatavissa: https://www.channelfutures.com/mobile-computing/nokia-networks-releases-airframe-data-center-solution. Hakupäivä 6.11.2018.

13. AirFrame data center solution. Nokia. Saatavissa: https://networks.nokia.com/solutions/airframe-data-center-solution. Hakupäivä 21.10.2018.

14. 19-inch rack. Wikipedia. Saatavissa: https://en.wikipedia.org/wiki/19- inch_rack. Hakupäivä 29.10.2018.

15. Nokia launches distributed hardware for telcos. Saatavissa: https://www.da- tacenterdynamics.com/news/nokia-launches-distributed-hardware-for-telcos/. Hakupäivä 21.10.2018.

16. Hp rack install guide. HP. Saatavissa: http://h20628.www2.hp.com/km- ext/kmcsdirect/emr_na-c00595911-1.pdf. Hakupäivä 6.11.2018.

17. Skylabx. Nokian sisäinen ohje 1. Hakupäivä 28.10.2018

18. Power distribution unit. Wikipedia. Saatavissa: https://en.wikipedia.org/wiki/Power_distribution_unit. Hakupäivä 29.10.2018.

19. Skylabx. Nokian sisäinen ohje 2. Hakupäivä 28.10.2018

20. Servers Are the Heart of the Internet. Lifewire. Saatavissa: https://www.lifewire.com/servers-in-computer-networking-817380. Hakupäivä 29.10.2018.

21. Nokia enters data center market with the launch of AirFrame Data Center So- lution. Bisinfotech. Saatavissa: https://www.bisinfotech.com/data-center/no-

(54)

22. What is Switch vs. a Router? Cisco. Saatavissa:

https://www.cisco.com/c/en/us/solutions/small-business/resource-center/networking/network-switch-what.html. Hakupäivä 16.10.2018.

23. Dell Networking S3048-ON. Dell. Saatavissa: https://i.dell.com/sites/csdocu- ments/Shared-Content_data-Sheets_Documents/en/us/Dell-S3048-ON- Spec-Sheet.pdf. Hakupäivä 16.10.2018.

24. Dell EMC Networking Z9100-ON Series Switches. Dell 2017. Saatavissa:

https://i.dell.com/sites/doccontent/shared-content/data-sheets/en/Docu- ments/dell-networking-z9100-spec-sheet.pdf. Hakupäivä 16.10.2018.

25. Dell Networking Z-Series Core and Aggregation switches. Dell. Saatavissa:

https://www.dell.com/en-us/work/shop/povw/networking-z-series. Hakupäivä 16.10.2018.

26. Cisco Catalyst 2960-S Series Switches Data Sheet. Cisco 2017. Saatavissa:

https://www.cisco.com/c/en/us/products/collateral/switches/catalyst-2960-s- series-switches/data_sheet_c78-726680.html. Hakupäivä 16.10.2018.

27. End-of-Sale and End-of-Life Announcement for the Cisco Catalyst 2960-S Se- ries and 2960-SF Series Switches. Cisco 2015. Saatavissa:

https://www.cisco.com/c/en/us/products/collateral/switches/catalyst-2960-series-switches/eos-eol-notice-c51-733348.html. Hakupäivä 16.10.2018.

28. Cisco Catalyst 2960S-48TS-L Switch. Cisco. Saatavissa:

https://www.cisco.com/c/en/us/support/switches/catalyst-2960s-48ts-l- switch/model.html. Hakupäivä 16.10.2018.

29. Cisco Catalyst 3750-X Series Switches. Cisco. Saatavissa:

https://www.cisco.com/c/en/us/products/switches/catalyst-3750-x-series- switches/index.html#~stickynav=1. Hakupäivä 18.10.2018.

30. End-of-Sale and End-of-Life Announcement for the Cisco Catalyst 3560-X and 3750-X Series Switches. Cisco 2016. Saatavissa:

https://www.cisco.com/c/en/us/products/collateral/switches/catalyst-3560-x- series-switches/eos-eol-notice-c51-736139.html. Hakupäivä 18.10.2018.

(55)

31. Cisco Catalyst C3KX-NM-10G Network Module. Cisco. Saatavissa:

https://www.cisco.com/c/en/us/support/interfaces-modules/catalyst-c3kx-nm- 10g-network-module/model.html#DataSheets. Hakupäivä 18.10.2018.

32. Cisco Catalyst 3750-X and 3560-X Series Switches Data Sheet. Cisco 2018.

Saatavissa: https://www.cisco.com/c/en/us/products/collateral/switches/catalyst-3560-x-series-switches/data_sheet_c78-584733.html. Hakupäivä 18.10.2018.

33. Cisco Catalyst 3750X-48T-S Switch. Cisco. Saatavissa:

https://www.cisco.com/c/en/us/support/switches/catalyst-3750x-48t-s- switch/model.html. Hakupäivä 18.10.2018.

34. Cisco Catalyst 2960G-48TC-L Switch. Cisco. Saatavissa:

https://www.cisco.com/c/en/us/support/switches/catalyst-2960g-48tc-l- switch/model.html. Hakupäivä 18.10.2018.

35. Cisco Catalyst 2960-S and 2960 Series Switches with LAN Lite Software Data Sheet. Cisco 2014. Saatavissa: https://www.cisco.com/c/en/us/products/collateral/switches/catalyst-2960-series-switches/pro-

duct_data_sheet0900aecd806b0bd8.html. Hakupäivä 18.10.2018.

36. EX4200. Juniper. Saatavissa: https://www.juniper.net/us/en/products-servi- ces/switching/ex-series/ex4200/. Hakupäivä 18.10.2018.

37. EX4200 Ethernet Switches. Juniper. Saatavissa: https://www.juniper.net/as- sets/us/en/local/pdf/datasheets/1000215-en.pdf. Hakupäivä 18.10.2018.

38. Tripp Lite Standard Computer Power Extension Cord 10A. Amazon: Saata- vissa: https://www.amazon.com/Tripp-Lite-IEC-320-C14-IEC-320-C13-P004- 004/dp/B003MG9F78. Hakupäivä 29.10.2018.

39. Catecory 6 Cable. Techopedia. Saatavissa: https://www.techopedia.com/definition/17070/category-6-cable-cat-6-cable. Hakupäivä 24.10.2018.

40. 24/4 CAT6 FT4 BLUE. Gescan. Saatavissa: https://www.gescan.com/pro-

(56)

41. Registered Jack-45. Techopedia. Saatavissa: https://www.techopedia.com/definition/25742/registered-jack-45-rj45. Hakupäivä 24.10.2018.

42. RJ45 Cat6 connector. Show me cables. Saatavissa: https://www.show- mecables.com/cat6-connector-with-guide. Hakupäivä 30.10.2018.

43. What is Direct Attach Copper Cable? Flexoptics 2017. Saatavissa:

https://www.optcore.net/what-is-direct-attach-copper-cable/. Hakupäivä 30.10.2018.

44. 100G QSFP28 TO 4X SFP28 BREAKOUT DAC. Flexoptics. Saatavissa:

https://www.flexoptix.net/en/100-gigabit-qsfp28-to-4-x-sfp28-dac-breakout- cable-passive.html?300=1108&co10415=97092. Hakupäivä 30.10.2018.

45. Optical Fiber Cable. Techopedia. Saatavissa: https://www.techopedia.com/definition/24918/optical-fiber-cable. Hakupäivä 24.10.2018.

46. Difference between single mode fiber and multi mode fiber. AD-Net 2006.

Saatavissa: https://www.ad-net.com.tw/difference-between-single-mode-fiber-and-multi-mode-fiber/. Hakupäivä 30.10.2018.

47. 250m Fibre Optic Cable. Lindy. Saatavissa: https://www.lindy.co.uk/cables- adapters-c1/network-c420/250m-fibre-optic-cable-sc-to-sc-50-

125%C2%B5m-om2-p5077. Hakupäivä 30.10.2018.

48. Mediamuunnin. BCC Solutions. Saatavissa: https://www.bccsolutions.fi/tek- nologiat/mediamuunnin/. Hakupäivä 30.10.2018.

49. Zeng, Kelly 2018. SFP Connector vs SFP+ Connector vs SFP28 Connector.

Fiber Optic Tutorials. Saatavissa: http://www.fiber-optic-tutorial.com/sfp-connector-sfp-connector-sfp28-connector.html. Hakupäivä 31.10.2018.

50. Difference Between QSFP, QSFP+, QSFP28. Fiber Optic Equipment 2017.

Saatavissa: http://www.fiber-optic-equipment.com/difference-between-qsfp- qsfp-qsfp28.html. Hakupäivä 31.10.2018.

(57)

51. Ubuntu. Linux. Saatavissa: https://www.linux.fi/wiki/Ubuntu. Hakupäivä 25.10.2018.

52. Clonezilla. Saatavissa: https://clonezilla.org/. Hakupäivä 25.10.2018.

53. Ellilä, Petteri 2018. Creating and downloading image for Ubuntu. Yrityksen sisäinen ohje. Hakupäivä 22.10.2018.

54. Baseboard Management Controller (BMC). Technopedia. Saatavissa:

https://www.techopedia.com/definition/15941/baseboard-management-controller-bmc. Hakupäivä 22.10.2018.

55. SSH (Secure Shell). Saatavissa: https://www.ssh.com/ssh/. Hakupäivä 22.10.2018.

56. Dell Networking S3048–Open Networking (ON) Getting Started Guide. Saa- tavissa: https://cdn.competec.ch/documents/3/9/392446/Kurzstart_Anlei- tung_S3048-ON.pdf. Hakupäivä 19.10.2018.

57. Fisher, Tim 2018. How to Use the Telnet Client in Windows. Lifewire. Saata- vissa: https://www.lifewire.com/what-is-telnet-2626026. Hakupäivä 22.10.2018.

58. mRemoteNG. Saatavissa. https://mremoteng.org/. Hakupäivä 22.10.2018.

59. Mitchell, Bradley 2018. What is a Virtual LAN (VLAN)? Lifewire. Saatavissa:

https://www.lifewire.com/virtual-local-area-network-817357. Hakupäivä 22.10.2018.

60. Davis, David 2007. Configuring VLANs. TechTarget. Saatavissa:

https://searchnetworking.techtarget.com/Configuring-VLANs. Hakupäivä 24.10.2018.

61. Splitting 100G ports. Dell. Saatavissa: https://www.dell.com/support/manuals/us/en/04/networking-z9100/z9100-on-9.8.1.0-config-pub-v1/splitting- 100g-ports?guid=guid-60943ca1-cbf8-4958-aa54-4e8d00e331b2&lang=en-

(58)

62. VLANs and Port Tagging. Dell. Saatavissa: https://www.dell.com/support/manuals/us/en/04/networking-z9100/z9100-on-9.8.1.0-config-pub-v1/vlans-and- port-tagging?guid=guid-397912b0-60b7-46bc-ab62-

417d337e3cc2&lang=en-us. Hakupäivä 25.10.2018.

63. Adding a Physical Interface to a Port Channel. Dell. Saatavissa:

https://www.dell.com/support/manuals/us/en/04/networking-z9100/z9100-on- 9.10.0.0-config-pub/adding-a-physical-interface-to-a-port-chan-

nel?guid=guid-ae7250dd-9d63-4b4e-a8e1-eaf6a8707a12&lang=en-us. Ha- kupäivä 25.10.2018.

64. Confluence. Atlassian. Saatavissa: https://www.atlassian.com/software/confluence. Hakupäivä 5.11.2018.