De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Multimediatechnieken 1 Rik Van de WalleGent, Januari 2005 Contentnetwerken Multimediatechnieken Prof. Peter De Neve academiejaar 2004-2005.

Verwante presentaties


Presentatie over: "Multimediatechnieken 1 Rik Van de WalleGent, Januari 2005 Contentnetwerken Multimediatechnieken Prof. Peter De Neve academiejaar 2004-2005."— Transcript van de presentatie:

1 Multimediatechnieken 1 Rik Van de WalleGent, Januari 2005 Contentnetwerken Multimediatechnieken Prof. Peter De Neve academiejaar

2 Multimediatechnieken 2 Rik Van de WalleGent, Januari 2005 Inhoud van de les Het klassieke Internetmodel Data- en contentswitching Contentnetwerken o Waarom en voordelen o Verschillende types afhankelijk van de eigenaar Netwerkoperatoren Contentleveranciers Gebruikers Case study o Akamai

3 Multimediatechnieken 3 Rik Van de WalleGent, Januari 2005 Het klassieke Internetmodel

4 Multimediatechnieken 4 Rik Van de WalleGent, Januari 2005 World Wide Web URL o Beperking URL-verwijzing naar pagina bevat altijd verwijzing naar host URL wijst slechts naar 1 host soms wenselijk (vaak geraadpleegde data): gebruik van spiegels ("mirrors") probleem: hoe spiegelversies beheren ? (behoud van dataconsistentie)

5 Multimediatechnieken 5 Rik Van de WalleGent, Januari 2005 Het klassieke Internetmodel - Beschrijving Huidige Internetarchitectuur is gebaseerd op het “end-to-end” principe o Om functionaliteit tussen client en server te garanderen moet alles in de hosts worden uitgevoerd, niet in het tussenliggende netwerk o Transport- en applicatielaag worden enkel aangesproken in client en server o In het netwerk zelf wordt de TCP/IP stack slechts tot op laag 3 opgebouwd (routing)

6 Multimediatechnieken 6 Rik Van de WalleGent, Januari 2005 Data- en contentswitching In deze context beperkt tot de zogenaamde layer 4 en 7 switching

7 Multimediatechnieken 7 Rik Van de WalleGent, Januari 2005 Layer 4 switching – Algemeen principe Layer 4 = transportlaag (TCP of UDP) De switch voert een “content-blind routing” uit, ook wel “immediate binding” genoemd o Switch doet zich voor als de eindserver (end-host) bij aankomst van het eerste TCP SYN pakket o Switch gebruikt informatie uit de transportlaag om traffiek gericht te switchen/routeren (+ binding table) o Efficiënte routering, maar niet voor het dispatchen van content (geen kennis van de HTTP content die de client aanvraagt) o In de transportlaag wordt de poort informatie gebruikt om bepaalde applicaties te identificeren (TCP poort 80 voor HTTP, TCP poort 20/21 voor FTP, …)

8 Multimediatechnieken 8 Rik Van de WalleGent, Januari 2005 Layer 4 – TCP connectie

9 Multimediatechnieken 9 Rik Van de WalleGent, Januari 2005 Layer 4 switching – Voorbeeld SMTP server SMTP FTP server HTTP Web server Layer 4 switch Internet

10 Multimediatechnieken 10 Rik Van de WalleGent, Januari 2005 Layer 7 switching – Algemeen principe Layer 7 = applicatielaag (bv. HTTP) De switch voert een “content-aware routing” uit, ook wel “delayed binding” genoemd o Switch doet zich eveneens voor als de eindserver maar zet een complete TCP-connectie op met client (3-way handshake) o Client pakketten worden door de switch dus ontleed tot in de applicatielaag en dan afgeleid naar server o Minder snelle routering wegens ontleding tot op layer 7 o Uitstekende kennis voor het dispatchen van content want kennis van de HTTP content die de client aanvraagt

11 Multimediatechnieken 11 Rik Van de WalleGent, Januari 2005 Layer 7 – TCP connectie

12 Multimediatechnieken 12 Rik Van de WalleGent, Januari 2005 Layer 7 switching – Voorbeeld Web server Web server sports.site.org Web server news.site.org Layer 7 web switch IP: Internet In DNS (voorbeeld) Asports.site.org Anews.site.org Awww.site.org

13 Multimediatechnieken 13 Rik Van de WalleGent, Januari 2005 Contentswitching apparatuur Vaak wordt er geen onderscheid gemaakt in “Layer 4” and “Layer 7” switches omdat de meeste apparatuur beide aankan o Deze switches worden “contentswitches” genoemd o Ook aangeduid als “Layer 4-7 switches” De pioniers in content switches o Nortel Networks (Alteon WebSystems) o Cisco Systems o F5 Networks o Foundry networks o Extreme Networks Connectiviteit op basis van Ethernet poorten, deze switches bevatten typsich geen interfaces om WAN technologie connecties te termineren ATM, G.SHDSL, E1, MFE1,...

14 Multimediatechnieken 14 Rik Van de WalleGent, Januari 2005 Contentnetwerken

15 Multimediatechnieken 15 Rik Van de WalleGent, Januari 2005 Contentnetwerken Laatste jaren: groeiende interesse Diverse systemen en technologieën mogelijk Hebben allemaal het volgende doel Mogelijkheid om gebruikers toegang te verlenen tot bepaalde objecten op een locatie-onafhankelijke manier Betekent een fundamenteel verschillende manier van communicatie op het Internet URL’s zijn niet geschikt om objecten te identificeren die op verschillende locaties in het netwerk beschikbaar zijn Objecten op verschillende locaties publiceren door replicatie van data

16 Multimediatechnieken 16 Rik Van de WalleGent, Januari 2005 Motivatie Oplossing vinden voor opstoppingen (congestion) van IP-lijnen (vooral accesslijnen) op het Internet Webservers raken soms overbelast door een overvloed aan requests Directe communicatie met de originele servers kan resulteren in bepaalde vertragingen Bescherming tegen “flash crowds” : vaak is content heel populair op een korte tijdspanne o Bv. Verkiezingsuitslagen, film trailers, breaking news, 9/11, Columbia accident, … Noodzaak om content te distribueren op basis van geografische locatie o Voorbeeld: CNN specifieke servers in Europa voor het Europese nieuws, specifieke servers in US voor het lokale (domestic) nieuws

17 Multimediatechnieken 17 Rik Van de WalleGent, Januari 2005 Er zijn vier mogelijke punten van opstopping (congestion) op het Internet 1.Internet acceslijn gebruiker 2.Het netwerk van een ISP (backbone) 3.Peering punten (interconnecties tussen ISP’s) 4.Internet acceslijn en belasting web server ISP1 ISP2 Gebruiker webserver ISP

18 Multimediatechnieken 18 Rik Van de WalleGent, Januari Internet toegangslijn van de gebruiker Diverse technologieën voor toegang (access) o Dial-up, xDSL, kabelmodem, gehuurde lijnen o Fysische drager kan sterk verschillen (koper, glasvezel, …) Diverse capaciteiten zijn beschikbaar o Al dan niet gegarandeerd met een Service Level Agreement (SLA) o Al dan niet verschil tussen “download” en “upload” capaciteit Aantal gebruikers en soort traffiek op de lijn is heel belangrijk Prioritisatie van bepaalde toepassingen soms mogelijk en noodzakelijk (HTTP server traffiek, VoIP, Citrix, …) o Quality of Service (QoS) – bv. Diffserv (Differentiated Services) -> aan de hand van de TOS byte in de header van een IPv4 pakket

19 Multimediatechnieken 19 Rik Van de WalleGent, Januari Het netwerk van de ISP - Algemeen Voldoende bandbreedte moet aanwezig zijn Cruciale parameters voor de kwaliteit van het ISP netwerk zijn: o Vertragingen (delay, latency, round-trip times) tussen de verschillende netwerkelementen o Jitter (delay variation): bv. VoIP toepassingen zijn hier zeer gevoelig voor o Pakketverlies (packet loss) typisch uitgedrukt in % Een goed ISP-netwerk is steeds gelaagd o Hiërarchische structuur met goed-gedefinieerde lagen (elke laag heeft zijn eigen functie en eigenschappen) o Doel is zo efficiënt mogelijke routeringspaden en dus snelle doorstroming van IP-pakketten te garanderen o Vergelijkbaar met de “geheugenpiramide” in computerarchitectuur

20 Multimediatechnieken 20 Rik Van de WalleGent, Januari 2005 Het netwerk van de ISP (Voorbeeld UUNET) Hoofzakelijk een 3-lagig hiërarchisch model o Edge laag Dit is de laag waarin alle klanten worden aangesloten Entry point in het netwerk Typische eigenschap: veel aansluitingen (dus veel routering) van beperkte capaciteit o Metro laag Dit is de eerste laag van de “backbone” of “core” van het netwerk Typische eigenschap: minder connecties, vertegenwoordigt lokale traffiek (bv. binnen België), middelmatige capaciteit o Transit laag Dit is de tweede laag van de “backbone” of “core” van het netwerk en verzorgt capaciteit naar de rest netwerk/Internet Bijna geen routering (alles is al geaggregeerd in grote IP- adresblokken), pure switching, zeer hoge capaciteiten

21 Multimediatechnieken 21 Rik Van de WalleGent, Januari 2005 Het netwerk van de ISP (Voorbeeld UUNET) Transit Metro Edge Klanten ( Gbps) ( Mbps) (64 kbps Mbps)

22 Multimediatechnieken 22 Rik Van de WalleGent, Januari 2005 ISP3 3. Peering punten Directe peering Via een Internet Exchange (bv. BNIX in België) ISP1 ISP2 ISP1 ISP2 BNIX

23 Multimediatechnieken 23 Rik Van de WalleGent, Januari Internet toegangslijn van de server Is qua problematiek van verzadiging identiek aan punt 1 (Internet toegangslijn van de gebruiker) Additioneel moet er hier vooral rekening gehouden worden met upload traffiek, ttz. content die in de richting van het Internet vloeit o Hoeveel simultane connecties naar een webserver wil men toelaten o Gemiddelde grootte van de webobjecten, structuur van de websites (qua grootte in bytes) o Moeten nog andere protocollen dan HTTP geprioritiseerd worden (bv. applicaties voor remote beheer) o Belasting van de webserver

24 Multimediatechnieken 24 Rik Van de WalleGent, Januari 2005 Contentnetwerk: de oplossing? Congestion op de accesslijn (pijnpunt 1) van de gebruiker kan niet worden aangepakt, enkel gebruiker heeft hierover zelf de controle Contentnetwerken kunnen tot op zekere hoogte wel de pijnpunten 2, 3, 4 reduceren door o Content zo dicht mogelijk bij de gebruikers te brengen, namelijk op de rand (edge) van het ISP netwerk (pijnpunt 2) o Content verspreiden over verschillende ISP’s (pijnpunt 3) o Belasting van de web server te verminderen door content te spreiden over meerdere servers of over diverse accesslijnen (pijnpunt 4)

25 Multimediatechnieken 25 Rik Van de WalleGent, Januari 2005 Contentnetwerken: Doel Beheren van replicatie van content door middel van de volgende 2 taken Distributie o Garandeert het kopiëren en synchroniseren van van (een) object(en) van een originele server naar diverse replica servers Redirection (herroutering) o Laat gebruikers toe om het object te vinden, liefst op de server die zich het “dichtst” bij hen bevindt o “dichtst” in Internetterminologie (volgt niet noodzakelijk geografische logica), is combinatie van Minimaal aantal hops Minimale latency

26 Multimediatechnieken 26 Rik Van de WalleGent, Januari 2005 Elementen van een contentnetwerk Client ReplicaserverReplicaserverReplicaserver Masterserver ?

27 Multimediatechnieken 27 Rik Van de WalleGent, Januari 2005 Classificatie Verschillende manieren om contentnetwerken te classificeren o Lokale / Globale distributie applicatieservers o DNS-gebaseerde / Applicatieserver gebaseerde routeringsmechanismen o…o… o Op basis van wie de eigenaar is van het contentnetwerk en het beheert (deze les) 1.Contentnetwerken beheerd door de netwerkoperatoren (ISP’s) 2.Contentnetwerken beheerd door de contentleveranciers 3.Contentnetwerken beheerd door de gebruikers

28 Multimediatechnieken 28 Rik Van de WalleGent, Januari Contentnetwerken beheerd door de netwerkoperatoren Netwerkoperatoren = Internet Service Providers (ISP’s) Maken gebruik van caching proxies om bandbreedte (en dus cost!) in de backbone te besparen (is minder een issue nu dan in de jaren ’90 – grote prijserosie) Proxies kunnen o Recursief gebruikt worden, betekent dat ze gebruik kunnen maken van ouderproxies indien nodig o Hiërarchische boomstructuur van proxies kan worden opgebouwd Voor aanvraag van minder populaire objecten zal ongetwijfeld vertraging optreden Werkt niet ideaal als de originele servers niet dicht zitten bij de proxies uit de boomstructuur

29 Multimediatechnieken 29 Rik Van de WalleGent, Januari 2005 Modellen voor webcaching Explicit caching o Het gebruik van proxies kan vrij door de gebruiker bepaald worden in de browser (aan/uit) o Moet ondersteund worden door de ISP Forced explicit caching o Sommige ISP’s forceren het gebruik van proxies bij hun klanten o HTTP-traffiek wordt niet doorgelaten indien het geen proxy server van de ISP passeert (typisch blokkeren op TCP poort 80 naar andere dan IP-adressen proxy) Transparent caching o Traffiek naar TCP poort 80 kan door de ISP worden afgeleid naar een proxyserver zonder expliciete configuratie in browser van de gebruiker

30 Multimediatechnieken 30 Rik Van de WalleGent, Januari 2005 Algemeen principe van gebruik proxyserver Contentserver Cachingserver Client TCP: CONNECT proxy.isp.com HTTP: GET Ingeval van een “cache miss” TCP: CONNECT HTTP: GET index.html Ingeval van een “cache hit”

31 Multimediatechnieken 31 Rik Van de WalleGent, Januari 2005 Squid Squid caching proxy (www.squid.org) o Werkt op basis van hiërarchische boomstructuur o Moeder proxy zal een query lanceren op basis van de domeinnaam van de gekozen URL Matchen met lijsten van URL’s in de proxy boomstructuur Eventueel direct aan originele server vragen o Configuratie is omvangrijk o Niet triviaal omdat domeinnamen niet noodzakelijk overeenkomen met de netwerktopology Is zelfs bijna nooit het geval Geen relatie tussen de IP-adresblokken in de IPv4 adresruimte en de erin gebruikte domeinnamen)

32 Multimediatechnieken 32 Rik Van de WalleGent, Januari 2005 Web Cache Communication Protocol (WCCP) Proxies moeten door gebruikers ingesteld worden in hun browsers Om configuraties of problemen met configuraties te vermijden, kan men gebruik maken van zogenaamde interception of redirection proxies o Maakt gebruik van transparent caching o Netwerkelementen (routers) geconfigureerd met WCCP zullen HTTP-traffiek afleiden naar proxy servers zonder dat de gebruikers dit merken o Volledige transparantie voor de gebruikers o WCCP bevat ook een fail-safe mechanisme: betekent dat als de web cache niet bereikbaar is, er geen afleiding van HTTP traffiek gebeurt naar de web cache

33 Multimediatechnieken 33 Rik Van de WalleGent, Januari 2005 Web Cache Communication Protocol – Figuur

34 Multimediatechnieken 34 Rik Van de WalleGent, Januari Contentnetwerken beheerd door de contentleveranciers Contentleveranciers zijn organisaties die grote hoeveelheden content publiceren op het Internet o Voorbeeld: CNN, Yahoo!, … Drijfveer voor contentleveranciers o Content zo wijd mogelijk beschikbaar stellen bij de gebruikers o Controle houden over de content o Zonder al te zware investeringen te doen in netwerken en bandbreedte Opdeling o A. Lokale server topologieën A.1 Clustergebaseerd websysteem (webcluster) A.2 Gedistribueerd websysteem o B. Mirror sites o C. Content-Delivery netwerken (CDN)

35 Multimediatechnieken 35 Rik Van de WalleGent, Januari 2005 A. Lokale server topologieën A.1 Webclusters o De contentservers maskeren hun IP-adressen voor de clients o De client ziet 1 “virtual IP” (VIP) adres dat gerelateerd is aan een device vóór de contentservers o Device: “contentswitch”, ook “webswitch” genoemd (Layer 4 of Layer 7)

36 Multimediatechnieken 36 Rik Van de WalleGent, Januari 2005 Webclusters - illustratie

37 Multimediatechnieken 37 Rik Van de WalleGent, Januari 2005 A. Lokale server topologieën A.2 Gedistribueerde web systemen o De contentservers tonen hun IP-adres aan de clients o Sturing gebeurt niet vanuit een contentswitch In lokale server topologieën komt A.1 het vaakst voor, A.2 is ouder qua technologie en komt vaker voor bij geografisch verspreide web server systemen (vooral bij DNS-gebaseerde routering)

38 Multimediatechnieken 38 Rik Van de WalleGent, Januari 2005 Gedistribueerde websystemen - illustratie

39 Multimediatechnieken 39 Rik Van de WalleGent, Januari 2005 A.1 Webclusters Gebaseerd op o Layer 4 switching o Layer 7 switching EN Gebaseerd op client/server dataflow (vooral dan wat betreft het terugkeerpad) o One-way architectuur De contentserver antwoordt direct naar de client o Two-way architectuur De contentserver antwoordt aan de contentswitch, die vervolgens antwoordt aan de client

40 Multimediatechnieken 40 Rik Van de WalleGent, Januari 2005 A.1 – Taxonomie voor webclusters Twee aspecten zijn belangrijk: A.1.1 Routeringsmechanismen A.1.2 Dispatching algoritme voor de selectie van de beste server (bv. load balancing) Bepalen hoe de request bij de contentserver(s) terechtkomt Bepalen bij welke content server de request terechtkomt

41 Multimediatechnieken 41 Rik Van de WalleGent, Januari 2005 A.1.1 – Oplossingen op basis van Layer 4 switches (two-way architecturen)

42 Multimediatechnieken 42 Rik Van de WalleGent, Januari 2005 A.1.1 – Oplossingen op basis van Layer 4 switches (two-way architecturen) Packet double-rewriting is gebaseerd op Network Address Translation (NAT) o Zowel voor ingaande als uitgaande pakketten moet de TCP en IP header worden herschreven + checksum herberekenen Ingaand –Web switch herschrijft het publieke IP- adres naar het private IP-adres van de content server Uitgaand –Pakketten van de content server naar de client passeren terug de web switch –Web switch herschrijft het bronadres van het private IP-adres naar het publieke van de web switch

43 Multimediatechnieken 43 Rik Van de WalleGent, Januari 2005 A.1.1 – Oplossingen op basis van Layer 4 switches (one-way architecturen)

44 Multimediatechnieken 44 Rik Van de WalleGent, Januari 2005 A.1.1 – Oplossingen op basis van Layer 4 switches (one-way architecturen) Packet single-rewriting o Web switch vervangt het VIP adres door IP adres van de contentserver + herberekent IP en TCP checksum o De contentserver antwoordt rechtstreeks aan client maar gebruikt als bron IP-adres het VIP-adres Packet tunneling (ook IP encapsulation) o Techniek om een IP datagram te encapsuleren in een ander IP diagram o Webswitch tunnelt het inkomende pakket naar de contentserver door het te encapsuleren in een nieuw IP datagram (met bron IP = VIP en destinatie IP = IP contentserver) o Contentserver stript het IP datagram eraf en ziet dat het pakket origineel bestemd was aan het VIP-adres o Contentserver antwoordt rechtstreeks aan de client maar gebruikt als bron IP-adres het VIP adres

45 Multimediatechnieken 45 Rik Van de WalleGent, Januari 2005 A.1.1 – Oplossingen op basis van Layer 4 switches (one-way architecturen) Packet forwarding o Het VIP adres wordt gedeeld door de webswitch en de contentservers door het gebruik van primaire en secundaire IP-adressen o Contentservers hebben een primair IP-adres en als secundair IP-adres het VIP-adres (bv. via loopback interface) o ARP mechanisme moet worden uitgeschakeld op de contentservers o Packet forwarding gebeurt doordat de web switch in het inkomende pakket het MAC-adres vervangt door dat van de contentserver o Er gebeurt dus een transformatie op layer 2 niveau, “MAC address translation” o Wanneer de contentserver het pakket ontvangt ziet het eruit als een pakket voor zichzelf, aangezien hij het VIP- adres deelt o De contentserver kan rechtstreeks antwoorden aan de client zonder modificatie van het IP datagram

46 Multimediatechnieken 46 Rik Van de WalleGent, Januari 2005 A.1.1 – Oplossingen op basis van Layer 7 switches (two-way architecturen)

47 Multimediatechnieken 47 Rik Van de WalleGent, Januari 2005 A.1.1 – Oplossingen op basis van Layer 7 switches (two-way architecturen) TCP gateway o Webswitch bevat een applicatielaag proxyserver die alle binnenkomende connecties accepteert o De proxyserver onderhoudt “TCP persistent” connecties met alle contentservers o Proxyserver stuurt de client request door naar de contentserver via de “TCP persistent” connectie o Het antwoord komt via de “TCP persistent” connectie terug bij webswitch die het doorstuurt naar de client o Eenvoudige techniek (“TCP persistent” sessies kunnen want alles staat lokaal) o Grootste nadeel: Zowel de inkomende als uitgaande data flows lopen via de webswitch op applicatielaagniveau TCP splicing o Cfr volgende slide(s)

48 Multimediatechnieken 48 Rik Van de WalleGent, Januari 2005 TCP splicing (I)

49 Multimediatechnieken 49 Rik Van de WalleGent, Januari 2005 TCP splicing (II)

50 Multimediatechnieken 50 Rik Van de WalleGent, Januari 2005 A.1.1 – Oplossingen op basis van Layer 7 switches (one-way architecturen)

51 Multimediatechnieken 51 Rik Van de WalleGent, Januari 2005 A.1.1 – Oplossingen op basis van Layer 7 switches (one-way architecturen) TCP handoff o Client heeft sessie opgezet met webswitch o Op moment dat web switch de contentserver heeft gekozen -> “handoff” van de TCP connectie o Het “handoff” algoritme is actief tussen transport- en applicatielaag en impliceert veranderingen in de besturingssytemen van de beide componenten (nadeel !) o Het mechanisme blijft transparant voor de client TCP connection hop o Is een proprietary oplossing van het bedrijf Resonate o Op moment dat web switch de contentserver heeft gekozen -> webswitch “hopt” de TCP connectie naar de contentserver o Gebeurt door het encapsuleren van het IP-pakket in een RPX pakket (proprietary) o Het mechanisme blijft transparant voor de client (ook voor acknowledgement informatie verstuurd door de client)

52 Multimediatechnieken 52 Rik Van de WalleGent, Januari 2005 A.1.2 Dispatching algoritmes voor web clusters Gebaseerd op o Layer 4 switches (content-blind dispatching) o Layer 7 switching (content-aware dispatching) EN Gebaseerd op o Statische algoritmes Snelste oplossing om bottlenecks in de web switch te vermijden Houden geen rekening met de actuele status van de webservers o Dynamische algoritmes Presteren beter dan statische algoritmes door het nemen van intelligente beslissingen Het capteren en analyseren van status informatie van de webservers zorgt voor een niet te verwaarlozen overhead op de performantie van de webswitch

53 Multimediatechnieken 53 Rik Van de WalleGent, Januari 2005 A Oplossingen op basis van Layer 4 switches (statische algoritmes) Willekeurig (Random) o Verdeelt de binnenkomende aanvragen uniform met een gelijke probabiliteit over de verschillende webservers Round Robin (RR) o Gebruikt een circulaire lijst en een pointer die verwijst naar de laatst geselecteerde webserver om een beslissing te maken Statische Weighted Round Robin (voor heterogene webservers) o Een variatie op RR, waarbij elke server een bepaald gewicht krijgt toegekend, afhankelijk van zijn capaciteit o Merk op: capaciteit is een instelbare maar statische parameter voor een server (niet real-time)

54 Multimediatechnieken 54 Rik Van de WalleGent, Januari 2005 A Oplossingen op basis van Layer 4 switches (dynamische algoritmes) Afhankelijk van de client o Statische partitionering van de webservers o Elke server krijgt een groep van clients toegewezen (groepen op basis van bv. client IP-adres) Afhankelijk van de server status o De server met de actueel laagste belasting (op basis van welke parameter? Welke index?) o De server met het actueel minst aantal actieve connecties o De server met de actueel snelste response tijd o Dynamische Weighted Round Robin Variatie van statische weighted RR, waarbij elke web server nu een dynamisch gewicht krijgt toegekend evenredig met zijn capaciteit (volgens het platform) en de belasting van de server op dat moment

55 Multimediatechnieken 55 Rik Van de WalleGent, Januari 2005 A Oplossingen op basis van Layer 4 switches (dynamische algoritmes) Afhankelijk van de client en server status o Combinatie van client informatie en server status informatie resulteert in een bepaalde client affiniteit o In plaats van elke nieuwe connectie naar een webserver enkel toe te kennen op basis van de server status en niet op basis van vorige assignaties Opteren om opeenvolgende connecties van dezelfde client door dezelfde webserver te laten behandelen Voorbeeld: Omwille van performantieredenen, opeenvolgende SSL connecties van dezelfde client door dezelfde server te laten behandelen gedurende de geldigheidsduur van de SSL sleutel (vermijden van sleutelcreatie en negotiatie) Ander voorbeeld: FTP connecties (gebruiken 2 TCP poorten)

56 Multimediatechnieken 56 Rik Van de WalleGent, Januari 2005 A.1.2 Oplossingen op basis van Layer 7 switches (dynamische algoritmes) Een grote diversiteit aan zeer gespecialiseerde oplossingen op basis van client info, server status of combinatie van beide Afhankelijk van de client o Bv. Service partitioning = Web servers segmenteren naar types van aanvraag (dynamische inhoud, statische beelden, video,...) Afhankelijk van de server status o Bv. Web switch bepaalt de grootte van het gevraagde object en en selecteert de web server op basis hiervan (elke server krijgt evenveel bandbreedte traffiek) Afhankelijk van de client en server status

57 Multimediatechnieken 57 Rik Van de WalleGent, Januari 2005 A.2 Gedistribueerde web systemen DNS-gebaseerde routeringsmechanismen o Origineel ontworpen voor lokaal gedistribueerde websystemen, maar tegenwoordig meer gebruikt in geografisch gedistribueerde websystemen (cfr. CDN’s) Webserver gebaseerde routeringsmechanismen o Routering en eventuele verwijzingen gebeuren op de contentserver Dispatching voor gedistribueerde websystemen is geen apart topic want is geïntegreerd in de routeringsmechanismen

58 Multimediatechnieken 58 Rik Van de WalleGent, Januari 2005 A.2 - Oplossing op basis van DNS-gebaseerde routeringsmechanismen Treedt in werking tijdens de DNS-lookup fase bij het begin van de websessie Mapping naam website en IP-adres contentserver De authorative DNS server voor de zone waartoe de hostnaam van de website behoort o Selecteert een verschillende server (A-records) voor elke lookup die het moet beantwoorden o Antwoordt met een paar (IP-adres, TTL) IP-adres van één van de content servers Time-To-Live (TTL) record dat bepaalt hoelang de caching DNS server deze informatie bijhoudt Pas op met adres caching in de caching DNS- servers, leggen een hypotheek op dit mechanisme -> Enige oplossing is te werken met heel lage TTL’s

59 Multimediatechnieken 59 Rik Van de WalleGent, Januari 2005 A.2 - Oplossing op basis van web server gebaseerde routeringsmechanismen Triangulation o Client stuurt pakketten naar eerst gecontacteerde content server, die ze doorstuurt naar de tweede content server o Routering is gebaseerd op pakket tunneling (zoals beschreven in A.1.1) -> origineel datagram wordt geëncapsuleerd in een nieuw IP datagram o De tweede content server herkent dat het IP- datagram werd geherrouteerd en antwoordt rechtstreeks naar de client na vervanging van zijn IP-adres met dat van de eerste content server o Alle volgende pakketten blijven het traject “client -> eerste content server -> tweede content server” volgen

60 Multimediatechnieken 60 Rik Van de WalleGent, Januari 2005 A.2 - Oplossing op basis van web server gebaseerde routeringsmechanismen HTTP redirection o HTTP protocol standaard (vanaf versie 1.0) laat toe dat een web server antwoordt aan de client met een bepaalde status code om de request opnieuw uit te sturen naar een andere host Status code 301 (“Moved permanently”) –Duidt aan dat de aangevraagde resource locator (URL) definitief is verplaatst naar een andere URL Status code 302 (“Moved temporarily”) –Duidt aan dat de aangevraagde resource locator (URL) tijdelijk onder een andere URL verblijft o Voordeel: mechanisme op heel fijn niveau, tot op niveau individuele webpagina’s o Nadeel: extra latency

61 Multimediatechnieken 61 Rik Van de WalleGent, Januari 2005 A.2 - Oplossing op basis van web server gebaseerde routeringsmechanismen HTTPREDIRECTIONHTTPREDIRECTION

62 Multimediatechnieken 62 Rik Van de WalleGent, Januari 2005 A.2 - Oplossing op basis van web server gebaseerde routeringsmechanismen URL rewriting o In dit geval zal de eerst gecontacteerde content server dynamisch de linken van de ingebedde objecten in de webpagina veranderen o Fundamenteel verschillend met HTTP redirection dat een statische techniek is o Vaak in combinatie met intelligente DNS- gebaseerde routering wordt deze techniek tegenwoordig vaak gebruikt in Content Delivery Netwerken (CDN’s) -> zie verder o Grootste probleem van deze techniek is de bijkomende load van server resources en bijkomende latency geïntroduceerd door dit mechanisme

63 Multimediatechnieken 63 Rik Van de WalleGent, Januari 2005 B. Mirror sites Dit zijn contentnetwerken waarbij men een verzameling van servers verspreidt over het Internet (slaves), en die allemaal een exacte replica zijn van de master server op de hoofdlocatie De master-slave synchronisatie gebeurt doorgaans niet in real-time maar op periodieke tijdstippen Redirection gebeurt typisch door de gebruikers o Gebruiker gaat op hoofdsite en krijgt een lijst met slave servers te zien, samen met hun geografische info (kan misleidend zijn!) o Proces kan geautomatiseerd worden bv. door gebruik van cookies om keuze van de gebruiker weg te schrijven -> initieert dan een “HTTP redirection” Het principe van mirror servers wordt heel vaak toegepast voor FTP-servers

64 Multimediatechnieken 64 Rik Van de WalleGent, Januari 2005 Mirror sites (Voorbeeld)

65 Multimediatechnieken 65 Rik Van de WalleGent, Januari 2005 C. Content-delivery netwerken (CDN) Veel contentleveranciers hebben niet de middelen om een wereldwijd netwerk van mirror sites uit te bouwen Operatoren van CDN’s o Bouwen een wereldwijde replicatie-infrastructuur uit en stellen die ter beschikking o Wordt betaald door contentleveranciers die hun content ter beschikking stellen Business model (financieel) o Voor CDN operatoren: Gedeelde infrastructuur, verschillende gebruikers betalen ervoor o Voor contentleveranciers: Groot geografisch bereik aan beperkte cost

66 Multimediatechnieken 66 Rik Van de WalleGent, Januari 2005 CDN operatoren Oorspronkelijke missie van CDN operatoren was het leveren van content voor hun klanten (= content leveranciers) op een geografisch verspreide manier Tegenwoordig bieden CDN operatoren ook andere diensten aan o Beschikken over zeer hoog technologische algoritmes en protocollen (bv. DNS tools) o Proberen meer taken op zich te nemen (bv. scripting taken, door die niet op de originele web server van de content leverancier maar op het CDN netwerk zo dicht mogelijk bij de klant CDN’s gebruiken doorgaans het DNS om URL’s te transformeren in locatie-onafhankelijke verwijzingen

67 Multimediatechnieken 67 Rik Van de WalleGent, Januari 2005 CDN operatoren CDN servers bevatten typisch niet alle content van websites, maar bepaalde selectieve objecten (in samenspraak met de content leverancier) Dergelijke servers worden surrogaten genoemd o Complexe redirection systemen nodig om de gebruikers naar het juiste surrogaat te sturen o Selectie van een bepaalde surrogaat op basis van netwerk metrieken Routeringsinformatie Latencies, round-trip times Belasting van bepaalde surrogaten We bekijken in meer detail het grootste CDN op het Internet in de case op het einde van de les

68 Multimediatechnieken 68 Rik Van de WalleGent, Januari Contentnetwerken beheerd door de gebruikers Deze netwerken zijn beter gekend als “peer-to-peer” netwerken (P2P) Het dure replicatiemechanisme van de voorgaande technieken wordt vervangen door de gebruikers o Stellen een deel van hun opslag- en verwerkingscapaciteit ten dienste van het P2P netwerk De meeste van deze netwerken zijn “overlay” netwerken en zijn dus niet gebonden aan een transparante integratie met bv. HTTP-technologie o Voordeel ! o Hebben alle vrijheid om nieuwe modellen van contentverspreiding en contentpresentatie te ontwikkelen o Hebben zelfs hun eigen naamruimte -> niet gebonden aan HTTP en URL’s

69 Multimediatechnieken 69 Rik Van de WalleGent, Januari 2005 P2P netwerken Basisidee van replicatie en distributie van data o Hoe populairder een bestand is, hoe meer gebruikers het zullen downloaden o Als gevolg hiervan wordt het dus ook meer beschikbaar gesteld in het P2P netwerk, … Redirection is evenwel een serieuze uitdaging o Er moet een gedistribueerd zoekmechanisme beschikbaar zijn o Netwerken als Gnutella, KaZaa, Freenet behoren tot deze klasse o Napster niet, want die werkt met een gecentraliseerde directory

70 Multimediatechnieken 70 Rik Van de WalleGent, Januari 2005 Redirection in P2P netwerken Algemeen principe o Een node op het P2P netwerk ondervraagt naburige nodes die zelf terug naburige nodes ondervragen, … o Proces gaat door totdat Een bepaalde node positief antwoordt op de aanvraag Een bepaalde zoekactie teveel resources op het netwerk verbruikt heeft (vergelijkbaar met een TTL op traceroute) o Enkele aandachtspunten Dergelijke netwerken zijn heel vatbaar voor het uitvoeren van “denial-of-service” DoS aanvallen door het netwerk te overbelasten met aanvragen Men is nooit zeker dat men het document vindt, ook al staat het op een bepaalde node

71 Multimediatechnieken 71 Rik Van de WalleGent, Januari 2005 Het gebruik van P2P netwerken Momenteel: vooral gebruikt voor file-sharing P2P netwerken leveren echter ook nieuwe en waardevolle concepten o Diverse projecten richten zich op het “scatter/gather” distributieschema Heel interessant voor grote bestanden Een aanvrager-node downloadt fragmenten van een bestand bij verschillende andere nodes en assembleert die vervolgens Kan zelfs zover gaan dat fragmenten worden ge- upload van gebruikers (nodes) die het fragment zelf aan het downloaden zijn op dat moment o Bepaalde projecten proberen P2P principes te integreren in bestaande Web technieken en protocollen (Open Content Network, BitTorrent) Te interpreteren als een combinatie van CDN’s en P2P principes

72 Multimediatechnieken 72 Rik Van de WalleGent, Januari 2005 Case study Akamai CDN

73 Multimediatechnieken 73 Rik Van de WalleGent, Januari 2005 Het bedrijf Wereldwijde CDN provider op het Internet, algemeen beschouwd als de marktleider Ontstaan in 1995 aan het MIT o Tim Berners-Lee voorzag het probleem van netwerk congestion op het Internet o Hij daagde zijn collega’s aan het MIT uit om een nieuwe en betere techniek te ontwikkelen voor de levering van content op het Internet Eerste commerciële activiteiten in 1999 Globale cijfers over aanwezigheid op het Internet (2004) o Meer dan servers o Aanwezig in networks o In 65+ landen o Ongeveer 1000 klanten (Yahoo!, IBM, Apple, …)

74 Multimediatechnieken 74 Rik Van de WalleGent, Januari 2005 Concept Akamai infrastuctuur is erop gericht om wanneer en waar nodig meer servers te alloceren voor websites die een zware belasting ervaren (bv. in geval van “flash crowds”) Het system stuurt client requests naar de dichtstbijgelegen beschikbare server die met waarschijnlijk de gevraagde content heeft o Dichtstbijgelegen – functie van netwerktopologie en dynamische link karakteristieken (bv. latency, pakketverlies, …) o Beschikbare – functie van server belasting en bandbreedte in het netwerk o Waarschijnlijk – functie van welke servers de gevraagde content bevatten

75 Multimediatechnieken 75 Rik Van de WalleGent, Januari 2005 Akamai DNS verwijzingsproces (mapping) Stel dat een bepaalde url (bv. in een webpagina verwijst naar a7.g.akamai.net Stap 0: Client DNS resolver queries de root name servers en vervolgens.net name servers voor NS-records van akamai.net -> resultaat is een Akamai Top Level (TL) DNS server Stap 1: Client DNS resolver queries de Akamai TL DNS server voor een delegatie van g.akamai.net -> resultaat is een Akamai Low Level (LL) DNS [TTL typisch 1 hour] Stap 2: Client DNS resolver queries de Akamai LL DNS server voor het host record van a7.g.akamai.net -> resultaat is een IP-adres van een Akamai edge server [TTL typisch enkele seconden tot max. 1 minuut] Stap 3: Client maakt een HTTP request naar de edge server Stap 4: Haalt de content bij een andere Akamai server Stap 5: of laat die ophalen bij de orginele server

76 Multimediatechnieken 76 Rik Van de WalleGent, Januari 2005 Akamai DNS verwijzingsproces: Illustratie Het resolving proces is hetzelfde voor elke DNS naam op het Internet. Akamai name-resolving verschilt echter in de manier waarop de DNS servers zich gedragen

77 Multimediatechnieken 77 Rik Van de WalleGent, Januari 2005 Criteria voor DNS verwijzingsproces om een hostnaam te mappen op het IP-adres van een content server Gevraagde dienst: bv. LL DNS server moet een aanvraag voor een Quicktime streaming video niet verwijzen naar een contentserver die enkel HTTP behandelt Toestand van server: moet up-and-running zijn zonder problemen Belasting van server: moet onder bepaalde drempelwaarde liggen (typische maten zijn CPU, disk space, RAM, netwerkgebruik) Conditie van het netwerk: Client moet server kunnen bereiken met minimaal pakketverlies Locatie van client: Server moet dicht bij client gesitueerd zijn (minimale latency of round trip time) Gevraagde content: De server moet met hoge waarschijnlijkheid de content hebben

78 Multimediatechnieken 78 Rik Van de WalleGent, Januari 2005 Criteria voor DNS verwijzingsproces om een hostnaam te mappen op het IP-adres van een content server Met elk van de criteria op vorige slide wordt dus rekening gehouden in het resolving proces ! Impliceert: o Sterke controle en implementatie van de DNS servers (daemons) is een van de belangrijkste onderdelen Hierin zit een groot stuk van de Akamai technologie o Heel sterke kennis van het netwerk vereist via constante monitoring Aan de hand van probes die continu parameters registreren in het Akamai rapporterings- en managementsysteem Aan de hand van “agents” die overal in het netwerk peridiek clientgedrag simuleren (HTTP requests, …) Hebben dus een “tabel” van vrijwel als ISP caching name servers en de respectievelijke dichtste Akamai edge servers (Akamai is aanwezig in ongeveer 1100 netwerken)

79 Multimediatechnieken 79 Rik Van de WalleGent, Januari 2005 Voorbeeld: (Enkel voor DNS-resolving, niet voor geografische content distributie) 22/04/2005 (10h) vanop het netwerk van Telenet H:\>nslookup -type=A Server: roes.lyssa.telenet-ops.be Address: Non-authoritative answer: Name: Addresses: , , , , , , Aliases: 22/04/2005 (10h) vanop het netwerk van Esko-Graphics (MCI connectiviteit) H:\>nslookup -type=A Server: begedesgc001.esko-graphics.com Address: Non-authoritative answer: Name: Addresses: , , , , , Aliases:

80 Multimediatechnieken 80 Rik Van de WalleGent, Januari 2005 Belangrijkste diensten Levering van statische content over HTTP en HTTPS Levering van dynamische content over HTTP en HTTPS Levering van streaming audio en video over de volgende 3 protocollen o Microsoft Windows Media o Real o Apple Quicktime Geavanceerde DNS-resolving technieken voor contentleveranciers (bv. voor lokale load balancing)

81 Multimediatechnieken 81 Rik Van de WalleGent, Januari 2005 Andere diensten “EdgeComputing voor Java” (en.NET dit jaar). J2EE applications kunnen worden uitgevoerd op het Internet op de Akamai servers Virtual waiting room o In e-shopping, om de transactie van de klant te beschermen Stel, klant koopt en heeft tal van items in zijn shopping cart Bij check-out treedt overbelasting van de site op -> kan niet verder -> alles kwijt o Akamai zal de shopping cart tijdelijk in de “virtual waiting room” plaatsen en de klant notificeren zolang de congestie niet weg is Geografische landherkenning van de client voor de content leverancier

82 Multimediatechnieken 82 Rik Van de WalleGent, Januari 2005 Statische content Statische webcomponenten kunnen zijn: HTML- pagina’s, figuren, executables, PDF-documenten, … Het HTTP “pull model” verandert niet met Akamai Client request wordt beantwoord vanuit de cache van de edge server (indien aanwezig) en anders vanuit de orginele server Aanvullend kunnen klanten beslissen om statische content op te slaan op de gerepliceerde Akamai NetStorage data center servers o Content wordt beheerd op een gecentraliseerde locatie door de klant o Wordt verspreid via een gedistribueerd netwerk aan de ganse Internet gebruikers community

83 Multimediatechnieken 83 Rik Van de WalleGent, Januari 2005 Dynamische content Websites vandaag beschikken vaak over dynamische content Proxy server caches kunnen dit typisch niet aan, bv. een pagina die voor 80% statisch is, maar 20% dynamische data bevat Elk met een bepaalde TTL

84 Multimediatechnieken 84 Rik Van de WalleGent, Januari 2005 Dynamische content - ESI Edge Side Includes (ESI) – o Eenvoudige markup language (XML-gebaseerd) o Beschrijving van “cacheable” en “non-cacheable” componenten op een webpagina die kunnen geaggregeerd, geassembleerd en afgeleverd worden de edge van het netwerk o Laat contentleveranciers toe om een dynamische pagina op te delen in HTML-fragmenten met onafhankelijke eigenschappen voor caching o Deze fragmenten worden beheerd als onafhankelijke objecten in de cache van de edge server o Bij client aanvraag naar een URL die verwijst naar het Akamai CDN levert de edge server de statische fragmenten (indien niet expired) en haalt enkel de dynamische fragmenten op bij de originele web server o Alles wordt samengesteld op de edge server en doorgestuurd naar de client

85 Multimediatechnieken 85 Rik Van de WalleGent, Januari 2005 Dynamische content – ESI (Voorbeeld 1) o ESI wordt eveneens gebruikt om bepaalde losse diensten aan te bieden o Contentleverancier toont verschillende objecten (bv. Webpagina, figuren, …) op basis van land van herkomst van client of op basis van cookie informatie o Akamai kan de geografische herkenning maken (tot op landniveau) o ESI script wordt uitgevoerd op de edge server, NIET op de originele web server o Juiste pagina wordt doorgestuurd naar de client o Verschil met klassieke technologie: alle rekenkracht en processing werd uitgevoerd op het CDN van Akamai (geen belasting voor de originele webserver) en dicht bij de klant

86 Multimediatechnieken 86 Rik Van de WalleGent, Januari 2005 Dynamische content – ESI (Voorbeeld 2)

87 Multimediatechnieken 87 Rik Van de WalleGent, Januari 2005 Streaming media Contentleverancier levert een gecapteerde en gecodeerde “live stream” af bij een ingangsserver in het Akamai netwerk o Uitdagingen (verwijderen van “single points of failure” in netwerk) ! Mechanisme nodig dat snelle fail-over garandeert De “live stream” wordt onmiddellijk gerepliceerd naar meerdere edge servers Constant rekening houdend met pakketverlies en netwerk instabiliteiten Ook de vertragingen (delay) en jitter (delay variation) worden in de gaten gehouden Ook “on-demand” clips of streams kunnen worden afgeleverd en opgeslagen in het Akamai netwerk o Het netwerk zorgt voor de replicatie o Aflevering bij een client request volgt het normale proces


Download ppt "Multimediatechnieken 1 Rik Van de WalleGent, Januari 2005 Contentnetwerken Multimediatechnieken Prof. Peter De Neve academiejaar 2004-2005."

Verwante presentaties


Ads door Google