Storage Of hoe vele bitjes een nachtmerrie kunnen worden…

Presentatie over: "Storage Of hoe vele bitjes een nachtmerrie kunnen worden…"— Transcript van de presentatie:

1 Storage Of hoe vele bitjes een nachtmerrie kunnen worden…

2 Storage: de uitdaging voor de komende 5 jaar Elk jaar verdubbelt de hoeveelheid elektronisch opgeslagen data (in de wereld) Elk jaar verdubbelt de hoeveelheid elektronisch opgeslagen data (in de wereld) Verschuiving van decentraal data beheer naar centraal data beheer Verschuiving van decentraal data beheer naar centraal data beheer

3 Storage: een overzicht Direct Remote Blocks Files DASSAN NASDAFS

4 NAS Client: praat TCP/IP met Storage systeem: NFS, CIFS, HTTP, … Client: praat TCP/IP met Storage systeem: NFS, CIFS, HTTP, … Over LAN of afzonderlijk Storage LAN Over LAN of afzonderlijk Storage LAN Storage Head heeft een specifiek OS Storage Head heeft een specifiek OS Storage Head praat SCSI of FC met disks Storage Head praat SCSI of FC met disks Client Storage Head Disks

5 SAN Client Storage Head Disks Cliënt heeft speciale kaart zodat het FC kan praten Cliënt heeft speciale kaart zodat het FC kan praten Gaat over een afzonderlijk FC- netwerk, met FC hubs en switches Gaat over een afzonderlijk FC- netwerk, met FC hubs en switches Storage Head praat alleen FC met cliënt en FC met disks Storage Head praat alleen FC met cliënt en FC met disks

6 DAS Slechts 1 cliënt: geen consolidatie van data Slechts 1 cliënt: geen consolidatie van data Schrijft in blocks Schrijft in blocks Geen “specifiek” storage OS Geen “specifiek” storage OS Beperkt in performantie (I/O) en in capaciteit Beperkt in performantie (I/O) en in capaciteit Beperkt in redundantie (enkel RAID) Beperkt in redundantie (enkel RAID) Max. voor 250 à 500 GB Max. voor 250 à 500 GB

7 SAN Schrijft in blocks Schrijft in blocks Schijven gemeenschappelijk voor beperkt aantal cliënts Schijven gemeenschappelijk voor beperkt aantal cliënts Specifieke HW nodig (FC busadapters, switchen, …) Specifieke HW nodig (FC busadapters, switchen, …) Performant en grote capaciteit met redundantie mogelijkheden Performant en grote capaciteit met redundantie mogelijkheden Specifiek OS in controller, maar cliënt - OS bepaalt mee (schrijft in blocks) Specifiek OS in controller, maar cliënt - OS bepaalt mee (schrijft in blocks) Duur en “ingewikkeld (lun-beheer)” Duur en “ingewikkeld (lun-beheer)” Volumes zijn uniek toegewezen Volumes zijn uniek toegewezen Ideaal voor data-consolidatie (SQL-server, fileserver, exchange-server, …) Ideaal voor data-consolidatie (SQL-server, fileserver, exchange-server, …) Vanaf 25.000 euro Vanaf 25.000 euro

8 NAS Schrijft in files Schrijft in files Bezit specifiek OS: Bezit specifiek OS: –Gestripte W2K’s of LINUX (low ends) –Specifieke OS: enkel I/O en flushen naar disks (high ends) Eenvoudige administratie Eenvoudige administratie Grote capaciteit en redundantie mogelijk Grote capaciteit en redundantie mogelijk Goedkoper dan zijn neefje: SAN Goedkoper dan zijn neefje: SAN De kracht van het systeem zit in dat OS De kracht van het systeem zit in dat OS Vanaf 6000 euro Vanaf 6000 euro

9 Samengevat Artificieel onderscheid tussen SAN en NAS Artificieel onderscheid tussen SAN en NAS –Liever: IP-SAN en FC-SAN LINUX-samba box = IP-SAN (op voorwaarde dat je er van afblijft) LINUX-samba box = IP-SAN (op voorwaarde dat je er van afblijft) Client NAS TCP/IP Client NAS FC

10 Opmerking Storage aanbieden over een “klassiek”- netwerk? Je moet toch FC doen om een beetje serieus werk te kunnen doen! Storage aanbieden over een “klassiek”- netwerk? Je moet toch FC doen om een beetje serieus werk te kunnen doen! –TCP/IP kennis >> FC kennis –TCP/IP apparatuur = gestandaardiseerd en goedkoop –TCP/IP onderzoek >> FC onderzoek –Snelheid:  TCP/IP = FC (vandaag)  Snelheid TCP/IP > FC (morgen)

11 Toekomst Direct Remote Blocks Files DASSAN NASDAFS IP-SAN

12 Toekomst I-SCSI: SCSI protocol over IP: I-SCSI: SCSI protocol over IP: –Zal FC vervangen tot aan de storage box? –Nu reeds “semi” en “gesloten” initiatieven Infini-band: Infini-band: –Oorsprong: vervanging van interne I/O bus (lees PCI/PCI-X) –Sommigen dromen van ook externe connectie –Vervanging van FC in de storage box? Software wordt HET belangrijkste Software wordt HET belangrijkste Verschuiving van tape naar nearstore (online archief) Verschuiving van tape naar nearstore (online archief)

13 Situatie schets 2800 PC cliënts: 2800 PC cliënts: –1100 W2K –1700 NT4 + 5000 users + 5000 users Alle data op de servers: Alle data op de servers: –Persoonlijke data (homes):  Profiel  Eudora  Mijn documenten –Gemeenschappelijke data (groepen)

14 Probleem zomer 2000 7 file servers: NT4.0, DAS (externe SCSI kabinetten met RAID5) 7 file servers: NT4.0, DAS (externe SCSI kabinetten met RAID5) Tussen 20 – 80 GB aan data: totaal 400 GB Tussen 20 – 80 GB aan data: totaal 400 GB Meer dan 20 partities te onderhouden Meer dan 20 partities te onderhouden Continu data verhuizen Continu data verhuizen

15 Rand voorwaarden Storage consolidatie Storage consolidatie Server consolidatie Server consolidatie Performantie: hetzelfde of beter Performantie: hetzelfde of beter Redundantie mogelijkheden Redundantie mogelijkheden Lagere onderhoudskost door eigen personeel Lagere onderhoudskost door eigen personeel Mogelijkheid tot groei Mogelijkheid tot groei

16 Strijd tussen NAS en SAN We hebben gekozen voor NAS (Network Appliance): We hebben gekozen voor NAS (Network Appliance): –Schrik voor FC en zijn kost –Nog geen server consolidatie –“black box” staat borg voor weinig onderhoud –Eigen OS: performantie en stabiliteit –Functierijke software

17 Software is belangrijk Snapshots (SnapView) Snapshots (SnapView) Snapmirror (MirrorView) Snapmirror (MirrorView) Quota Quota Multiple protocol (NFS/CIFS) Multiple protocol (NFS/CIFS) File-Systeem: spelen met volumes, disk, qtree’s, … File-Systeem: spelen met volumes, disk, qtree’s, … Meerdere aliassen (cifs) Meerdere aliassen (cifs) …

18 Snapshots foto van het filesysteem foto van het filesysteem 12 x per dag (ieder uur); houden we 24 uur bij 12 x per dag (ieder uur); houden we 24 uur bij elke nacht; houden we 8 dagen bij elke nacht; houden we 8 dagen bij snapshots zijn door iedereen raadpleegbaar snapshots zijn door iedereen raadpleegbaar zelfde security als origineel. zelfde security als origineel. 5% bij groepen, 10% bij homes 5% bij groepen, 10% bij homes

19 Snapmirror Pure TCP/IP: dus kan naar overal op deze wereld: enkel de gewijzigde blocks Pure TCP/IP: dus kan naar overal op deze wereld: enkel de gewijzigde blocks Volledige synchroniseren van 2 remote volumes Volledige synchroniseren van 2 remote volumes Mirror van Homes, groepen en PACS. Mirror van Homes, groepen en PACS. Vandaag: 15’ achter (kan tot 1 minuut) Vandaag: 15’ achter (kan tot 1 minuut) Overschakelen: 15’ (vooral aanpassen WINS en DNS) Overschakelen: 15’ (vooral aanpassen WINS en DNS)

20 QUOTA User quota: User quota: –Op de home-mappen –Alle users: 100 MB –Heavy users: krijgen meer (tot 40 GB) –Configuratie via RSH, j-script en op basis van user- database Qtree quota: Qtree quota: –Voor op groepen-mappen –Manuele aanpassingen, wel automatische reporting

21 Eerste configuratie F740 F740 500 GB (Bruto) 500 GB (Bruto) 100 Mb interface 100 Mb interface Deel van de home- mappen Deel van de home- mappen Deel van de groepen mappen Deel van de groepen mappen TOASTER GROEPEN HOMES

22 Configuratie mei 2001 Bruto Capaciteit: 1 TB F740, 2 disk shelfs 7 x 72 GB 1 Gb ethernet TOASTER GROEPEN HOMES MIXER HOMES GROEPEN SLAAP- LABO Bruto Capaciteit: 2 TB F820, 4 disk shelfs 7 x 72 GB 1 Gb ethernet mirror

23 Configuratie januari 2002 Bruto Capaciteit: 3 TB F840, 2 disk shelfs 7 x 72 GB; 2 disk shelfs 14 x 72 GB TOASTER GROEPEN HOMES MIXER HOMES GROEPEN SLAAP- LABO Bruto Capaciteit: 2.5 TB F820, 5 disk shelfs 7 x 72 GB PACS

24 Configuratie juni 2002 Bruto Capaciteit: 3 TB F840, 2 disk shelfs 7 x 72 GB; 2 disk shelfs 14 x 72 GB TOASTER GROEPEN MIXER HOMES SLAAP- LABO Bruto Capaciteit: 2.5 TB F820, 5 disk shelfs 7 x 72 GB PACS FREEZER GROEPEN HOMES PACS PACS 2 12 TB R100 Dumps Sybase

25 Enkele cijfertjes Home-mappen: Home-mappen: –2800 geconnecteerde cliënts –Meer dan 6000 open files –Groei: 600 MB/dag PACS: PACS: –Groei: 6 TB / jaar Aantal disks: Aantal disks: –161 Schijven (van 72 en 136 GB) of 17.5 TB

26 Aantal toepassingen CIFS: CIFS: –Bureautica data: home en groepen (1 TB) –Medische toepassingen (fileserver):  Slaaplabo (0.7 TB)  Digitale microscopie beelden (0.1 TB) –Intranet web-site –Verloning PeopleSoft –PACS (1.5 TB)

27 Aantal toepassingen NFS: NFS: –Dumps en logs van Sybase (1.8 TB) –Proton DB (files) –Doorgeef luiken tussen NT en Unix –PACS Toekomst: DB’s Toekomst: DB’s –SQL (via files en via blocks) –Exchange

28 Samengevat Begonnen als eenvoudige consolidatie van storage voor bureautica Begonnen als eenvoudige consolidatie van storage voor bureautica –Nu strategische storage oplossing voor hele IT Begonnen met NT/W2K wereld (cifs) Begonnen met NT/W2K wereld (cifs) –Nu ook unix wereld (nfs) Begonnen met files-writing Begonnen met files-writing –Nu ook met block-mode

29 Boodschappen die ik wens te geven Storage is een software probleem geen hardware probleem! Storage is een software probleem geen hardware probleem! SAN, NAS zijn vooral commercieel verschillende producten: netwerk storage. SAN, NAS zijn vooral commercieel verschillende producten: netwerk storage. IP zal FC vervangen aan de front end. IP zal FC vervangen aan de front end. Storage-administrator wordt de netwerk- administrator van de jaren ‘90. Storage-administrator wordt de netwerk- administrator van de jaren ‘90.