De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

| 17-11-2011 | Author Region | Sector | Division | Department 17-11-2011 Oracle Exadata Migraties.

Verwante presentaties


Presentatie over: "| 17-11-2011 | Author Region | Sector | Division | Department 17-11-2011 Oracle Exadata Migraties."— Transcript van de presentatie:

1 | | Author Region | Sector | Division | Department Oracle Exadata Migraties

2 Even voorstellen.... Rob Lasonder. Momenteel werkzaam bij Global Exadata Competence Center Atos (GECC) Werk met Oracle vanaf versie 6 Werk met Exadata vanaf versie V2. OCP 8.0 t/m 11g OCE Exadata en RAC 11g 3 artikelen Exadata migratie project:

3 ATOS GECC Global Exa”data” Competence Center...

4 Inhoudsopgave ▶ I Intro: interne use Case Exadata ▶ II Positionering Exadata ▶ III Specifieke Exadata features ▶ IV Motivatie voor Exadata & licenties ▶ Pauze... ▶ V Migraties naar Exadata – A Motivatie – B Voorbereiding en aandachtspunten – C Use Case 1: VLDB DWH migratie – D Use Case 2: DB Consolidatie – (E Use Case 3: VLDB DB migratie/consolidatie) – F Lessons Learned

5 ONDERDEEL 1 : INTERNE USE CASE

6 EEeEEe I Interne casus Exadata Complex Query on conventional ticketing System cell_offload_processing = false;

7 ONDERDEEL II POSITIONERING EXADATA

8 II Positonering Exadata: Wat is Exadata? ▶ Engineered system ▶ Geoptimaliseerd voor databases => database applicance. ▶ Oracle 11gR2 RAC (multi- instances) ▶ Oracle Enterprise Linux ▶ Inclusief storage

9 II Positionering Exadata: Engineered systems....

10 II Positionering Exadata: Engineered systems....

11 II Positionering Exadata: Engineered systems.... DdDd

12 II Positionering Exadata: Engineered systems.... DdDd

13 II Positonering Exadata: Oracle “Applicances/Engineered Systems”

14 II Positonering Exadata: Oracle applicance portfolio

15 II Positonering Exadata : Cloud Computing Cloud Computing: on demand network access to a shared pool of configurable and scalable computing resources or shared services. Voordelen: Verminderde kosten Verminderde complexiteit Hogere Quality of Service Grotere flexibiliteit Schaalbaarheid (elastic cloud) Cloud Computing Service models: SaaS (software as a service) PaaS (platform as a service) IaaS (Infrastructure as a service

16 II Positonering Exadata : Cloud Computing ▶ Public versus Private Clouds ▶ Problemen bij public clouds: – Availability & performance SLA – Data Security – Licenties – Grote klanten vaak meer dan voldoende voor private clouds – Oracle bouwstenen (1/8 rack X3) gesized voor kleinere accounts ▶ Exadata met name ingezet bij private clouds – Wel enabelen interne doorbelasting (OEM12c/maatwerk)

17 II Exadata “Appliance” ▶ Voorgeconfigureerde database machine. Voorzien van hardware, software en storage. Speciale software op storage niveau. ▶ Schaalbaar. Van 1/8 (X3) Exadata tot 8 Full Exadata Machines.

18 II Exadata ontwikkeling I DDdDDd

19 II Exadata ontwikkeling II DDdDDd Exadata ontwikkeling: Hardware (meer memory, flash, storage, cpu) Software (uitbreiding mogelijkheden) Beheer (patching, monitoring, deployment. OEM12c) DDDD

20 ONDERDEEL III SPECIFIEKE EXADATA FEATURES DDdDDd DDDD

21 III Specifieke Exadata Features Nieuw systeem: nieuwe snelle hardware, storage, flash kaarten, infiniband netwerk SAS/SATA disken leveren hoge throughput Infiniband levert 40 Gb/sec netwerk snelheid Systeem schaalbaar, uitermate geschikt voor parallelisatie Maar.... nog geen Exadata

22 III Specifieke Exadata Features: Smart Scans 1 Smart Scan: Een query die deels wordt uitgevoerd op de storage server. 3 optimizations: Column projection Predicate filtering Storage indexes

23 III Specifieke Exadata Features: Smart Scans 2 Een Smart Scan vindt plaats onder: Bepaalde operaties: Full Table Scans and Fast Full Index Scans. Bepaalde condities: Direct path reads Bypass buffer cache, oracle blokken in PGA i.p.v. SGA Bij Full Table Scans, Sorts, Parallelle queries See MOS Notes and for more info on Direct Path Reads

24 III Specifieke Exadata Features: Smart Scans 3 Omstandigheden kunnen een smart scan verhinderen: Chained or migrated rows Bepaalde functies select name, offloadable from v$sql_metadata order by name; “Kleine” tabellen (“_small_table_threshold) Hints

25 III Demo omgeving

26 III DEMO SMART SCAN

27 III Specifieke Exadata Features: Smart Flash Cache 1 Elke (X2) storage server heeft 4 x 96 GB PCI Flashkaarten = 384 GB flash cache Flash cache kan ook als flash disk geconfigureerd worden. Elke storage server: IOPS. (20 x meer dan “normale” disken) Smart Flash cache: Alleen random I/O wordt gecached. Zowel data- als index blokken I/O mirrors, backup operaties, datapump operaties niet gecached. Tabellen kunnen gepinned worden in cache => alter table item_sale_big storage (cell_flash_cache keep); Vanaf by default 512 MB smart flash logs (caching control file reads &writes) In X3 een aantal uitbreidingen Smart Flash Cache X3 heeft 4 x 400 GB Flashkaarten = 1600 GB flash cache Smart Flash Write Cache. Caching van write I/O, persistent Flash Card failures opgelost binnen +ASM software (transparant) In-memory database

28 III Specifieke Exadata Features: Smart Flash Cache 2 Elke (X2) storage server heeft 4 x 96 GB PCI Flashkaarten = 384 GB flash cache Flash cache kan ook als flash disk geconfigureerd worden. Elke storage server: IOPS. (20 x meer dan “normale” disken) Smart Flash cache: Alleen random I/O wordt gecached. Zowel data- als index blokken I/O mirrors, backup operaties, datapump operaties niet gecached. Tabellen kunnen gepinned worden in cache => alter table item_sale_big storage (cell_flash_cache keep); Vanaf by default 512 MB smart flash logs (caching control file reads &writes) In X3 een aantal uitbreidingen Smart Flash Cache X3 heeft 4 x 400 GB Flashkaarten = 1600 GB flash cache Smart Flash Write Cache. Caching van write I/O, persistent Flash Card failures opgelost binnen +ASM software (transparant) In-memory database

29 III Specifieke Exadata Features: Smart Flash Cache 3 Smart Flash Cache versus Database Buffer Cache Smart Flash Cache versus Database Flash Cache (DBFC)

30

31 III Specifieke Exadata Features: Storage Indexes 1 Van elke 1 MB “chunk” per storage server record MIN,MAX,NULL values Volledig transparant, tot 8 kolommen Doel: eliminatie disk I/O. Geen traditionele index: “False Positives” Alleen bij smart scans, query met where clause Lijkt op partition pruning A simple comparison operator ( =,, BETWEEN, IS NULL restricties: Column encryption, LOBs, CLOBs,Not equals (!=) operators, Wildcards, Where clauses which uses subqueries, Clustered tables NIET PERSISTENT => grilligheid performance > 8 kolommen => grilligheid performance

32 III Specifieke Exadata Features: EHCC Compression 2 EHCC: tabellen georganiseerd in compression units (default 32 KB) Een compression unit omvat meerdere Oracle blokken Per compression unit : groeperen op kolom niveau

33 III Specifieke Exadata Features: EHCC Compression 3 Hybrid Columnar Compression werkt bij bulk operaties, zoals: Insert statements with the APPEND hint Parallel DML Direct Path SQL*Loader Create Table as Select (CTAS) DatabaseSource DBTarget DBCompressie Factor DWHP GB5.895 GB2,8 DWHKDP GB1.093 GB11,8

34 III DEMO EHCC COMPRESSIE 4

35 Onderdeel IV : MOTIVATIE VOOR EXADATA OverviewThe SituationBenefitsExperience * Ballpark figure in this stage not guaranteed

36 IV Motivatie Exadata : More for less ▶ More CPU power – 68% more cpu power ▶ More Green-it – Energy reduction with 40% – Floor reduction with 33% ▶ More storage available – 4,4 TB (more expected trough Exadata compression ▶ More possibilities for the business ▶ Less Costs – Cost reduction for the infrastructure with 32%* Savings up to 850K Euro per year Extra savings on Oracle licenses – From 288  96 licenses OverviewThe SituationBenefitsExperience Overview The SituationThe ServicesBenefitsExperience * Ballpark figure in this stage not guaranteed

37 IV Motivatie voor Exadata: licenties “VERPLICHT” ▶ Oracle Exadata Storage Software ▶ Oracle 11gR2 Enterprise Edition OPTIONEEL ▶ Oracle 11gR2 RAC ▶ Oracle Partitioning ▶ Oracle Advanced Compression ▶ Oracle Enterprise Manager Diagnostics & Tuning pack ▶ Oracle Advanced Security ▶ ZFS appliance: replicatie en cloning ▶ OWB licenties : Design/Runtime ▶... OverviewThe SituationBenefitsExperience Door dit van te voren goed uit te zoeken kan geld worden bespaard.

38 PAUZE

39 V-a Migratie Exadata : positionering Inventarisatie Bestelling & Levering Configuratie Migratie Consolidatie Memory CPU Storage I/O throughput Backup DR OTA <> P IP plan POC Pre-delivery survey sheet On Site Visit Oracle 6 weken levertijd Oracle ACS setup Additional setup: Monitoring Backup DR DBFS Overgang beheer Restpunten Plan tijd !! Nieuw in X3 Exadata Deployment Assistant ipv excel

40 V-b Aandachtspunten bij inventarisatie Denk na over de doel architectuur + OTAP/DR indeling Denk na over de migratie strategie en de migratie architectuur. Denk na over de impact van de migratie Denk na over de hoeveelheid storage Denk na over het beheer & licenties. Maak afspraken over beschikbaarheid, onderhoudswindows, patching Denk na over capacity management Denk na over impact migratie HHhHHh

41 V-b Denk na over: referentie architectuur Exadata HHhHHh

42 V-b Denk na over: migratie architectuur en migratie strategie HHhHHh Migratie strategie : afhankelijk van Migratie window. Migratie planning. Migratie window: Hoe lang mag de database down, hoe groot is de database? Migratie planning: Hoe lang loopt het migratie project. (vaak langer lopende projecten die een semi permanente migratie architectuur vereisen.

43 V-b Denk na over: migratie architectuur en migratie strategie HHhHHh

44 V-b Denk na over: migratie architectuur en migratie strategie HHhHHh

45 V-b Denk na over: migratie architectuur en migratie strategie HHhHHh 10 Gb kaarten aanschaffen Exadata/ Sun ZFS applicance. + source database servers euro Sun ZFS storage applicance 2 kaarten

46 V-b Denk na over: migratie architectuur en migratie strategie HHhHHh Alternatieve route: netwerk import

47 V-b Denk na over: migratie architectuur en migratie strategie HHhHHh Migratie methode afhankelijk van omstandigheden (db omvang / migratie window). KISS

48 V-b Denk na over: impact migratie HHhHHh Databases draaien op Oracle Enterprise Linux (little endian) Databases Oracle 11gR2 (obsolete/new features) Multi-instance databases (RAC) Exadata specifieke zaken: EHCC / smart scans Bij consolidatie: VEEL databases in beheer: opzetten standaards & richtlijnen en borgen configuratie settings.

49 V-b Denk na over: impact migratie HHhHHh ss

50 V-b Denk na over: impact migratie Quality Check HHhHHh ss

51 V-b Denk na over: impact migratie Quality Check HHhHHh ss

52 V-b Denk na over : exadata storage HHhHHh Belangrijke zaken vooraf: Redundancy : NORMAL of HIGH 50% of 66% “overhead” Backup : Intern (binnen Exadata) of Extern FRA: => 40/60 versus 80/20 EHCC compressie => kan veel opleveren afhankelijk type data Type disken : SAS High Performance (600 GB) of SATA High Capacity (3 TB)

53 V-b Denk na over: exadata storage HHhHHh Rekenvoorbeeld: ½ Exadata met SATA High Capacitiy disken en externe backup 7 (storage servers) x 12 (disken) x 3 TB = 252 TB 126 TBRedundancy 50 % 90 TBRedundancy 50 % 36 TB - Uitval 1 server - Redundancy - FRA/Data (20/80) % 72 TBRedundancy 50 % 36 TB 18 TB 58 TBRedundancy 50 % 36 TB 18 TB - Alert threshold (80%) 14 TB

54 V-b Denk na over: beheer en licenties OverviewThe SituationBenefitsExperience Traditioneel beheer (organisatie centraal) systeembeheer netwerk beheer database beheer storage (SAN) beheer backup beheer

55 V-b Denk na over: beheer en licenties OverviewThe SituationBenefitsExperience Exadata beheer (oplossing centraal) database beheer DBA 2.0 (http://prutser.wordpress.com Database Beheer: RAC/+ASM !! Storage Server Beheer Linux Systeem Beheer Netwerk Beheer (m.n. inrichting) Sun ZFS storage appliance...

56 CASUS 1: DATAWAREHOUSE MIGRATIE OverviewThe SituationBenefitsExperience DdDd Casus: migratie van 40 TB Datawarehouse (6 databases) van Oracle9i Standalone op Sun Solaris naar Oracle Exadata V2 1 full rack met SAS ½ rack met SATA disken Separate presentatie

57 CASUS 2: DATABASE CONSOLIDATIE OverviewThe SituationBenefitsExperience DdDd Casus: Neerzetten van platform voor honderden databases m.b.v. Exadata. (Teller staat momenteel op 280) Separate presentatie

58 CASUS 3: MIGRATIE ORACLE OHI BO DB - 1 OverviewThe SituationBenefitsExperience Vooraf proof of concept. Positief.

59 CASUS 3: MIGRATIE ORACLE OHI BO DB - 2 OverviewThe SituationBenefitsExperience

60 CASUS 3: MIGRATIE ORACLE OHI BO DB - 2 OverviewThe SituationBenefitsExperience Werkinstructie nalopen op WIKI, of werkinstructie_import.PDF

61 CASUS 3: Lessons learned 1 OverviewThe SituationBenefitsExperience De meeste issues deden zich voor op grensvlak applicatie & database. Houd een bevindingen administratie bij en bestuur dit projectmatig.

62 CASUS 3: Lessons learned 2 OverviewThe SituationBenefitsExperience Bevindingen administratie in Issue Tracker Dd dd

63 CASUS 3: Lessons learned 3 OverviewThe SituationBenefitsExperience Bekijk de import log file, registreer bevindingen Dd dd

64 CASUS 3: Lessons learned 4 OverviewThe SituationBenefitsExperience Vergelijk de target en de source database, liefst geautomatiseerd Dd dd

65 CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 1 OverviewThe SituationBenefitsExperience Query 1: index sequential read Deze query bestaat uit het tellen van de rijen door het doorlopen van een index van een tabel met bijna 6 miljard rijen. Hiermee wordt een beeld gegeven van de snelheid waarmee het systeem een grote index kan doorlopen. Exadata voert deze query ruim 5 sneller uit dan AIX. Bij parallelle verwerking is dat zelfs ruim 12 keer.

66 CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 2 OverviewThe SituationBenefitsExperience Query 2: Deze query selecteert uit vijf grotere tabellen de financiële en declaratiegegevens van een bepaald merk over een bepaald merk. Het is een lastige query vanwege de grootte van de tabellen.

67 CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 3 OverviewThe SituationBenefitsExperience Batchprogramma 1 2 financiele batches. Noot: parallelisme staat uit. Tevens niet elke batch geschikt voor multi instance

68 CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 2 OverviewThe SituationBenefitsExperience Batchprogramma 2: Deze query selecteert uit vijf grotere tabellen de financiële en declaratiegegevens van een bepaald merk over een bepaald merk. Het is een lastige query vanwege de grootte van de tabellen.

69 V-e Lessons Learned : backup & recovery OverviewThe SituationBenefitsExperience ▶ Op Exadata andere doorlooptijden. Als voorbeeld backup & recovery ▶ Type backup: incrementally updated copy. (eenmalig L0 backup, aansluitend alleen incrementals). Backup naar Sun ZFS storage appliance. ▶ Backup & Restore tijden: DB 6,5 TB. Totale restore in ongeveer 6 uur. – L0 backup: 6 uur – L1 backup (differential): 0 – 1 uur. – Recovery: 6 uur 2,5 uur restore (6,5 TB in 2,5 uur = 2,4 TB per uur) 2,5 uur recovery (backup loopt 14 dagen achter) 1 uur overhead

70 V-e Lessons Learned : backup & recovery OverviewThe SituationBenefitsExperience

71 V-e Lessons Learned : capaciteits management: Databases/Instances OverviewThe SituationBenefitsExperience eee

72 V-e Lessons Learned : capaciteits management MEMORY OverviewThe SituationBenefitsExperience Eeee eeeee

73 V-e Lessons Learned : capaciteits management CPU OverviewThe SituationBenefitsExperience Eeee eeeee Ee E e

74 V-e Lessons Learned : capaciteits management storage OverviewThe SituationBenefitsExperience Eeee eeeee Ee E e

75


Download ppt "| 17-11-2011 | Author Region | Sector | Division | Department 17-11-2011 Oracle Exadata Migraties."

Verwante presentaties


Ads door Google