Oracle Exadata Migraties

Even voorstellen . . . . Rob Lasonder. Momenteel werkzaam bij Global Exadata Competence Center Atos (GECC) Werk met Oracle vanaf versie 6 Werk met Exadata vanaf versie V2. OCP 8.0 t/m 11g OCE Exadata en RAC 11g Email: rob.lasonder@atos.net 3 artikelen Exadata migratie project: http://www.rob.lasonder.org/index.php/my-publications/

0 ATOS GECC Global Exa”data” Competence Center . . .

0 Inhoudsopgave I Intro: interne use Case Exadata II Positionering Exadata III Specifieke Exadata features IV Motivatie voor Exadata & licenties Pauze. . . V Migraties naar Exadata A Motivatie B Voorbereiding en aandachtspunten C Use Case 1: VLDB DWH migratie D Use Case 2: DB Consolidatie (E Use Case 3: VLDB DB migratie/consolidatie) F Lessons Learned

ONDERDEEL 1 : INTERNE USE CASE

I Interne casus Exadata cell_offload_processing = false; Complex Query on conventional ticketing System E e

ONDERDEEL II POSITIONERING EXADATA

II Positonering Exadata: Wat is Exadata? Engineered system Geoptimaliseerd voor databases => database applicance. Oracle 11gR2 RAC (multi- instances) Oracle Enterprise Linux Inclusief storage

II Positionering Exadata: Engineered systems . . . .

II Positionering Exadata: Engineered systems . . . .

II Positionering Exadata: Engineered systems . . . .

II Positionering Exadata: Engineered systems . . . .

II Positonering Exadata: Oracle “Applicances/Engineered Systems”

II Positonering Exadata: Oracle applicance portfolio

II Positonering Exadata : Cloud Computing Cloud Computing: on demand network access to a shared pool of configurable and scalable computing resources or shared services. Voordelen: Verminderde kosten Verminderde complexiteit Hogere Quality of Service Grotere flexibiliteit Schaalbaarheid (elastic cloud) Cloud Computing Service models: SaaS (software as a service) PaaS (platform as a service) IaaS (Infrastructure as a service

II Positonering Exadata : Cloud Computing Public versus Private Clouds Problemen bij public clouds: Availability & performance SLA Data Security Licenties Grote klanten vaak meer dan voldoende voor private clouds Oracle bouwstenen (1/8 rack X3) gesized voor kleinere accounts Exadata met name ingezet bij private clouds Wel enabelen interne doorbelasting (OEM12c/maatwerk)

II Exadata “Appliance” Voorgeconfigureerde database machine. Voorzien van hardware, software en storage. Speciale software op storage niveau. Schaalbaar. Van 1/8 (X3) Exadata tot 8 Full Exadata Machines.

II Exadata ontwikkeling I

II Exadata ontwikkeling II Hardware (meer memory, flash, storage, cpu) Software (uitbreiding mogelijkheden) Beheer (patching, monitoring, deployment. OEM12c) D

ONDERDEEL III SPECIFIEKE EXADATA FEATURES

III Specifieke Exadata Features Nieuw systeem: nieuwe snelle hardware, storage, flash kaarten, infiniband netwerk SAS/SATA disken leveren hoge throughput Infiniband levert 40 Gb/sec netwerk snelheid Systeem schaalbaar, uitermate geschikt voor parallelisatie Maar . . . . nog geen Exadata

III Specifieke Exadata Features: Smart Scans 1 Smart Scan: Een query die deels wordt uitgevoerd op de storage server. 3 optimizations: Column projection Predicate filtering Storage indexes

III Specifieke Exadata Features: Smart Scans 2 Een Smart Scan vindt plaats onder: Bepaalde operaties: Full Table Scans and Fast Full Index Scans. Bepaalde condities: Direct path reads Bypass buffer cache, oracle blokken in PGA i.p.v. SGA Bij Full Table Scans, Sorts, Parallelle queries See MOS Notes 793845.1 and 50415.1 for more info on Direct Path Reads

III Specifieke Exadata Features: Smart Scans 3 Omstandigheden kunnen een smart scan verhinderen: Chained or migrated rows Bepaalde functies select name, offloadable from v$sql_metadata order by name; “Kleine” tabellen (“_small_table_threshold) Hints

III Demo omgeving

III DEMO SMART SCAN

III Specifieke Exadata Features: Smart Flash Cache 1 Elke (X2) storage server heeft 4 x 96 GB PCI Flashkaarten = 384 GB flash cache Flash cache kan ook als flash disk geconfigureerd worden. Elke storage server: 75.000 IOPS. (20 x meer dan “normale” disken) Smart Flash cache: Alleen random I/O wordt gecached. Zowel data- als index blokken I/O mirrors, backup operaties, datapump operaties niet gecached. Tabellen kunnen gepinned worden in cache => alter table item_sale_big storage (cell_flash_cache keep); Vanaf 11.2.0.2 by default 512 MB smart flash logs (caching control file reads &writes) In X3 een aantal uitbreidingen Smart Flash Cache X3 heeft 4 x 400 GB Flashkaarten = 1600 GB flash cache Smart Flash Write Cache. Caching van write I/O, persistent Flash Card failures opgelost binnen +ASM software (transparant) In-memory database

III Specifieke Exadata Features: Smart Flash Cache 2 Elke (X2) storage server heeft 4 x 96 GB PCI Flashkaarten = 384 GB flash cache Flash cache kan ook als flash disk geconfigureerd worden. Elke storage server: 75.000 IOPS. (20 x meer dan “normale” disken) Smart Flash cache: Alleen random I/O wordt gecached. Zowel data- als index blokken I/O mirrors, backup operaties, datapump operaties niet gecached. Tabellen kunnen gepinned worden in cache => alter table item_sale_big storage (cell_flash_cache keep); Vanaf 11.2.0.2 by default 512 MB smart flash logs (caching control file reads &writes) In X3 een aantal uitbreidingen Smart Flash Cache X3 heeft 4 x 400 GB Flashkaarten = 1600 GB flash cache Smart Flash Write Cache. Caching van write I/O, persistent Flash Card failures opgelost binnen +ASM software (transparant) In-memory database

III Specifieke Exadata Features: Smart Flash Cache 3 Smart Flash Cache versus Database Buffer Cache Smart Flash Cache versus Database Flash Cache (DBFC)

III Specifieke Exadata Features: Storage Indexes 1 Van elke 1 MB “chunk” per storage server record MIN,MAX,NULL values Volledig transparant, tot 8 kolommen Doel: eliminatie disk I/O. Geen traditionele index: “False Positives” Alleen bij smart scans, query met where clause Lijkt op partition pruning A simple comparison operator ( =, < , > , BETWEEN, IS NULL restricties: Column encryption, LOBs, CLOBs,Not equals (!=) operators, Wildcards, Where clauses which uses subqueries, Clustered tables NIET PERSISTENT => grilligheid performance > 8 kolommen => grilligheid performance

III Specifieke Exadata Features: EHCC Compression 2 EHCC: tabellen georganiseerd in compression units (default 32 KB) Een compression unit omvat meerdere Oracle blokken Per compression unit : groeperen op kolom niveau

III Specifieke Exadata Features: EHCC Compression 3 Hybrid Columnar Compression werkt bij bulk operaties, zoals: Insert statements with the APPEND hint Parallel DML Direct Path SQL*Loader Create Table as Select (CTAS) Database Source DB Target DB Compressie Factor DWHP 16.567 GB 5.895 GB 2,8 DWHKDP 12.288 GB 1.093 GB 11,8

III DEMO EHCC COMPRESSIE 4

Onderdeel IV : MOTIVATIE VOOR EXADATA Overview The Situation Benefits Experience * Ballpark figure in this stage not guaranteed

IV Motivatie Exadata : More for less Overview The Situation The Services Benefits Experience Overview The Situation Benefits Experience More CPU power 68% more cpu power More Green-it Energy reduction with 40% Floor reduction with 33% More storage available 4,4 TB (more expected trough Exadata compression More possibilities for the business Less Costs Cost reduction for the infrastructure with 32%* Savings up to 850K Euro per year Extra savings on Oracle licenses From 288  96 licenses * Ballpark figure in this stage not guaranteed

IV Motivatie voor Exadata: licenties “VERPLICHT” Oracle Exadata Storage Software Oracle 11gR2 Enterprise Edition OPTIONEEL Oracle 11gR2 RAC Oracle Partitioning Oracle Advanced Compression Oracle Enterprise Manager Diagnostics & Tuning pack Oracle Advanced Security ZFS appliance: replicatie en cloning OWB licenties : Design/Runtime . . . Overview The Situation Benefits Experience Door dit van te voren goed uit te zoeken kan geld worden bespaard.

PAUZE

V-a Migratie Exadata : positionering Inventarisatie Bestelling & Levering Configuratie Migratie Consolidatie Memory CPU Storage I/O throughput Backup DR OTA <> P IP plan POC Pre-delivery survey sheet On Site Visit Oracle 6 weken levertijd Oracle ACS setup Additional setup: Monitoring Backup DR DBFS Overgang beheer Restpunten Plan tijd !! Nieuw in X3 Exadata Deployment Assistant ipv excel

V-b Aandachtspunten bij inventarisatie Denk na over de doel architectuur + OTAP/DR indeling Denk na over de migratie strategie en de migratie architectuur. Denk na over de impact van de migratie Denk na over de hoeveelheid storage Denk na over het beheer & licenties. Maak afspraken over beschikbaarheid, onderhoudswindows, patching Denk na over capacity management Denk na over impact migratie H h

V-b Denk na over: referentie architectuur Exadata

V-b Denk na over: migratie architectuur en migratie strategie Migratie strategie : afhankelijk van Migratie window. Migratie planning. Migratie window: Hoe lang mag de database down, hoe groot is de database? Migratie planning: Hoe lang loopt het migratie project. (vaak langer lopende projecten die een semi permanente migratie architectuur vereisen. H h

V-b Denk na over: migratie architectuur en migratie strategie

V-b Denk na over: migratie architectuur en migratie strategie

V-b Denk na over: migratie architectuur en migratie strategie 10 Gb kaarten aanschaffen Exadata/ Sun ZFS applicance. + source database servers 5.000 euro Sun ZFS storage applicance 2 kaarten H h

V-b Denk na over: migratie architectuur en migratie strategie Alternatieve route: netwerk import H h

V-b Denk na over: migratie architectuur en migratie strategie Migratie methode afhankelijk van omstandigheden (db omvang / migratie window). KISS H h

V-b Denk na over: impact migratie Databases draaien op Oracle Enterprise Linux (little endian) Databases Oracle 11gR2 (obsolete/new features) Multi-instance databases (RAC) Exadata specifieke zaken: EHCC / smart scans Bij consolidatie: VEEL databases in beheer: opzetten standaards & richtlijnen en borgen configuratie settings. H h

V-b Denk na over: impact migratie ss H h

V-b Denk na over: impact migratie Quality Check ss H h

V-b Denk na over: impact migratie Quality Check ss H h

V-b Denk na over : exadata storage Belangrijke zaken vooraf: Redundancy : NORMAL of HIGH 50% of 66% “overhead” Backup : Intern (binnen Exadata) of Extern FRA: => 40/60 versus 80/20 EHCC compressie => kan veel opleveren afhankelijk type data Type disken : SAS High Performance (600 GB) of SATA High Capacity (3 TB) H h

V-b Denk na over: exadata storage Rekenvoorbeeld: ½ Exadata met SATA High Capacitiy disken en externe backup 7 (storage servers) x 12 (disken) x 3 TB = 252 TB 126 TB Redundancy 50 % - Redundancy 90 TB 36 TB Redundancy 50 % - Uitval 1 server 72 TB 18 TB 36 TB Redundancy 50 % - FRA/Data (20/80) % 58 TB 14 TB 18 TB 36 TB Redundancy 50 % - Alert threshold (80%) H h

V-b Denk na over: beheer en licenties Overview The Situation Benefits Experience Traditioneel beheer (organisatie centraal) database beheer systeembeheer netwerk beheer storage (SAN) beheer backup beheer

V-b Denk na over: beheer en licenties Overview The Situation Benefits Experience Exadata beheer (oplossing centraal) database beheer DBA 2.0 (http://prutser.wordpress.com Database Beheer: RAC/+ASM !! Storage Server Beheer Linux Systeem Beheer Netwerk Beheer (m.n. inrichting) Sun ZFS storage appliance . . .

CASUS 1: DATAWAREHOUSE MIGRATIE Overview The Situation D d Benefits Experience Casus: migratie van 40 TB Datawarehouse (6 databases) van Oracle9i Standalone op Sun Solaris naar Oracle Exadata V2 1 full rack met SAS ½ rack met SATA disken Separate presentatie

CASUS 2: DATABASE CONSOLIDATIE Overview The Situation D d Benefits Experience Casus: Neerzetten van platform voor honderden databases m.b.v. Exadata. (Teller staat momenteel op 280) Separate presentatie

CASUS 3: MIGRATIE ORACLE OHI BO DB - 1 Vooraf proof of concept. Positief. Overview The Situation Benefits Experience

CASUS 3: MIGRATIE ORACLE OHI BO DB - 2 Overview The Situation Benefits Experience

CASUS 3: MIGRATIE ORACLE OHI BO DB - 2 Overview The Situation Benefits Experience Werkinstructie nalopen op WIKI, of werkinstructie_import.PDF

CASUS 3: Lessons learned 1 De meeste issues deden zich voor op grensvlak applicatie & database. Houd een bevindingen administratie bij en bestuur dit projectmatig. Overview The Situation Benefits Experience

CASUS 3: Lessons learned 2 Bevindingen administratie in Issue Tracker Overview The Situation Benefits Experience Dd dd

CASUS 3: Lessons learned 3 Bekijk de import log file, registreer bevindingen Overview The Situation Benefits Experience Dd dd

CASUS 3: Lessons learned 4 Vergelijk de target en de source database, liefst geautomatiseerd Overview The Situation Benefits Experience Dd dd

CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 1 Overview Query 1: index sequential read The Situation Benefits Experience Deze query bestaat uit het tellen van de rijen door het doorlopen van een index van een tabel met bijna 6 miljard rijen. Hiermee wordt een beeld gegeven van de snelheid waarmee het systeem een grote index kan doorlopen. Exadata voert deze query ruim 5 sneller uit dan AIX. Bij parallelle verwerking is dat zelfs ruim 12 keer.

CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 2 Overview Query 2: The Situation Benefits Experience Deze query selecteert uit vijf grotere tabellen de financiële en declaratiegegevens van een bepaald merk over een bepaald merk. Het is een lastige query vanwege de grootte van de tabellen.

CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 3 Overview Batchprogramma 1 2 financiele batches. The Situation Benefits Experience Noot: parallelisme staat uit. Tevens niet elke batch geschikt voor multi instance

CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 2 Overview Batchprogramma 2: The Situation Benefits Experience Deze query selecteert uit vijf grotere tabellen de financiële en declaratiegegevens van een bepaald merk over een bepaald merk. Het is een lastige query vanwege de grootte van de tabellen.

V-e Lessons Learned : backup & recovery Op Exadata andere doorlooptijden. Als voorbeeld backup & recovery Type backup: incrementally updated copy. (eenmalig L0 backup, aansluitend alleen incrementals). Backup naar Sun ZFS storage appliance. Backup & Restore tijden: DB 6,5 TB. Totale restore in ongeveer 6 uur. L0 backup: 6 uur L1 backup (differential): 0 – 1 uur. Recovery: 6 uur 2,5 uur restore (6,5 TB in 2,5 uur = 2,4 TB per uur) 2,5 uur recovery (backup loopt 14 dagen achter) 1 uur overhead Overview The Situation Benefits Experience

V-e Lessons Learned : backup & recovery Overview The Situation Benefits Experience

V-e Lessons Learned : capaciteits management: Databases/Instances Overview The Situation Benefits Experience eee

V-e Lessons Learned : capaciteits management MEMORY Overview The Situation Benefits Experience Eeee eeeee

V-e Lessons Learned : capaciteits management CPU Overview The Situation Benefits Experience Ee E e Eeee eeeee

V-e Lessons Learned : capaciteits management storage Overview The Situation Benefits Experience Ee E e Eeee eeeee