Atos, Atos and fish symbol, Atos Origin and fish symbol, Atos Consulting, and the fish itself are registered trademarks of Atos Origin SA. October 2009 © 2009 Atos Origin. Confidential information owned by Atos Origin, to be used by the recipient only. This document or any part of it, may not be reproduced, copied, circulated and/or distributed nor quoted without prior written approval from Atos Origin. projecten & beheer Jannes Arends, Rob Lasonder Dusseldorf, O9i VLDB datawarehouse migratie naar Exadata

2 Custom presentation- or document control name 3 artikelen Oracle Optimize Magazine DWH/Exadata migratie project:

3 Custom presentation- or document control name 0 Introductie: Snelcursus Duits Die Datei Het bestand Ein Patch einspielen Een patch inrollen

4 Custom presentation- or document control name Agenda »Introductie »Voorbereiding Exadata database machine »Inventarisatie bron databases »Inventarisatie Exadata machine »Instance mapping en aanmaken instances op Exadata »Resource management (AWR, instance caging, db resource management) »Aanmaken DBFS voor beheer (geen ACFS support voor exadata) »De migratie »Migratie strategie »Partitionering en parallellisatie »Inregelen compressie (OLTP en EHCC) »Testing & Results »Inregelen beheer »Backup en uitwijk »Monitoring

5 Custom presentation- or document control name 0 Introductie: Aandachtspunten bij de migratie »Oracle9i => Oracle11g »Connect role (connect_9i), default profile unexpire »Oracle10g + 11g new features »Oracle parameters »“Issues”: dbms_pipe, utl_file_dir, distributed transactions, database links »Single instance database => RAC database »Instance mapping »Resource management: inter-instance level: AWM (services), »Resource management: instance level: instance caging »Resource management: intra-instance: database resource management »Diverse aandachtspunten: utl_file_dir, connectivity (scan listeners) »Oracle VLDB aspecten »Migratie strategie »Partitionering en parallellisatie »Oracle Exadata aspecten »Compressie (OLTP en EHCC) »Performance (query offload e.d.) »Backup en uitwijk »Beheer (storage cells en database servers) en monitoring

6 Custom presentation- or document control name 0 Introductie: oude Oracle landschap All databases are configured as a non-RAC database, where a single instance is mapped to one database. The data is stored in storage devices that are attached to the servers via SAN. 2 VLDB databases (18,7 TB en 13,0 TB) met grote gepartitioneerde tabellen Grootste database SGA 84 GB en PGA 35 GB, 48 CPU Backup voor 2 grote databases via afsplitsen mirrors. Kleine via rman

7 Custom presentation- or document control name 0 Introductie: oude Oracle landschap DatabaseCPUPGASGATOTSIZE GB DWHP0148 (share with DWHKDP01)24 GB84 GB108 GB GB DWHKDP0148 (share with DWHP01)13 GB29 GB42 GB GB DWHE0142 GB3,4 GB6 GB0,4 GB SCOP0121 GB0,6 GB2 GB2,4 GB CMCP0184 GB8,1 GB12 GB2,9 GB CLMP018 (share with CLMD01/CLMD01)3 GB5,0 GB8 GB2,1 GB CLMD018 (share with CLMP01/CLMC01)2 GB3,4 GB6 GB1,5 GB CLMC018 (share with CLMP01/CLMD01)0,6 GB1,0 GB2 GB0,8 GB Totaal7049,6 GB134,5 GB186 GB GB

8 Custom presentation- or document control name 0 Introductie: nieuwe Oracle landschap PROD:1 Exadata machine (SAS-disks), Pre-prod: ½ Exadata machine (SATA-disks) Backup naar externe storage, 110 TB beschikbaar. Via infiniband (40 Gb/s) connectie Externe storage gekoppeld aan tape devices Backup storage via 10 Gb verbinding gespiegeld naar uitwijk locatie Voor externe files NFS filesysteem beschikbaar

9 Custom presentation- or document control name 0 Introductie: nieuwe Oracle landschap Met 1 ½ Exadata rack feitelijk al een heel server landschap in beheer:

10 Custom presentation- or document control name 0 Introductie: Oracle Best Practises Exadata V1 Best practices are usually applicable on V2 Note Oracle Exadata Best Practices: Note Oracle Exadata Performance Best Practices: Note Oracle Exadata Setup/Configuration Best Practices: Note Oracle Exadata High Availability Best Practices: Note Oracle Exadata Diagnosability Best Practices: Note Oracle Exadata Hardware Diagnostics Best Practices: Note Oracle Exadata Security Best Practices: Note Oracle Exadata Manageability Best Practices: Note Oracle Exadata Migration Best Practices: Note Oracle Exadata Backup & Recovery Best Practices: Note Setting up DCLI Utility on Oracle DB host: Note Oracle Exadata Enterprise Manager Best Practices Note Database Machine and Exadata Storage Server 11g Rel2 Supported versions

11 Custom presentation- or document control name I Voorbereiding: inventarisatie bron omgeving * Parameter onderzoek database Parameter onderzoek databases (sizing en config parameters, non default parameters) Zie doc inventarisatie.xls Top 20 tabellen per database opgeslagen. Zie doc top20 tabellen.xls. (top 3 grootste tabellen: DWHKDP:3,6 TB, DWHKDP: 2,9 TB, DWHP: 1,2 TB Van 2 VLDB databases statspack rapport uitgedraaid. 10:00 – 11:00 en 14:00 – 15:00). Zie sp_ _*.txt 2 VLDB databases bekeken met Lab128 V$db_cache_advice en v$pga_target_advice van beide bekeken. (ivm nieuwe sga_target en pga_aggregate_target settings)

12 Custom presentation- or document control name I Voorbereiding: controleer exadata machines * Parameter onderzoek database Database machines worden als een “appliance” opgeleverd, met alle software geinstalleerd en geconfigureerd, met draaiende ASM instances en 1 voorbeeld database. Meestal door Oracle ACS. Oracle levert per database machine een opleverdocument aan de klant. Deze bevat alle specificaties. Zie 112_ExadataDeploymentSummary_v2 1_atos_cami.docx Klant had zelf aangepaste.profile geinstalleerd met allemaal foutieve en obsolete (oracle7, oracle8) settings. Controleer de patches m.b.v. Oracle Note Database machine niet up-to-date met patches. Patchset 7 was uit, tot en met patchset 4 geinstalleerd, OWB patch missing. Zie patches.doc Versie geinstalleerd i.p.v Bug bij gebruik huge pages. 3 dagen na aanvang project dringende melding Oracle dat complete database machine firmware patch moet ivm +ASM diskproblemen. => PROD: 14 storage servers en 8 database servers en TEST 7 storage servers en 4 database servers. Foutieve datum-tijd op de storage servers: 5 uur te laat. Oracle Exacheck Extra eigen cheks

13 Custom presentation- or document control name I Voorbereiding: inventarisatie exadata machines * Parameter onderzoek database Samenvattend: Aanwezig: 8 database nodes met running +ASM instances. Aanwezig: 1 database (dbm) met 8 instances Geconfigureerde +ASM storage. Zie b.v. asmca info:

14 Custom presentation- or document control name I Voorbereiding: inventarisatie exadata machines * Parameter onderzoek database Al met al “bescheiden” hoeveelheid storage beschikbaar van 33 TB Zonder compressie (OLTP,EHCC) past het datawarehouse er niet op.

15 Custom presentation- or document control name I Voorbereiding: instance mapping I DatabaseCPUPGASGATOTSIZE GB DWHP0148 (share with DWHKDP01)24 GB84 GB108 GB GB DWHKDP0148 (share with DWHP01)13 GB29 GB42 GB GB DWHE0142 GB3,4 GB6 GB0,4 GB SCOP0121 GB0,6 GB2 GB2,4 GB CMCP0184 GB8,1 GB12 GB2,9 GB CLMP018 (share with CLMD01/CLMD01)3 GB5,0 GB8 GB2,1 GB CLMD018 (share with CLMP01/CLMC01)2 GB3,4 GB6 GB1,5 GB CLMC018 (share with CLMP01/CLMD01)0,6 GB1,0 GB2 GB0,8 GB Totaal7049,6 GB134,5 GB186 GB GB ResourceBruto per nodeNetto per nodeTotal netto ( x 8) Cpu Memory72 GB60 GB480 GB Storage GB

16 Custom presentation- or document control name I Voorbereiding: instance mapping II Install instances op alle nodes en disable waar nodig. Voordeel: heel makkelijk een instance bij te schakelen of te switchen. Nadeel: REDO en UNDO voor alle instances. (UNDO TBS DWHP > 1 TB)

17 Custom presentation- or document control name I Voorbereiding: algemene db richtlijnen Oracle note (Exadata Best Practises for DWH) Memory: 72 GB per node. 12 GB reserveren voor OS Linux Huge pages toepassen (default uit op exadata) Fileystemio_options op “setall”. (default op none) Bigfile tablespaces met auto allocate Recyclebin off ter voorkoming fragmentatie Geen memory_target maar sga_target/pga_aggregate_target (RA-04031: unable to allocate 4032 bytes of shared memory ) CELL_PARTITION_LARGE_EXTENTS = true Online redo log files van 32 GB, 1 member per groep. Statistics: wel statistics, dictionary stats en v$ stats, geen system statistics SQLNet setup: per node in /etc/system/oracle_admin een tnsnames.ora en sqlnet.ora. In elke $ORACLE_HOME/network/admin een link Enable NFSmount op alle database nodes

18 Custom presentation- or document control name I Voorbereiding: aanmaken instances met dbca After initial creation databases are configured:  Instance setup according to instance mapping document  Creation and sizing of user tablespaces  Configure specific init.ora parameters After migration some additional configuration steps  Configure backup settings: autobackup, force logging, etc. Also database servers are configured: enable cron for oracle, configure sqlnet setup, enable NFS mounts, etc.

19 Custom presentation- or document control name I Voorbereiding: aanmaken instances met dbca Aanmaken database m.b.v. DBCA. (8 minuten)

20 Custom presentation- or document control name I Voorbereiding: configuratie database Na afloop m.b.v. scripts configureren database: $ srvctl stop database –d DWHKDP $ srvctl start database –d DWHKDP {to enable parameter settings} $ srvctl stop database –d DWHKDP $ srvctl start database –d DWHKDP {om oude UNDO vrij te spelen}

21 Custom presentation- or document control name I Voorbereiding: configuratie database Voorbeeld 1: aanmaken UNDO tablespaces: iets meer dan 1 minuut voor 200 GB SQL> create bigfile undo tablespace undotbs1 datafile size M autoextend on next 672M maxsize M; Tablespace created. Elapsed: 00:01:06.51 Ter vergelijking: “onze” Telco database: SQL> create bigfile undo tablespace robb datafile '+FRA_DISK' size M autoextend on next 672M maxsize M; Tablespace created. Elapsed: 00:15:30.39 NXP RAC (OTA). Met ons mooie AO SOD (storage on demand, business class storage) SQL> create bigfile undo tablespace jannes datafile '+DG_OTA' size M autoextend on next 672M maxsize M; Tablespace created. Elapsed: 00:23:57.02 En op ons nieuwe USD stretched RAC cluster met HITACHI storage SQL> create bigfile undo tablespace jannes datafile '+GTOE_DATA' size M autoextend on next 672M maxsize M; Tablespace created. Elapsed: 00:14:57.47

22 Custom presentation- or document control name I Voorbereiding: configuratie database Voorbeeld 2: aanmaken tablespace 1,7 TB in minder dan 10 minuten SQL> create bigfile tablespace ts_dat_kdm_large datafile size M autoextend on next 672M maxsize M; Tablespace created. Elapsed: 00:09:54.40 Voorbeeld 3: aanmaken tablespace met default EHCC compression create bigfile tablespace ts_dat_kdm_archive datafile size M autoextend on next 672M maxsize M default compress for archive low;

23 Custom presentation- or document control name I Voorbereiding: EHCC compressie vaststellen

24 Custom presentation- or document control name Intermezzo: DCLI utility Distributed command line interface Doel: om 1 statement op meerdere nodes tegelijk uit te voeren. Voorbeeld:kopieren tnsnames.ora naar alle 8 nodes: ~]$ dcli -g dbs_group -l oracle cp /dbfs_mounts/admin/tns/tnsnames.ora /u01/app/oracle/product/11.2.0/dbhome_1/network/admin/tnsnames.ora Zie documentatie voor meer info

25 Custom presentation- or document control name II Migratie: concept Hoofdmethode: INSERT /*+ APPEND */ via migratie server. => Daarnaast: 1 DB via export/import en 1 DB via clone

26 Custom presentation- or document control name II Migratie: enkele findings Locked statistics Dbms_pipe in gebruik. Niet ondersteund door RAC Tegenwoordig moet je als je naar buiten toe wilt met utl_smtp een access control list maken. Dat is nieuw in 11g.

27 Custom presentation- or document control name II Migratie: EHCC compressie select round(sum(bytes)/(1024/1024/1024) SIZE_GB_DBSEGMENTS from dba_segments; DWHKDP Before: GB After 1039 GB Factor 11,8 COMPRESSION DWHKDP BY OBJECT TYPE select segment_type, round (sum(bytes)/1024/1024/1024) from dba_segments where segment_type like 'INDEX%' or segment_type like 'TABLE%‘ group by segment_type order by segment_type; Compression factor objects => nog uitwerken. DWHP Before: GB DWHP After: GB Factor 2,8

28 Custom presentation- or document control name II Migratie: doorlooptijden Database DWHKDP: 8 uur Database DWHP: 9 uur. => is 1,8 TB per uur

29 Custom presentation- or document control name Intermezzo: global awr reports Zeer nuttig voor RAC: => Een AWR rapport over alle instances heen.

30 Custom presentation- or document control name Tape III: De Backup: landschap

31 Custom presentation- or document control name III: De Backup : configuratie 4 channels per actieve instance Op de SUN OS per channel een mount plus een mount voor de archives. Voorbeeld: CLMP heeft 2 actieve instances op node camidb03 en camidb04. De volgende channels worden gealloceerd bij een backup: /oradata/CLMP/backup_13 t/m /oradata/CLMP/backup_20 Backup’s gescheduled in de cron van Oracle: L0, L1, archival. Enkele doorloopgegevens:

32 Custom presentation- or document control name III: De Backup : doorlooptijden snelheid backup DWHKDP naar exadata zelf:  Database DWHKDP van 1 TB  Allocate 16 channels, 2 channel per database node  Maken van een multi-section backup 18 minuten !! Contrast: compressed backup 3:20 minuten !!

33 Custom presentation- or document control name III: Failover concept