Structuur en organisatie van computersystemen: deel 2 Yolande Berbers 200A 03.20

praktische organisatie lessenschema: 14 lessen dinsdag 26 en woensdag 27 maart paas-’vakantie’ dinsdag 16 en woensdag 17 april dinsdag 23 en woensdag 24 april pauze: ik zit een week in het buitenland dinsdag 7 en woensdag 8 mei dinsdag 14 en woensdag 15 mei dinsdag 21 en woensdag 22 mei dinsdag 10.35-12u35, S01.03 woensdag 10.35-12u35, S01.03

doelstellingen van de cursus direct doel inzicht in huidige tendensen in computerarchitectuur achtergrond algemene kenmerken invloed voor de software huidige tendensen in basissoftware besturingssystemen compilers specifieke aandacht voor snelheid parallellisme (op alle niveaus) via case studies kennis maken met belangrijke architecturen

doelstellingen van de cursus (vervolg) verder doel studenten voorbereiden op een veelvoorkomende latere job: kiezen van gepaste apparatuur en basisprogrammatuur voor een bepaalde omgeving voor een bepaald doel wat voor soort producten zijn er op de markt wat moet je wel en niet geloven van de verkopers ‘materiaal-cursus’: niet afstuderen met alleen theoretische kennis

doelstellingen van de cursus (vervolg) verder doel (vervolg) na deze cursus moeten studenten offertes voor computersystemen met kennis van zaken kunnen vergelijken technische artikels over computerarchitecturen kunnen begrijpen de vooruitgang in computerarchitectuur in de komende jaren gemakkelijk kunnen volgen

doelstellingen van de cursus (vervolg) verhouding hardware / software de cursus beschrijft de ‘structuur en organisatie van computersystemen’ voor zover die van belang is voor een software specialist

karakteristieken van de cursus een domein dat in continue en snelle beweging is (geen historisch overzicht maar huidige state-of-the-art) breed domein moeilijkheidsgraad: niet zo hoog de cursus brengt nieuwe methoden, technieken, begrippen, modellen, ... analytisch nieuwe terminologie beschrijvend de cursus wil praktisch zijn vergelijkbaar met SOCS1

overzicht van de cursus inleiding tot computerarchitectuur (H1) performantie (H1) instructie-set principes, RISC-architecturen (H2) pipelining (H3) parallellisme op het instructieniveau (H4) geheugen-hiërarchie (H5) parallelle machines (slides) niet-traditionele systemen (slides, kopies) een aantal case studies (slides) niet-traditionele systemen: data flow, neurale netwerken, VLIW case studies Intel, Alpha

tekstboeken Computer Architecture. A Quantitive Approach (2nd edition) David A. Patterson, John L. Hennessy Morgan Kaufmann Publishers, 1996, ISBN 1-55860-329-8 boek richt zich in de eerste plaats tot ontwerpers van systemen wij zullen die elementen benadrukken die ons helpen de huidige systemen te begrijpen en te evalueren Advanced Computer Architectures. A Design Space Approach Deszo Sima, Terence Fountain, Peter Kacsuk Addison Wesley, 1997, ISBN 0-201-42291-3 gebruikt voor het deel over parallelle machines en niet-traditionele systemen

slides www.cs.kuleuven.ac.be/~yolande/slides/socs2.html slides worden continu up to date gehouden

plaats van cursus in curriculum directe opvolger van SOCS1 steunt nogal op besturingssystemen

vorm van het examen mogelijkheid tot alternatief examen (zie verder) gesloten boek examen mondeling met schriftelijke voorbereiding vraag 1 peilt naar inzicht in de cursus overzichtsvraag combinatie van 2 of meer (hoofd)stukken vraag 2 peilt naar diepte-kennis van een bepaald stuk cursus vraag 3 peilt naar terminologie-kennis bestaat uit meerdere kleine vragen

van belang voor het examen ‘vergelijk x en y’ betekent niet bespreek achter elkaar eerst x en dan y, maar bespreek x en y zodat ze vergelijkbaar worden (dus volgens hetzelfde stramien) en vergelijk ze dan cijfers: orde van grootte zijn van belang exacte cijfers niet

mogelijkheid tot alternatief examen bespreking van een hedendaagse architectuur voorstelling van 20 min (indien één student) voorstelling van 40 min (indien twee studenten) redelijke vrijheid bij de keuze van architectuur (niet Intel) keuzes kenbaar maken eerste week na pasen zelf zoeken naar documentatie (op het web is er veel te vinden) bespreking in het licht van de behandelde topics uit de cursus begrippen uit cursus, voor en nadelen van bepaalde technieken … moeten gekend zijn ik kan hierbij vragen stellen

Inleiding

overzicht van deze inleiding vooruitgang van computermogelijkheden computerontwerp trends software hardware cpu chips geheugen chips disks kostprijs

vooruitgang van computermogelijkheden 2 elementen die spelen bij vooruitgang vooruitgang in de technologie die gebruikt wordt in het bouwen van computers (onderwerp van elektronica) vooruitgang in computerontwerp (onderwerp van deze cursus) vooruitgang niet gelijkmatig: in technologie: nogal regelmatig in computerontwerp: onregelmatig, met sprongen tot eind jaren 70: 25% verbetering per jaar vanaf eind jaren 70: microprocessoren kunnen de technologische vooruitgang beter uitbuiten 35% verbetering per jaar (zie grafiek verder) massaproductie mogelijk, dus goedkoper

vooruitgang van computermogelijkheden (vervolg) wet van Moore uit 1965 voorspelde dat de kracht van een chip zou verdubbelen elke 18 maanden voorspelling is grotendeels juist gebleken deze vooruitgang zal wellicht nog een tijdje lang doorgaan

vooruitgang van computermogelijkheden (vervolg) vroegere rem op vernieuwingen in computerarchitecturen veel code werd geschreven in assembler heel architectuur afhankelijk grote investering: moest nog kunnen draaien op volgende machine uit zelfde reeks object-code compatibiliteit is heel belangrijk besturingssystemen merkafhankelijk in assembler geschreven risico en kost van een nieuwe architectuur waren heel hoog UNIX bracht hierin verandering

vooruitgang van computermogelijkheden (vervolg) RISC architecturen ontworpen begin jaren 80, op de markt sinds  85 vanaf dan: 50% verbetering per jaar

vooruitgang van computermogelijkheden 1.54X/yr

vooruitgang van computermogelijkheden (vervolg) gevolgen van deze enorme vooruitgang het krachtigste werkstation in 93 (IBM Power-2) vgl. met de krachtigste computer in 88 (Cray Y-MP) werkstation is even snel voor floating point berekeningen werkstation is sneller voor integerberekeningen werkstation kost minder dan 10% van supercomputer microprocessoren worden gebruikt voor alle maten van computers, ook voor mainframes en supercomputers

vooruitgang van computermogelijkheden (vervolg) gebruikte terminologie personal computers servers voor werkstations mainframes minicomputers: worden vervangen door servers gemaakt met microprocessoren mainframes: worden vervangen door grote multiprocessoren gemaakt met microprocessoren supercomputers: verzamelingen van microprocessoren werkstations supercomputers

Technology Trends Year 0.1 1 10 100 1000 1965 1970 1975 1980 1985 1990 Microprocessors Minicomputers Mainframes Supercomputers Year 0.1 1 10 100 1000 1965 1970 1975 1980 1985 1990 1995 2000

intermezzo: perspective on Post-PC Era PostPC Era will be driven by 2 technologies: 1) “Gadgets”:Tiny Embedded or Mobile Devices ubiquitous: in everything e.g., successor to PDA, cell phone, wearable computers 2) Infrastructure to Support such Devices e.g., successor to Big Fat Web Servers, Database Servers

New Architecture Directions “…media processing will become the dominant force in computer arch. and microprocessor design.” “...new media-rich applications ... involve significant real-time processing of continuous media streams, and make heavy use of vectors of packed 8-, 16-, 32-bit integer and Fl. Pt.” Needs include real-time response, continuous media data types (no temporal locality), fine grain parallelism, coarse grain parallelism, memory bandwidth

computerontwerp complexe taak aspecten functionele eisen bepalen maximaliseren van de performantie maar binnen de kostenbeperkingen aspecten ontwerp van instructieset: grens tussen software en hardware functionele organisatie logisch ontwerp implementatie ontwerp van geïntegreerd circuit verpakking, koeling, voedingseenheid kennis nodig van o.a. compilers, besturingssystemen

computerontwerp Bad Ideas Architecture is an iterative process: Searching the space of possible designs At all levels of computer systems Creativity Cost / Performance Analysis Good Ideas Mediocre Ideas Bad Ideas

computerontwerp vroegere verdeling huidige tendens computer architectuur = ontwerp van instructie set implementatie organisatie hardware huidige tendens computer architectuur omvat al deze aspecten

computerontwerp organisatie hardware geheugensysteem, busstructuur, interne CPU mogelijk: gelijke instructieset maar verschillende organisatie (vb SPARCstation-2 en SPARCstation-20) hardware gedetailleerd logisch ontwerp, klok-snelheid, cache, verpakking mogelijk: gelijke instructieset en organisatie maar verschillende hardware (vb Intel-reeks, Silicon Graphics Indy)

functionele eisen functionele eisen hangen af van veel factoren voor welke gebruikers is de machine bedoeld voor welke applicaties op welke besturingssystemen mikt men welke standaarden wilt men volgen vaak zijn markt-elementen heel belangrijk figuur 1.2: werkt deze verschillende punten meer uit optimiseren van ontwerp meestal kost vs snelheid (ook nadruk in deze cursus) ook mogelijk: fouttolerantie en betrouwbaarheid

software trends programma’s gebruiken meer en meer geheugen factor 1.5 tot 2 per jaar adresruimten moeten groter worden, dus adressen nemen meer bits in beslag: 0.5 tot 1 per jaar komt zowel door programma’s als door verbeteringen in DRAM technologie (zie verder)

software trends rol van compiler wordt steeds groter assembler is ongeveer helemaal verdwenen compilers bepalen mee in grote mate de performantie compilers: belangrijkste interface gebruiker / machine verbeteringen in compiler technologie optimisaties, herschikken van code (pipelining, geheugen systeem) ook onderwerp van deze cursus

trends in implementatietechnologie integrated circuit technologie densiteit: toename van 50% per jaar (verviervoudiging in 3 jaar) chip-oppervlakte: toenamen van 10 tot 25% per jaar gecombineerd effect: toename van het aantal transistoren per chip van 60 tot 80% per jaar

trends in implementatietechnologie CMOS improvements: Die size: 2X every 3 yrs Line width: halve / 7 yrs Alpha 21264: 15 million Pentium Pro: 5.5 million PowerPC 620: 6.9 million Alpha 21164: 9.3 million Sparc Ultra: 5.2 million Moore’s Law

trends in implementatietechnologie semiconductor DRAM technologie densiteit: toename van 60% per jaar (verviervoudiging in 3 jaar) cyclus tijd: veel kleinere verbetering vermindering van een derde in 10 jaar Capacity Speed Logic 2x in 3 years 2x in 3 years DRAM 4x in 3 years 1.4x in 10 years Disk 2x in 3 years 1.4x in 10 years Speed increases of memory and I/O have not kept pace with processor speed increases.

trends in implementatietechnologie year size(Mb) cyc time 1980 0.0625 250 ns 1983 0.25 220 ns 1986 1 190 ns 1989 4 165 ns 1992 16 145 ns 1996 64 120 ns 2000 256 100 ns Moore’s Law for Memory: Transistor capacity increases by 4x every 3 years

Memory History/Trends/State of Art DRAM: main memory of all computers Commodity chip industry: no company >20% share Packaged in SIMM or DIMM (e.g.,16 DRAMs/SIMM) Capacity: 4X/3 yrs (60%/yr..) Moore’s Law MB/$: + 25%/yr. Latency: – 7%/year, Bandwidth: + 20%/yr. (so far) source: www.pricewatch.com, 5/21/98

Memory Summary DRAM rapid improvements in capacity, MB/$, bandwidth slow improvement in latency Processor-memory interface (cache+memory bus): bottleneck to bandwidth

Processor Limit: DRAM Gap 60%/yr.. DRAM 7%/yr.. 1 10 100 1000 1980 1981 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 CPU 1982 Processor-Memory Performance Gap: (grows 50% / year) Performance “Moore’s Law” Y-axis is performance X-axis is time Latency Cliché: Not e that x86 didn’t have cache on chip until 1989 Alpha 21264 full cache miss in instructions executed: 180 ns/1.7 ns =108 clks x 4 or 432 instructions Caches in Pentium Pro: 64% area, 88% transistors

trends in implementatie technologie (vervolg) harde schijf technologie densiteit: toename van 50% per jaar bijna verviervoudiging in 3 jaar cyclus tijd: veel kleinere verbetering vermindering van een derde in 10 jaar

Disk Description / History Embed. Proc. (ECC, SCSI) Track Sector Track Buffer Arm Head Platter 1973: 1. 7 Mbit/sq. in 140 MBytes 1979: 7. 7 Mbit/sq. in 2,300 MBytes Cylinder

Disk History 1989: 63 Mbit/sq. in 60,000 MBytes 1997: 1450 Mbit/sq. in

Performance Model /Trends Capacity + 60%/year (2X / 1.5 yrs) Transfer rate (BW) + 40%/year (2X / 2.0 yrs) Rotation + Seek time – 8%/ year (1/2 in 10 yrs) MB/$ > 60%/year (2X / <1.5 yrs) Fewer chips + areal density Latency = Queuing Time + Controller time + Seek Time + Rotation Time + Size / Bandwidth per access per byte { + source: Ed Grochowski, 1996, “IBM leadership in disk drive technology”; www.storage.ibm.com/storage/technolo/grochows/grocho01.htm,

Disk Limit: I/O Buses Multiple copies of data, SW layers CPU C Memory Cannot use 100% of bus Queuing Theory (< 70%) Command overhead (Effective size = size x 1.2) CPU Memory bus C Internal I/O bus Memory C External I/O bus (PCI) Bus rate vs. Disk rate SCSI: Ultra2 (40 MHz), Wide (16 bit): 80 MByte/s FC-AL: 1 Gbit/s = 125 MByte/s (single disk in 2002) C (SCSI) C (15 disks) Controllers

Disk Limit Year Sequentially Randomly Continued advance in capacity (60%/yr) bandwidth (40%/yr.) Slow improvement in seek, rotation (8%/yr) Time to read whole disk Year Sequentially Randomly 1990 4 minutes 6 hours 2000 12 minutes 1 week Dynamically change data layout to reduce seek, rotation delay? Leverage space vs. spindles? External I/O bus bottleneck to transfer rate, cost? => move to fast serial lines (FC-AL)? how to use speed of embedded processor inside disk?

trends in implementatie technologie (vervolg) huidige tijdschaal van microprocessoren ontwerp 2 jaar productie 2 jaar levensduur van minimum 5 jaar gevolg: wanneer productie op volle toeren draait zijn sleuteltechnologieën (DRAM bv.) reeds een stap verder technologische veranderingen gebeuren vaak niet op een continue manier maar in discrete stappen bv. DRAM groeit steeds met factor 4 vanaf een bepaalde grens kan opeens iets heel anders (bv. 32-bit, 64-bit)

Clock Frequency Growth Rate 30% per year

Transistor Count Growth Rate 100 million transistors on chip by early 2000’s A.D. Transistor count grows much faster than clock rate - 40% per year, order of magnitude more contribution in 2 decades

The future: general characteristics Description 1995 1998 2001 2004 2007 2010 Line width (mm) 0.35 0.25 0.18 0.13 0.10 0.07 Number of masks 18 20 22 24 Wafer size (mm) 200 300 400 Number of wiring levels 4-5 5 5-6 6 6-7 7-8 Power supply V: desktop 3.3 2.5 1.8 1.5 1.2 0.9 Power supply V: battery 1.8-2.5 0.9-1.8 Max. power dissipation/chip 80 100 120 140 160 180

The future: DRAM Description 1995 1998 2001 2004 2007 2010 Number of bits per chip 64M 256M 1G 4G 16G 64G Chip size (mm2) 190 280 420 640 960 1400

The future: high performance (mP) Description 1995 1998 2001 2004 2007 2010 Number of transistors 10M 21M 47M 108M 260M 560M Number of I/O pads 900 1350 2000 2600 3600 4800 Number of package pins 512 800 1024 On chip clock freq. (MHz) 300 450 600 1000 1100 PCB frequency (Mhz) 150 200 250 375 475 Chip size (mm2) 360 430 520 620

On chip clock freq. (MHz) The future: ASIC Description 1995 1998 2001 2004 2007 2010 Number of transistors 9M 26M 52M 108M 275M 560M Number of I/O pads 900 1350 2000 2600 3600 4800 Number of package pins 750 1100 1700 2200 3000 4000 On chip clock freq. (MHz) 150 200 300 400 500 625 Chip size (mm2) 450 660 1400

trends in kostprijs kost van een product vermindert met de tijd onder de knie krijgen van een technologie (leercurve) verlaagt de kost grotere verkochte hoeveelheden verlagen de kost leercurve gaat sneller efficiëntere productiemethoden voor grote hoeveelheden ontwerpkosten worden verdeeld over meer producten zie als voorbeeld figuur 1.3 standaard randapparaten verlagen sterk in prijs DRAM, kleine disks, schermen, toetsenborden, enz. zeer grote competitie, door gespecialiseerde firma’s hebben zeer groot volume door standaardisatie

trends in kostprijs (vervolg) figuur 1.6 geeft de uitsplitsing van kosten voor een eenvoudig kleuren werkstation figuren 1.7 en 1.8 en figuren volgende slides component-kosten zijn maar een klein deel van de uiteindelijke prijs op een prijslijst bij volumeproducten (bv PC’s) is de ‘gross margin’ lager (= alle kosten die niet direkt toe te schrijven zijn aan een bepaald product, zoals marketing en reklame, R&D, gebouwen, directie, winst) is de ‘average discount’ groter (= winst die de eindverkoper heeft)

trends in kostprijs (vervolg) Component Costs List Price Component Cost 15% to 33%

trends in kostprijs (vervolg) Component Costs Direct Costs (add 25% to 40%) recurring costs: labor, purchasing, scrap, warranty List Price 6% to 8% Direct Cost Component Cost 15% to 33%

trends in kostprijs (vervolg) Component Costs Direct Costs (add 25% to 40%) recurring costs: labor, purchasing, scrap, warranty Gross Margin (add 82% to 186%) nonrecurring costs: R&D, marketing, sales, equipment maintenance, rental, financing cost, pretax profits, taxes List Price Gross Margin 34% to 39% 6% to 8% Direct Cost Component Cost 15% to 33%

trends in kostprijs (vervolg) Component Costs Direct Costs (add 25% to 40%) recurring costs: labor, purchasing, scrap, warranty Gross Margin (add 82% to 186%) nonrecurring costs: R&D, marketing, sales, equipment maintenance, rental, financing cost, pretax profits, taxes Average Discount to get List Price (add 33% to 66%): volume discounts and/or retailer markup List Price Average Discount 25% to 40% Avg. Selling Price Gross Margin 34% to 39% 6% to 8% Direct Cost Component Cost 15% to 33%

trends in kostprijs (vervolg)

het meten en rapporteren van performantie

performantie: overzicht wat verstaat men onder performantie programma's uitvoeren om performantie te meten performantie vergelijken en samenvatten kwantitatieve principes ivm performantie algemeen, formules, toegepast op enkele kleinere voorbeelden toegepast op geheugenhiërarchie fouten en valstrikken

het definiëren van performantie wat bedoelen we met ‘computer X heeft een betere performantie dan computer Y’ ? vergelijk met vliegtuigen vliegtuig Boeing 737-100 Boeing 747 Concorde DC-8-50 passagiers- capaciteit 101 470 132 146 vliegbereik (km) 1000 6640 6400 13950 vliegsnelheid (km / u) 957 976 2160 870 passagiersdoorvoer (passagiers X km/u) 96.657 458.720 285.120 127.020

het definiëren van performantie (vervolg) verschillende criteria responsetijd = uitvoeringstijd doorvoer klassiek definieert men performantie als als X n keer sneller is dan Y: termen zoals verhogen of verlagen zijn verwarrend: we zullen spreken over verbeteren en verslechteren

het meten van performantie slechts één echte maat: uitvoeringstijd van één taak = responstijd van meerdere taken = doorvoer responsetijd (latency) bevat ook wachttijden CPU-tijd = user CPU-tijd + system CPU-tijd vaak gebruikt men enkel user CPU-tijd keuze van programma’s om performantie te meten echte programma’s kernels spelbenchmarks synthetische benchmarks benchmark suites

het meten van performantie (vervolg) echte programma's beste methode voordelen: vergelijkt dat wat men in werkelijkheid wil doen nadelen: software niet altijd beschikbaar (moet gekocht worden) niet altijd eenvoudig uit te voeren (duurt te lang) zelfs al is de broncode beschikbaar, overdragen van de code is meestal geen evidente zaak vergelijking moet volledig door de klant gebeuren

het meten van performantie (vervolg) kernels korte, typische extracten van echte programma's voordelen: gemakkelijk te schrijven, ook voor nieuwe machines waar nog geen compilers voor zijn (oud argument) vergelijkingswaarden zijn voor vele machines bekend goed om individuele aspecten van computers te vergelijken nadelen: geeft niet echt weer wat later als software zal draaien voorbeelden: Livermore Loops, Linpack

het meten van performantie (vervolg) voorbeelden: Livermore Loops (eigenlijk Livermore Fortran Kernels of LFK) 24 Fortran DO-loops uit code van de Lawrence Livermore National Laboratory wordt gebruikt sinds begin jaren 70 (eerst 14, later 24 loops) mengeling van lussen die wel/niet gevectoriseerd kunnen worden lengte van de lussen wordt gevarieerd heeft geleid tot het gebruik van de term Mflop/s (millions of floating point operations per second) geeft niet 1 cijfer, maar een groot aantal (zie ook SPEC)

het meten van performantie (vervolg) voorbeelden: Linpack oplossing van 100x100 lineaire vergelijking met L/U decompositie klein programma

het meten van performantie (vervolg) spel benchmarks bekende algoritmes die men als benchmark gebruikt voordelen: korte code om in te tikken voorbeelden gemakkelijk te vinden in artikels vergelijkingswaarden zijn voor vele machines bekend nadelen: geeft niet echt weer wat later als software zal draaien (minder nog dan kernels) voorbeelden: zeef van Erastosthenes, quicksort

het meten van performantie (vervolg) synthetische benchmarks volgt de idee van de kernels: programma's die de frequentie van instructiegebruik nabootsen in bepaalde toepassingsgebieden voordelen: vergelijkingswaarden zijn voor vele machines bekend de testen zijn veel uitgebreider dan kernels nadelen: geeft niet echt weer wat later als software zal draaien problemen indien performantie afhangt van klein stukje code: geeft vaak aanleiding tot ad hoc optimisaties voorbeelden: Whetstone (Fortran wetenschappelijk code) Dhrystone (geen wetenschappelijk code) hier moet meer over SPECint95 en SPECfp95 komen

het meten van performantie (vervolg) benchmark suites verzameling van benchmarks voordelen: zwakheid van een bepaalde benchmark uit de suite wordt gecompenseerd door de andere benchmarks uit de suite vergelijkingswaarden zijn voor vele machines bekend nadelen: methode om de resultaten van de verschillende benchmarks samen te brengen is heel belangrijk geeft niet echt weer wat later als software zal draaien voorbeelden: SPEC92, SPEC95, SPEC CPU2000, TPC

het meten van performantie (vervolg) SPEC: System Performance Evaluation Corporation opgericht door meer dan 20 computerfirma’s in 1988 eerste versie in 1989; standaard machine VAX 11/780 tweede versie in 1992 met uitgebreide floating-point tests; standaard machine VAX 11/780 derde algemene versie van 1995 standaard machine Sun SPARCstation 10/450 met 64MB RAM nieuwe versies nodig: optimisaties van compilers voor benchmarks! nieuwe gespecialiseerde suites SPEChpc96: voor high performance computing SPECweb96: voor web-toepassingen SPECjvm98: voor het testen van java virtual machines

het meten van performantie (vervolg) SPEC: System Performance Evaluation Corporation nieuwste algemene versie: SPEC CPU2000 bestaat uit CINT2000 en CFP2000 CINT2000 suite bevat 12 application-based benchmarks in C and C++ CFP2000 suite bevat 14 CPU-intensieve benchmarks in FORTRAN (77 en 90) en C referentiemachine: Sun Microsystems Ultra5_10 werkstation met 300-MHz SPARC processor en 256-MB geheugen de waarden van CINT2000 en CFP2000 zijn op de referentiemachine per definitie 100 methode (zie ook fig. 1.9): meerdere in de praktijk gebruikte toepassingsprogramma’s

het meten van performantie (vervolg) 2 manieren om er mee te werken: SPECint en SPECfp : meest gebruikt enkel die tests gebruiken die het meest lijken op de software die men wil draaien maar meestal wordt alleen het gemiddelde resultaat gepubliceerd (zie figuur uit tijdschrift) SPECrate_int, SPECrate_fp testen de verwerkingscapaciteit van een systeem meerdere kopieën van dezelfde test worden opgestart; gemeten wordt hoeveel processen binnen bepaalde tijd volledig uitgevoerd zijn ook geschikt voor multiprocessoren een tape met de testen kost 800 $

het meten van performantie (vervolg) TPC: Transaction Processing Performance Council tps: transactions per second of tpm: transactions per minute $/tps: geeft prijs/performantie gebruikt in de database wereld test de van combinatie database software en onderliggende hardware TPC-A, TPC-B, TPC-C bestaan niet zo gekend als SPEC, resultaten minder publiek het kost een firma initieel tot 500.000 $ om TPC-C audit op te bouwen, te optimiseren en te tunen

verslag uitbrengen over performantie reproduceerbaarheid cijfers over benchmarks hebben slechts betekenis als alle omstandigheden meting vermeld zijn (wat weinig gebeurd) exacte versie van processor versie van compiler gebruikte optimisaties (zie ook bij fouten en valstrikken) hoeveelheid RAM hoeveelheid cache (primair, secundair) welke input enz. bij auto-tests: wel gewoonte om alle omstandigheden te geven bij SPEC: baseline performance naast optimized performance

verslag uitbrengen over performantie (vervolg) vergelijken van performantie: hoe combineer je informatie ? niet zo eenvoudig ! Program P1 (secs) Computer A 1 1000 1001 Computer B 10 100 110 Computer C 20 40 Program P2 (secs) Total time (secs)

verslag uitbrengen over performantie (vervolg) totale uitvoeringstijd rekenkundig gemiddelde gewogen rekenkundig gemiddelde A B C W(1) W(2) W(3) P1 (secs) 1.00 10.00 20.00 0.50 0.909 0.999 P2 (secs) 1000.00 100.00 20.00 0.50 0.091 0.001 gem: W(1) (secs) 500.50 55.00 20.00 gem: W(2) (secs) 91.82 18.18 20.00 gem: W(3) (secs) 2.00 10.09 20.00

verslag uitbrengen over performantie (vervolg) genormaliseerde uitvoeringstijd tov een referentiemachine: uitvoeringstijd van referentiemachine is dan 1 (per def.) gemiddelde van genormaliseerde uitvoeringstijden rekenkundig meetkundig (SPEC) Normalized to A Normalized to B Normalized to C A B C A B C A B C P1 (secs) 1.0 10.0 20.0 0.1 1.0 2.0 0.05 0.5 1.0 P2 (secs) 1.0 0.1 0.02 10.0 1.0 0.2 50.0 5.0 1.0 Rek Gem 1.0 5.05 10.01 5.05 1.0 1.1 25.03 2.75 1.0 Geo Gem 1.0 1.0 0.63 1.0 1.0 0.63 1.58 1.58 1.0 Tot Tijd 1.0 0.11 0.04 9.1 1.0 0.36 25.03 2.75 1.0

verslag uitbrengen over performantie (vervolg) voordelen van meetkundig gemiddelde van genormaliseerde uitvoeringstijden onafhankelijk van uitvoeringstijden van individuele progr. onafhankelijk van referentiemachine nadelen van meetkundig gemiddelde van genormaliseerde uitvoeringstijden ze voorspellen niet de uitvoeringstijden de constructeurs worden aangemoedigd om korte programma's te optimizeren (gaat gemakkelijker dan langere en heeft hetzelfde effect) ideaal: eerst juiste gewichten (afhankelijk van voorspelde gebruik) en dan normalisatie

kwantitatieve principes belangrijkste principe zorg ervoor dat wat vaak voorkomt snel is uitgangspunt van RISC (zie later) extra voordeel: wat vaak voorkomt is meestal ook simpel vb: overflow komt niet zo vaak voor versnel dus het normale geval (geen overflow) eventueel is dan overflow trager, maar dat is minder erg dit kan gekwantificeerd worden met behulp van de wet van Amdahl

kwantitatieve principes (vervolg) Amdahl’s wet: een verbetering is beperkt tot de fractie die baat heeft bij de verbetering factoren die een rol spelen fractie waarop verbetering een invloed heeft vb: een programma duurt 60 sec.; de verbetering heeft betrekking op 20 sec; de fractie is 20/60 verbetering die bekomen kan worden vb: zonder verbetering duurt een stuk 20 sec.; met verbetering duurt het 8 sec.; verbetering (speedup) is 20/8 wet van Amdahl is interessant om verschillende mogelijke verbetering te vergelijken in formules: zie volgende slide

kwantitatieve principes (vervolg)

kwantitatieve principes (vervolg) voorbeeld 1 verandering = verbetering met een factor 10 wordt gebruikt 40% van de tijd

kwantitatieve principes (vervolg) voorbeeld 2 FP = 50% van uitvoeringstijd van een bepaalde benchmark FPSQR = 20% van uitvoeringstijd van deze benchmark alternatief 1: extra hardware: FPSQR is 10 keer sneller alternatief 2: alle FP berekeningen 2 maal sneller

kwantitatieve principes (vervolg) berekenen van CPU-performantie vorige berekeningen gingen ervan uit dat we precies weten wat het effect zal zijn van een verbetering in de praktijk moet je dit voorspellen, je kunt het niet meten (want de verbeteringen zijn nog niet doorgevoerd) een aantal formules kunnen hierbij gebruikt worden

kwantitatieve principes (vervolg) CPU performantie is dus afhankelijk van 3 factoren: aantal instructies, klokcycli per instructie, klokfrequentie

kwantitatieve principes (vervolg) deze drie factoren zijn niet onafhankelijk een verbetering van één factor kan een invloed hebben op de andere (bv een verslechtering) basistechnologieën die invloed hebben op de 3 factoren: klokfrequentie: hardware technologie en organisatie CPI: organisatie en instructieset aantal instructies: instructieset en compilertechnologie formules die helpen bij CPU-ontwerpbeslissingen vb van berekening: zie boek blz 33

kwantitatieve principes CPU time = Seconds = Instructions x Cycles x Seconds Program Program Instruction Cycle Inst Count CPI Clock Rate Program X Compiler X (X) Inst. Set. X X Organization X X Technology X

kwantitatieve principes (vervolg) meten (of schatten) van de 3 factoren klokfrequentie heel moeilijk, is meestal een schatting aantal instructies nodig compiler te hebben (wordt heel vroeg ontwikkeld) totaal aantal instructies is van belang ook frequentiegebruik van verschillende (klassen van) instructies is van belang (instructiemix) CPI vaak werkt men met CPIi (per instructie (klasse)) moeilijk want afhankelijk van de toestand van processor (dus pipeline en cache) vaak zal men die twee factoren opsplitsen

kwantitatieve principes (vervolg) voorbeeld 3: 2 alternatieven voor conditionele sprong alt A: een ‘compare’ instructie die een conditiecode zet, gevolgd door een ‘branch’ die de conditiecode test alt B: slechts 1 instructie, een ‘branch’ die direct vergelijkt voor beide: conditionele ‘branch’ instructie duurt 2 klokcycli alle andere instructies duren 1 klokcyclus alt A: 20% zijn sprongen en er zijn dus ook 20% ‘compare’ alt A: snellere klok omdat korte sprong: 1.25 maal sneller dan B vraag: welke CPU is sneller ?

kwantitatieve principes (vervolg) CPIA = 0.20 x 2 + 0.80 X 1 = 1.2 CPU time A = ICA x CPIA x klokcyclustijdA = ICA x 1.2 x klokcyclustijdA alt B heeft geen extra ‘compare’, dus 20/80 of 25% zijn sprongen en de rest (75%) zijn andere instructies CPIB = 0.25 x 2 + 0.75 X 1 = 1.25 alt B heeft in totaal minder instructies uit te voeren: ICB = 0.8 ICA CPU time B = ICB x CPIB x klokcyclustijdB = 0.8 x ICA x 1.25 x (1.25 x kl.cyclustijdA) = 1.25 x ICA x klokcyclustijdA alternatief A is dus sneller

geheugenhiërarchie axioma van hardware ontwerp: klein is snel klein: signalen moeten minder ver gaan meer voeding mogelijk per cel wel veel duurder van groot belang bij geheugens grote bandbreedte (in MB/sec.) kleine toegangstijden data toegang meest recent gebruikt komt vaak terug (temporele lokaliteit) wat in de buurt ligt is vaak ook nodig (ruimtelijke lokaliteit) combinatie van deze elementen met de wet van Amdahl: geheugen hiërarchie is de oplossing

geheugenhiërarchie Upper Level faster Registers Instr. Operands Cache Capacity Access Time Cost Staging Xfer Unit Upper Level CPU Registers 100s Bytes <1 ns Registers faster Instr. Operands prog./compiler 1-8 bytes Cache 10s-100s K Bytes 1-10 ns $10/ MByte Cache cache cntl 8-128 bytes Blocks Main Memory M Bytes 100ns- 300ns $1/ MByte Memory OS 512-4K bytes Pages Disk 10s G Bytes, 10 ms (10,000,000 ns) $0.0031/ MByte Disk user/operator Mbytes Files Tape infinite sec-min $0.0014/ MByte Tape Larger Lower Level

geheugenhiërarchie By taking advantage of the principle of locality: give user as much memory as is available in cheapest technology provide access at the speed offered by the fastest technology Control Datapath Secondary Storage (Disk) Processor Registers Main Memory (DRAM) Second Level Cache (SRAM) On-Chip 1s 10,000,000s (10s ms) Speed (ns): 10s 100s Gs Size (bytes): Ks Ms Tertiary (Disk/Tape) 10,000,000,000s (10s sec) Ts The design goal is to present the user with as much memory as is available in the cheapest technology (points to the disk). While by taking advantage of the principle of locality, we like to provide the user an average access speed that is very close to the speed that is offered by the fastest technology. (We will go over this slide in details in the next lecture on caches). +1 = 16 min. (X:56)

geheugenhiërarchie (vervolg) cache terminologie: cache hit, cache miss, cache block vergelijking cache en virtueel geheugen bij cache miss blokkeert de CPU totdat gegevens aanwezig zijn bij page fault krijgen we een proceswisseling

performantie van cachegeheugen voorbeeld: speedup na toevoeging van een cache cache is 10 maal sneller dan het hoofdgeheugen cache wordt gebruikt 90% van de keren

performantie van cachegeheugen (vervolg) meestal is er al een geheugenhiërarchie vraag: hoe kan ik die verbeteren nodig: in rekening brengen van wachten van CPU op cache CPUtime = (CPU klokcycli + geheugen-stall-cycli) x klokcyclus geheugen-stall-cycli = aantal missingen x kost van een missing = IC x aantal missingen per instructie x kost van een missing = IC x aantal geh. ref. per instr. x mis-frequ. x kost van missing de elementen uit de laatste formule zijn ‘gemakkelijk’ te bepalen, o.a. door simulatie

performantie van cachegeheugen (vervolg) voorbeeld machine met CPI = 2.0 als data in de cache geheugentoegang enkel via load en store (40% van instr.) kost van missing = 25 klokcycli mis-frequentie = 2% vraag: hoeveel sneller zou de machine zijn met alleen cache hits

performantie van cachegeheugen (vervolg) voor machine met cache (elke instructie vraagt een instructiefetch uit het geheugen, en 40% van de instructies vragen nog een geheugentoegang extra) CPUtime = (CPU klokcycli + geheugen-stall-cycli) x klokcyclus = (IC x 2.0 + IC x 0.7) x klokcyclus = 2.7 x IC x klokcyclus

fouten en valstrikken valstrik: MIPS is een goede maat om performanties van computersystemen te vergelijken Million Instructions per Second Meaningless Indicator of Performance of System Marketing’s Invention to Promote Sales hoe groter de MIPS, hoe performanter het systeem (gemakkelijk te begrijpen) 3-voudig probleem: MIPS is afhankelijk van instructieset MIPS kan variëren op 1 systeem (afh. van programma) MIPS kan variëren omgekeerd als performantie (vb: FP)

fouten en valstrikken (vervolg) valstrik: MFLOPS is een consistente en handige maat voor performantie Million FP Operations Per Second is afhankelijk van de machine en van het programma (compilers hebben een MFLOP van 0) als zelfde programma vergeleken wordt tussen verschillende systemen, dan nog is het geen goede vergelijking soort hardware ondersteunde FP operaties: niet overal gelijk maakt geen verschil tussen snelle FP operaties (bv optelling) en trage FP operaties (bv deling) zoals bij MIPS: men geeft maar 1 cijfer en zegt niets over de omstandigheden van dat cijfer

fouten en valstrikken (vervolg) fout: synthetische benchmarks voorspellen performantie compilers worden vaak aangepast expliciet aan veelgebruikte benchmarks eenvoudige programma’s waar alle procedures kunnen uitgeschakeld worden door kennis van bepaalde formules uit Whetstone vertalen sommige compilers dit in veel eenvoudigere code valstrik: benchmarks blijven altijd geldig één van de programma’s van SPEC89 (matrix300) werd vaak heel specifiek geoptimiseerd andere concrete voorbeelden in het boek

fouten en valstrikken (vervolg) valstrik: verwachten dat de verbetering van één aspect de performantie van een machine zal doen toenemen met een hoeveelheid die evenredig is met de grootte van de verbetering vb: de uitvoering van een programma duurt 100 sec., waarvan 80 sec. vermenigvuldigingen zijn. Met hoeveel moet ik de vermenigvuldiging verbeteren opdat mijn programma 5 maal sneller zou uitvoeren ?

fouten en valstrikken (vervolg) fout: hardware-onafhankelijke maten voorspellen performantie vb: gebruik van grootte van programma’s als maat voor programma-uitvoeringstijd (dat werd vroeger wel eens gedaan) valstrik: vergelijken van computers, waarbij men alleen rekening houdt met één van de drie performantie-maten: kloksnelheid, CPI, instructie-aantallen valstrik: piek-performantie gebruiken om machines te vergelijken