1. Abiadura handiko konputazioa
IEB05 - UEU
Abiadura handiko konputazioa
Superkonputagailuak,
Cluster-rak, The Grid.
(laburpena)
Agustin Arruabarrena
EHU - KAT
Abiadura handiko konputazioa

2. Abiadura handiko konputazioa
1 Sarrera
2 Konputagailuen eboluzioa
Superkonputagailuak / Cluster-rak / Top500
Programazio-ereduak
3 The Grid
Abiadura handiko konputazioa

3. Abiadura handiko konputazioa1
Sarrera
 ARAZOA
Konputagailuak gero eta azkarragoak dira.
Baina kalkuluaren eta datuak prozesatzeko beharrak are azkarrago hazten dira.
Abiadura handiko konputazioa

4. Abiadura handiko konputazioa1
Sarrera
 ARAZOA
Hainbat aplikazio zientifikotan (astronomia, biologia, energia altuak, ...) datu kopuru itzelak prozesatu behar dira:
Petabyte → 1015 byte (106 GB)
102 eragiketa → 1017 flop (108 Gflop / 105 Tflop)
1 Gf/s → 108 s → 3 urte!
Gainera, exekutatu behar diren atazen tamaina nahi adina luza daiteke.
Abiadura handiko konputazioa

5. Abiadura handiko konputazioa1
Sarrera
 IRTENBIDEA
Prozesadore / konputagailu / sistema asko erabiltzea problema konplexu bati ekiteko.
Paralelismoa: hainbat prozesu exekutatzen dira, batera, hainbat prozesadoretan.
Egitura, prozesu- eta datu-banaketa, eta abar oso desberdinak izan daitezke.
Abiadura handiko konputazioa

6. Abiadura handiko konputazioa1
Sarrera
 Aplikazioak (kalkulua):
1. High Throughput
prozesuak (ia) independenteak dira
genetika, astronomia, irudi-bankuak...
2. High Performance
prozesuen arteko komunikazioa behar da
meteorologia...
3. Segurtasuna (errepikapena)
Abiadura handiko konputazioa

7. Abiadura handiko konputazioa1
Sarrera
 Paralelismoa: kalkulua + Komunikazioa
prozesadore kop.
T_guzt
T_ex
T_kom
Abiadura handiko konputazioa

8. Konputagailuen eboluzioa2
Konputagailuen eboluzioa
Itanium / Pentium
IBM 360, PDP-11, VAX
multiprozesadoreak (servers)
grid
ASCI Red
superkonputagailua
cluster
Abiadura handiko konputazioa

9. Abiadura handiko konputazioa2
Superkonputagailuak
 Diseinu bereziko konputagailu paraleloak
 Teknologia aurreratuenak
prozesadorea
konexio-sarea (3D toroak / mezu-bideragailuak)
sistema-softwarea (komunikazio-protokoloak)
 Oso azkarrak / oso garestiak
ASCI Red, Earth Simulator, Blue Gene
Abiadura handiko konputazioa

10. Abiadura handiko konputazioa2
Earth Simulator
Abiadura handiko konputazioa

11. Abiadura handiko konputazioa2
Earth Simulator
Abiadura handiko konputazioa

12. Abiadura handiko konputazioa2
Cluster-rak
 Sistema paraleloa osatzeko, helburu orokorreko P makina lotzen dira, komunikazio-sare “estandar” bat erabiliz.
prozesadorea (pentium / itanium)
konexio-sarea (gigabit / myrinet)
 ”Eraginkortasuna / kostua” parametroa oso ona.
Abiadura handiko konputazioa

13. Abiadura handiko konputazioa2
Cluster-rak K1
“Beowulf”
constellation
Abiadura handiko konputazioa

14. Abiadura handiko konputazioa2
Egoera gaur
 Argazkia:
- superkonputagailu batzuk (USA, JAPONIA, Europa)
- cluster motako milaka sistema paralelo
- milioika ordenagailu pertsonal
 Sistema paraleloen top500 zerrenda
Abiadura handiko konputazioa

15. Abiadura handiko konputazioa2
NEC
Earth simulator
IBM ASCI white LLNL
Intel ASCI red Sandia
BlueGene
x1,85
Abiadura handiko konputazioa

16. Installation site Country/year2
top500 (2004ko abendua)
Rank
Computer
N. Pr.
Rmax Rpeak (Tflop/s)
Nmax Nhalf
(x1000)
Installation site Country/year
Type 1
mpp
toro3D
IBM BlueGene/L DD2 beta
PowerPC ,7 GHz
32.768
70,72 91,75
934 -
IBM / DOE USA / 2004
Research 2
mpp
cross/hip
SGI Columbia
SGI Altix, Voltaire
Infiniband – 1.5 GHz
10.160
51,87 60,96
1290 -
NASA
USA / 2004
Research 3
vec / smp
crossbar
NEC Earth-Simulator
SX6 vector pr.
5.120
35,86 40,96
1075
266
Earth Simulator Center
Japan / 2002
Research 4
cluster
IBM Mare Nostrum
eServer BladeCenter 3520
PowerPC 970, 2 GHz – Myrinet
3.564
20,53
31,36
813 -
Barcelona SC Center
Spain / 2004
Academic
500
Superdome
HP, 875 MHz
Hyperplex
416
0,85 1,46
SBC service.
USA / 2004
Telecomm.
Abiadura handiko konputazioa

17. Abiadura handiko konputazioa2
SGI Altix
Abiadura handiko konputazioa

18. Abiadura handiko konputazioa2
Mare Nostrum
Abiadura handiko konputazioa

19. Abiadura handiko konputazioa2
Abiadura handiko konputazioa

20. Abiadura handiko konputazioa2
                                                                                                                                            
VP500
Y-MP C90
CM5
Paragon
T3D
SP2
T3E
ASCI Red
Sun HPC
CM2
Earth Sim.
Abiadura handiko konputazioa

21. Sistema paraleloen eredua2
Sistema paraleloen eredua
1. Memoria komuna (shared memory):
Prozesadore guztiek memoria-posizio guztiak erabil dizakete.
Prozesuen arteko komunikazioa aldagai konpartituen bidez gauzatzen da.
2. Memoria banatua (distributed memory):
Prozesadore bakoitzak memoria pribatua du.
Prozesuen arteko komunikazioa mezu-ematearen bidez egiten da.
Abiadura handiko konputazioa

22. Sistema paraleloen programazioa2
Sistema paraleloen programazioa
 Memoria komuna: OpenMP (API Fortran / C)
sasiaginduak konpiladorearentzat +
biblioteka-funtzio batzuk (sinkronizazioa)
#pragma omp parallel for
shared(A,B,C) private(x) schedule(static)
for (i = 1; i <= N; i++) {
x = A[i] + B[i];
C[i] = C[i] + x*x; }
Abiadura handiko konputazioa

23. Sistema paraleloen programazioa2
 Memoria banatua: MPI
Komunikazio-funtzio multzo handi bat (Fortran / C).
 MPI_Send(...); MPI_Recv(...);
 MPI_Bcast(...);
 MPI_Barrier(...);
if (pid==0)
MPI_Send (VA,N,MPI_INT, 1, tag, MPI_COMM_WORLD);
else
MPI_Recv (VA,N,MPI_INT, 0, tag, MPI_COMM_WORLD,...);
Abiadura handiko konputazioa

24. Abiadura handiko konputazioa3
The Grid
 ARAZOA
Hainbat aplikaziotan, ez da nahikoa makina batekin, superkonputagailu bat bada ere.
 Datu kopuru itzelak prozesatu behar dira. Merezi du toki batetik bestera mugitzea?
 Zergatik ez hartu sarean konektatutako (eta geografikoki banatutako) konputagailuak konputagailu birtual handitzat?
Abiadura handiko konputazioa

25. Abiadura handiko konputazioa3
The Grid
 Metafora: sare elektrikoa
Batetik, produzkio-zentru batzuk daude, eta, bestetik, kontsumitzaileak.
 Zergatik ez izan “konputazio-zikloak” sortzen (eta saltzen) dituzten zentro bereziak?
Makina propio bat izan beharrean, “makina birtual” bat “alokatu”.
Abiadura handiko konputazioa

26. Abiadura handiko konputazioa3
The Grid
 GRID: definizioa
Protokolo eta interfaze estandarrak, irekiak eta helburu orokorrekoak erabiliz, hainbat baliabide banatuta kudeatzen duen sistema, balio erantsiko zerbitzuak sortzeko.
 Beraz, gegografikoki banatutako cluster heterogeneo handi bat da “The Grid”.
Abiadura handiko konputazioa

27. Abiadura handiko konputazioa3
The Grid
 Osagaiak
- konputazio-guneak
- datu-base handiak
- urrutitik kontrolatutako sentsoreak
- abiadura handiko komunikazio-sarea
(internet2 - I2bask)
- middleware gehitu sistemari
- web zerbitzuak
Abiadura handiko konputazioa

28. OGSA: Open Grid Services Architecture3
The Grid
 5 (6) ideia nagusiak:
• Baliabideen konpartitzea (konfiantza)
• Distantziarekiko independentzia
• Baliabideen erabilera eraginkorra / Zerbitzuaren kalitatea
• Atzipen seguruak
• Estandarrak
OGSA: Open Grid Services Architecture
Abiadura handiko konputazioa

29. Grid arkitektura 3 middelware erabiltzaileen aplikazioak
baliabide fisikoak (fabric)
middelware
zerbitzu kolektiboak
konexio- eta
baliabide-protokoloak
Abiadura handiko konputazioa

30. baliabide fisikoak (fabric)3
Grid arkitektura
 Konputazio-guneak
Datuak metatzeko sistemak
Sarea(k)
Tresna fisikoak (sentsoreak)
 Kudeagarriak (introspection)
Erreserba aurreratuak
Lehentasunak
baliabide fisikoak (fabric)
Abiadura handiko konputazioa

31. baliabide-protokoloak3
Grid arkitektura
 Konektibitatea → TCP/IP
 SEGURTASUNA
- single sign-on
- delegation
- lankidetza segurtasun-sistema lokalekin
- kautotzea, kriptografia...
 Baliabide-protokoloak
- informazio-protokoloak egoera, karga, kostua...
- kudeaketa-protokoloak
zer egin nahi den, behar bereziak... (erabilera-arauak)
Konexio- eta
baliabide-protokoloak
Abiadura handiko konputazioa

32. Abiadura handiko konputazioa3
Grid arkitektura
zerbitzu kolektiboak
 Direktorioko zerbitzuak erabiltzaileak jakin dezan zer duen eskura
 Co-allocation, scheduling...
 Monitorizazioa eta diagnosia
 Datu-kopiak
Abiadura handiko konputazioa

33. erabiltzaileen aplikazioak3
Grid arkitektura
erabiltzaileen aplikazioak
 Erabiltzaileen aplikazioak “erakunde birtual” baten barruan
 Beheko mailen protokoloka eta zerbitzuak erabiliz: baliabideen bilaketa, datu-atzipenak, gailuen kudeaketa...
Abiadura handiko konputazioa

34. Abiadura handiko konputazioa3
Globus Toolkit2
 Open Grid Forum → Open Grid Service Architecture
 Globus Toolkit2
Middelware: protokolo estandarrak eta irekiak grid sareak antolatzeko eta aplikazioak sortzeko.
Abiadura handiko konputazioa

35. Abiadura handiko konputazioa3
Globus Toolkit2
 Aplikazioak
• Kalkulua
sare osoa: high throughput
nodo batzuk: high performance
• Datu-prozesamendua
• Kontrol banatua
• Erakunde birtualak
• ...
Abiadura handiko konputazioa

36. Abiadura handiko konputazioa3
Adibideak
 Datu konpartituak: Peer-to-peer (P2P) aplikazioak (NAPSTER, GNUTELLA, KAZAA...) D P 1 2 1 3 4
Abiadura handiko konputazioa

37. Abiadura handiko konputazioa3
Adibideak
 Konputazio banatua:
Astrogrid (philantropic computing)
Kasu partikularrak: egin behar den kalkulua hainbat zatitan bana daiteke, haien artean komunikaziorik ez dagoela.
 Baliabideen fidagarritasun baxua / komunikazio abiadura baxua / segurtasuna (?) / hutsegiteekiko tolerantzia / ...
Abiadura handiko konputazioa

38. Abiadura handiko konputazioa3
Adibideak
 CERN (European Center for Nuclear Research)
Large Hadron Collider, particle experiments
Abiadura handiko konputazioa

39. Abiadura handiko konputazioa
EU-DataGrid (EGEE)
+ GEANT
Abiadura handiko konputazioa

40. Abiadura handiko konputazioa3
The Grid gaur
 Diseinu / garapen fasean dagoen proiektu erraldoia
 Neurri batean, utopikoa
 Kalkulu-sare osoa izan beharrean, azpisare bereziak (zientifiko/teknikoak, komertzialak)
 Etorkizunean...
Abiadura handiko konputazioa

41. Abiadura handiko konputazioa
Informazioa zabaltzeko:
• The Grid 2: I. Foster, C. Kesselman •
• gridcafe.web.cern.ch/gridcafe
Abiadura handiko konputazioa