Difference: Riunione1giu2012 (1 vs. 13)

Revision 132012-06-07 - VaniaBoccia

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Line: 32 to 32
  Ambiente Software
Changed:
<
<
Boccia ricorda quanto detto nella scorsa riunione del gruppo e sottolinea la necessità di definire standard per la configurazione e la pubblicare dell'ambiente software (librerie tools, compilatori, ..) disponibili nei siti. Tutti concordano che la questione è molto delicata non solo per la elevata trasversalità del problema (che interessa non solo le comunità HPC ma tutte le comunità di utenti in generale) che riguarda almeno i gruppi: Middleware, FUS e il gruppo mpi/multicore stesso ma che coinvolge anche i gruppi che sviluppano GLUE.
>
>
Boccia ricorda quanto detto nella scorsa riunione del gruppo e sottolinea la necessità di definire standard per la configurazione e la pubblicazione dell'ambiente software (librerie tools, compilatori, ..) disponibili nei siti. Tutti concordano che la questione è molto complessa per la elevata trasversalità del problema (di interessa non solo per le comunità HPC ma per tutte le comunità di utenti in generale) poichè riguarda almeno i gruppi Middleware, FUS e il gruppo mpi/multicore stesso ma che coinvolge anche i gruppi che sviluppano GLUE.
  Si concorda che la soluzione migliore per by-passare il problema sia quella di procedere per step:
Changed:
<
<
  • Step 1: si può chiedere al gruppo middleware di prevedere che un'installazione del profilo WN e del profilo WN-MPI abbia già dipendenze per almeno qualche compilatore in più (ad. es GNU), qualche libreria di software scientifico di base consolidata (ad es. Gsl, Atlas, LaPack, Blas, Fftw3) e qualche libreria per la gestione dati (hdf5, netcdf, cfitsio) e (peri WN-MPI) qualche implementazione dello standard MPI (ad es. OpenMP)
>
>
  • Step 1: si può chiedere al gruppo middleware di prevedere che un'installazione del profilo WN e del profilo WN-MPI abbia già dipendenze per almeno qualche compilatore in più (ad. es GNU), qualche libreria di software scientifico di base consolidata (ad es. Gsl, Atlas, LaPack, Blas, Fftw3) e qualche libreria per la gestione dati (hdf5, netcdf, cfitsio) e (peri WN-MPI) qualche implementazione dello standard MPI (ad es. OpenMPI) e compilatori in grado di gestire le direttive multithread (ad es. OpenMP)
 
  • Step 2: chiarirsi le idee sull'obiettivo finale del supporto alle applicazioni (in termini di metodologie per fornire all'utenza un ricco ambiente software applicativo) per poi:
Changed:
<
<
    • rimodulare tale obiettivo sulla base di quanto il gruppo mpi/multicore può realizzare come primo passo
>
>
    • rimodulare tale obiettivo sulla base di quanto il gruppo mpi/multicore può realizzare come primo passo fungendo da "incubatore" almeno per le comunità HPC
 
    • formulare una proposta da condividere in modo trasversale con tutti i gruppi di lavoro su citati.
Changed:
<
<
Alfieri fa notare che a Napoli hanno elaborato una prima metodologia (basata sull'utilizzo di LCG-VO-TAGS, sulle variabili CE-RUNTIME e su una buona documentazione dell'utilizzo delle librerie disponibili, che può essere un buon punto di partenza nel supporto alle applicazioni e ricorda a tutti che i colleghi di Napoli hanno preparato la bozza di una proposta per la standardizzazione del middleware applicativo: /MPI/AmbienteSoftwareApplicazioni.
>
>
Alfieri fa notare che a Napoli hanno elaborato una prima metodologia (basata sull'utilizzo di LCG-VO-TAGS, sulle variabili CE-RUNTIME e su una buona documentazione dell'utilizzo delle librerie disponibili) che può essere un buon punto di partenza nel supporto alle applicazioni e ricorda a tutti che i colleghi di Napoli hanno preparato la bozza di una proposta per la standardizzazione del middleware applicativo: /MPI/AmbienteSoftwareApplicazioni.
 Tale proposta sarà integrata inserendo i punti cardine dell'esperienza del gruppo di Napoli, punti che saranno integrati/modificati eventualmente dai rappresentanti delle comunità di utenti del gruppo mpi/multicore con l'aggiunta di loro opinioni/esigenze.

Carracciuolo sottolinea che è importante avere contributi anche dagli utenti ed auspica una loro viva partecipazione alla stesura del documento.

Revision 122012-06-07 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Line: 36 to 36
 Tutti concordano che la questione è molto delicata non solo per la elevata trasversalità del problema (che interessa non solo le comunità HPC ma tutte le comunità di utenti in generale) che riguarda almeno i gruppi: Middleware, FUS e il gruppo mpi/multicore stesso ma che coinvolge anche i gruppi che sviluppano GLUE.

Si concorda che la soluzione migliore per by-passare il problema sia quella di procedere per step:

Changed:
<
<
  • Step 1: si può chiedere al gruppo middleware di prevedere che un'installazione del profilo WN e del profilo WN-MPI abbia già dipendenze per almeno qualche compilatore in più (ad. es GNU), qualche libreria di software scientifico di base consolidata (ad es. Gsl, Atlas, LaPack, Blas, Fftw3) e qualche libreria per la formattazione dei dati (hdf5, netcdf) e (peri WN-MPI) qualche implementazione dello standard MPI (ad es. OpenMP)
>
>
  • Step 1: si può chiedere al gruppo middleware di prevedere che un'installazione del profilo WN e del profilo WN-MPI abbia già dipendenze per almeno qualche compilatore in più (ad. es GNU), qualche libreria di software scientifico di base consolidata (ad es. Gsl, Atlas, LaPack, Blas, Fftw3) e qualche libreria per la gestione dati (hdf5, netcdf, cfitsio) e (peri WN-MPI) qualche implementazione dello standard MPI (ad es. OpenMP)
 
  • Step 2: chiarirsi le idee sull'obiettivo finale del supporto alle applicazioni (in termini di metodologie per fornire all'utenza un ricco ambiente software applicativo) per poi:
    • rimodulare tale obiettivo sulla base di quanto il gruppo mpi/multicore può realizzare come primo passo
    • formulare una proposta da condividere in modo trasversale con tutti i gruppi di lavoro su citati.

Revision 112012-06-07 - VaniaBoccia

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Line: 28 to 26
  Sono state inserite alcune note sull'utilizzo degli attributi "Wholenodes" e Mpi-start; Attributi "WholeNodes"
Changed:
<
<
Si ritiene necessario poter configurare l'LRMS in modo da supportare il Job packing (per ottimizzare l'uso delle risorse), la classificazione e la gestione dei diversi tipi di job (seriali, paralleli, memory-bound): Sono in corso contatti con D. Salomoni per la parte LSF.
>
>
Alfieri R. riassume i punti salienti del primo incontro che si è svolto a Napoli tra Boccia, Carracciuolo, Alfieri e Salomoni con l'obiettivo di implementare a livello del LRMS (per LSF e PBS) meccanismi che consentano un utilizzo corretto, equo e massimizzato delle risorse di calcolo (in particolare quelle rivolte alle comunità HPC).

Si ritiene necessario poter configurare l'LRMS in modo da supportare almeno il Job packing (per ottimizzare l'uso delle risorse), la classificazione e la gestione dei diversi tipi di job (seriali, paralleli, memory-bound).

  Ambiente Software
Changed:
<
<
Si ritiene necessario determinare un metodo standard per configurare e pubblicare l'ambiente software (librerie tools, compilatori, ..) disponibili nei siti. Anche l'installazione del profilo WN e del profilo WN-MPI dovrebbero configurare un ambiente software "di base" per appicazioni scientifiche quali : compilatori (gcc/gfortran, openMPI), librerire sceintifiche (Gsl, Atlas, LaPack, Blas, Fftw3), librerie formattazione dei dati (hdf5, netcdf)
>
>
Boccia ricorda quanto detto nella scorsa riunione del gruppo e sottolinea la necessità di definire standard per la configurazione e la pubblicare dell'ambiente software (librerie tools, compilatori, ..) disponibili nei siti. Tutti concordano che la questione è molto delicata non solo per la elevata trasversalità del problema (che interessa non solo le comunità HPC ma tutte le comunità di utenti in generale) che riguarda almeno i gruppi: Middleware, FUS e il gruppo mpi/multicore stesso ma che coinvolge anche i gruppi che sviluppano GLUE.

Si concorda che la soluzione migliore per by-passare il problema sia quella di procedere per step:

  • Step 1: si può chiedere al gruppo middleware di prevedere che un'installazione del profilo WN e del profilo WN-MPI abbia già dipendenze per almeno qualche compilatore in più (ad. es GNU), qualche libreria di software scientifico di base consolidata (ad es. Gsl, Atlas, LaPack, Blas, Fftw3) e qualche libreria per la formattazione dei dati (hdf5, netcdf) e (peri WN-MPI) qualche implementazione dello standard MPI (ad es. OpenMP)
  • Step 2: chiarirsi le idee sull'obiettivo finale del supporto alle applicazioni (in termini di metodologie per fornire all'utenza un ricco ambiente software applicativo) per poi:
    • rimodulare tale obiettivo sulla base di quanto il gruppo mpi/multicore può realizzare come primo passo
    • formulare una proposta da condividere in modo trasversale con tutti i gruppi di lavoro su citati.

Alfieri fa notare che a Napoli hanno elaborato una prima metodologia (basata sull'utilizzo di LCG-VO-TAGS, sulle variabili CE-RUNTIME e su una buona documentazione dell'utilizzo delle librerie disponibili, che può essere un buon punto di partenza nel supporto alle applicazioni e ricorda a tutti che i colleghi di Napoli hanno preparato la bozza di una proposta per la standardizzazione del middleware applicativo: /MPI/AmbienteSoftwareApplicazioni. Tale proposta sarà integrata inserendo i punti cardine dell'esperienza del gruppo di Napoli, punti che saranno integrati/modificati eventualmente dai rappresentanti delle comunità di utenti del gruppo mpi/multicore con l'aggiunta di loro opinioni/esigenze.

 
Changed:
<
<
I colleghi di Napoli hanno preparato la bozza di una proposta per la standardizzazione del middleware applicativo: /MPI/AmbienteSoftwareApplicazioni Aggiungeranno i punti emersi durante la discussione, ma e' importante avere contributi anche dagli utenti.
>
>
Carracciuolo sottolinea che è importante avere contributi anche dagli utenti ed auspica una loro viva partecipazione alla stesura del documento.
  Gestione e utilizzo dei dati

Revision 102012-06-06 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Line: 8 to 8
  A Bologna: Roberto Alfieri, Massimo Drudi, Antonia Ghiselli, Marco Bencivenni.
Changed:
<
<
In remoto; Vania Boccia, Giovanni Barone, Luisa Carracciuolo, Enrico Mazzoni. Daniele Cesini e Alessandro Costantini.
>
>
In remoto; Vania Boccia, Giovanni Barone, Luisa Carracciuolo, Enrico Mazzoni, Daniele Cesini e Alessandro Costantini.
 

Minute

Line: 36 to 36
  Si ritiene necessario determinare un metodo standard per configurare e pubblicare l'ambiente software (librerie tools, compilatori, ..) disponibili nei siti. Anche l'installazione del profilo WN e del profilo WN-MPI dovrebbero configurare un
Changed:
<
<
ambiente software "di base" per appicazioni scientifiche (gcc/gfortran 4.1.2, GSL, ATLAS, LAPACK, FFTW3, ecc)
>
>
ambiente software "di base" per appicazioni scientifiche quali : compilatori (gcc/gfortran, openMPI), librerire sceintifiche (Gsl, Atlas, LaPack, Blas, Fftw3), librerie formattazione dei dati (hdf5, netcdf)
  I colleghi di Napoli hanno preparato la bozza di una proposta per la standardizzazione del middleware applicativo: /MPI/AmbienteSoftwareApplicazioni Aggiungeranno i punti emersi durante la discussione, ma e' importante avere contributi anche dagli utenti.

Revision 92012-06-04 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Location: INFN-CNAF, Via Ranzani Bologna, sala Riunioni Asinelli , dalle 14:00 alle 16:00

Changed:
<
<
Programma
>
>
Presenti
 
Changed:
<
<
- Stato dei siti
>
>
A Bologna: Roberto Alfieri, Massimo Drudi, Antonia Ghiselli, Marco Bencivenni.
 
Changed:
<
<
- Analisi dei principali punti della sperimentazione e loro stato:
  • Deployment: problematiche di installazione e configurazione del supporto MPI in EMI-1.
  • Ambiente Hardware:
  • Ambiente Software:
  • Storage:
    • Gestione e utilizzo dell'area di Checkpoint
  • Affidabilita'/resilienza:
    • Myproxy, starvation, ...
>
>
In remoto; Vania Boccia, Giovanni Barone, Luisa Carracciuolo, Enrico Mazzoni. Daniele Cesini e Alessandro Costantini.
 
Deleted:
<
<
- Stato del portale
 
Changed:
<
<
- Stao delle applicazioni
>
>
Minute
 
Changed:
<
<
- Partecipazione a Workshop, e congressi
>
>
Stato dei siti

I siti di Parma, Napoli Pisa e Perugia sono attivi e correttamente configurati nel TOP BDII di produzione. Il sito di Bologna/IGI e' in ritardo a causa del ritardo di consegna del materiale.

Deployment: problematiche di installazione e configurazione del supporto MPI in EMI-1

Occorre prestare attenzione nella configurazione Yaim del CE: il profilo MPI_CE deve esistere e deve essere il primo della lista. E' necessario pubblicare anche nel sistema informativo il tipo di rete (MPI-Ethernet | MPI-Infiniband)

Ambiente Hardware

Sono state inserite alcune note sull'utilizzo degli attributi "Wholenodes" e Mpi-start; Attributi "WholeNodes"

Si ritiene necessario poter configurare l'LRMS in modo da supportare il Job packing (per ottimizzare l'uso delle risorse), la classificazione e la gestione dei diversi tipi di job (seriali, paralleli, memory-bound): Sono in corso contatti con D. Salomoni per la parte LSF.

Ambiente Software

Si ritiene necessario determinare un metodo standard per configurare e pubblicare l'ambiente software (librerie tools, compilatori, ..) disponibili nei siti. Anche l'installazione del profilo WN e del profilo WN-MPI dovrebbero configurare un ambiente software "di base" per appicazioni scientifiche (gcc/gfortran 4.1.2, GSL, ATLAS, LAPACK, FFTW3, ecc)

I colleghi di Napoli hanno preparato la bozza di una proposta per la standardizzazione del middleware applicativo: /MPI/AmbienteSoftwareApplicazioni Aggiungeranno i punti emersi durante la discussione, ma e' importante avere contributi anche dagli utenti.

Gestione e utilizzo dei dati

Un aspetto importante nella gestione dei dati e' la possibilita' di accedere a stdout e stderr durante l'esecuzione del job. Questa funzionalita' e' gia stata aggiunta nel portale (Marco B e Alessandro C.) per una specifica applicazione: ogni ora i dati dell'applicazione vengono copiati su uno Storage Element e pubblicati via https. Occorrera' valutare se la funzionalita' puo' essere estesa in modo trasparente a tutta la VO gridit (o altre).

Stato del portale Siamo in attesa che si completi l'iter burocratico per l'attivazione dell'autenticazione via Idem. La CA-onfine e' in stato avanzato di integrazione.

Stato delle applicazioni

Ora che l'infrastruttura e' pronta le applicazioni devono essere portate al piu' presto, in modo da terminare possibilmente le attivita' entro l'estate. Al momento solo Einstein Toolkit (DePietri) e Nemo (Drudi) sono pronte.

- Partecipazione a Workshop, e congressi.

 


Revision 82012-06-01 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Location: INFN-CNAF, Via Ranzani Bologna, sala Riunioni Asinelli , dalle 14:00 alle 16:00

Changed:
<
<

Programma (in fase di definizione)

>
>
Programma
  - Stato dei siti
Line: 22 to 19
 
Added:
>
>
  • Affidabilita'/resilienza:
    • Myproxy, starvation, ...

- Stato del portale

 
Changed:
<
<
- Stato delle applicazioni
>
>
- Stao delle applicazioni
  - Partecipazione a Workshop, e congressi

Revision 72012-05-31 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Line: 26 to 26
 - Stato delle applicazioni

- Partecipazione a Workshop, e congressi

Added:
>
>


Coordinate per l'accesso via EVO:

Title:        MPI Multicore
Description:   
Community:    Universe

Meeting Access Information:
- Meeting URL
http://evo.caltech.edu/evoNext/koala.jnlp?meeting=vsvivIeseaIBIlaiavItas

Phone Bridge ID è 536 8640 

 \ No newline at end of file

Revision 62012-05-30 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Line: 9 to 9
  Programma (in fase di definizione)

Changed:
<
<
Analisi dei principali punti della sperimentazione e loro stato:
>
>
- Stato dei siti

- Analisi dei principali punti della sperimentazione e loro stato:

 
  • Deployment: problematiche di installazione e configurazione del supporto MPI in EMI-1.
  • Ambiente Hardware:
Line: 21 to 23
 
  • Storage:
    • Gestione e utilizzo dell'area di Checkpoint
Deleted:
<
<
  • Partecipazione a Workshop, e congressi
 \ No newline at end of file
Added:
>
>
- Stato delle applicazioni

- Partecipazione a Workshop, e congressi

Revision 52012-05-30 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Line: 21 to 21
 
  • Storage:
    • Gestione e utilizzo dell'area di Checkpoint
Changed:
<
<
  • Partecipazione a Workshop
>
>
  • Partecipazione a Workshop, e congressi
 \ No newline at end of file

Revision 42012-05-28 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Line: 18 to 18
 
Added:
>
>
  • Storage:
    • Gestione e utilizzo dell'area di Checkpoint

  • Partecipazione a Workshop

Revision 32012-05-28 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Line: 4 to 4
  Location: INFN-CNAF, Via Ranzani Bologna, sala Riunioni Asinelli , dalle 14:00 alle 16:00
Added:
>
>
 Programma (in fase di definizione)
Deleted:
<
<
  • Discussione riguardo il documento sulla standardizzazione del middleware applicativo.
 \ No newline at end of file
Added:
>
>
Analisi dei principali punti della sperimentazione e loro stato:

Revision 22012-05-18 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Location: INFN-CNAF, Via Ranzani Bologna, sala Riunioni Asinelli , dalle 14:00 alle 16:00

Programma (in fase di definizione)

Changed:
<
<
>
>
  • Discussione riguardo il documento sulla standardizzazione del middleware applicativo.
 \ No newline at end of file

Revision 12012-05-11 - RobertoAlfieri

Line: 1 to 1
Added:
>
>
META TOPICPARENT name="WebHome"

Riunione MPI-multicore del 1/06/2012

Location: INFN-CNAF, Via Ranzani Bologna, sala Riunioni Asinelli , dalle 14:00 alle 16:00

Programma (in fase di definizione)

 
This site is powered by the TWiki collaboration platformCopyright © 2008-2020 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback