• Step 1: si può chiedere al gruppo middleware di prevedere che un'installazione del profilo WN e del profilo WN-MPI abbia già dipendenze per almeno qualche compilatore in più (ad. es GNU), qualche libreria di software scientifico di base consolidata (ad es. Gsl, Atlas, LaPack, Blas, Fftw3) e qualche libreria per la gestione dati (hdf5, netcdf, cfitsio) e (peri WN-MPI) qualche implementazione dello standard MPI (ad es. OpenMPI) e compilatori in grado di gestire le direttive multithread (ad es. OpenMP)

• • rimodulare tale obiettivo sulla base di quanto il gruppo mpi/multicore può realizzare come primo passo fungendo da "incubatore" almeno per le comunità HPC

• Step 1: si può chiedere al gruppo middleware di prevedere che un'installazione del profilo WN e del profilo WN-MPI abbia già dipendenze per almeno qualche compilatore in più (ad. es GNU), qualche libreria di software scientifico di base consolidata (ad es. Gsl, Atlas, LaPack, Blas, Fftw3) e qualche libreria per la gestione dati (hdf5, netcdf, cfitsio) e (peri WN-MPI) qualche implementazione dello standard MPI (ad es. OpenMP)

Si ritiene necessario poter configurare l'LRMS in modo da supportare almeno il Job packing (per ottimizzare l'uso delle risorse), la classificazione e la gestione dei diversi tipi di job (seriali, paralleli, memory-bound).

Si concorda che la soluzione migliore per by-passare il problema sia quella di procedere per step:

• Step 1: si può chiedere al gruppo middleware di prevedere che un'installazione del profilo WN e del profilo WN-MPI abbia già dipendenze per almeno qualche compilatore in più (ad. es GNU), qualche libreria di software scientifico di base consolidata (ad es. Gsl, Atlas, LaPack, Blas, Fftw3) e qualche libreria per la formattazione dei dati (hdf5, netcdf) e (peri WN-MPI) qualche implementazione dello standard MPI (ad es. OpenMP)
• Step 2: chiarirsi le idee sull'obiettivo finale del supporto alle applicazioni (in termini di metodologie per fornire all'utenza un ricco ambiente software applicativo) per poi:
  • rimodulare tale obiettivo sulla base di quanto il gruppo mpi/multicore può realizzare come primo passo
  • formulare una proposta da condividere in modo trasversale con tutti i gruppi di lavoro su citati.

Alfieri fa notare che a Napoli hanno elaborato una prima metodologia (basata sull'utilizzo di LCG-VO-TAGS, sulle variabili CE-RUNTIME e su una buona documentazione dell'utilizzo delle librerie disponibili, che può essere un buon punto di partenza nel supporto alle applicazioni e ricorda a tutti che i colleghi di Napoli hanno preparato la bozza di una proposta per la standardizzazione del middleware applicativo: /MPI/AmbienteSoftwareApplicazioni. Tale proposta sarà integrata inserendo i punti cardine dell'esperienza del gruppo di Napoli, punti che saranno integrati/modificati eventualmente dai rappresentanti delle comunità di utenti del gruppo mpi/multicore con l'aggiunta di loro opinioni/esigenze.

I siti di Parma, Napoli Pisa e Perugia sono attivi e correttamente configurati nel TOP BDII di produzione. Il sito di Bologna/IGI e' in ritardo a causa del ritardo di consegna del materiale.

Deployment: problematiche di installazione e configurazione del supporto MPI in EMI-1

Occorre prestare attenzione nella configurazione Yaim del CE: il profilo MPI_CE deve esistere e deve essere il primo della lista. E' necessario pubblicare anche nel sistema informativo il tipo di rete (MPI-Ethernet | MPI-Infiniband)

Ambiente Hardware

Sono state inserite alcune note sull'utilizzo degli attributi "Wholenodes" e Mpi-start; Attributi "WholeNodes"

Si ritiene necessario poter configurare l'LRMS in modo da supportare il Job packing (per ottimizzare l'uso delle risorse), la classificazione e la gestione dei diversi tipi di job (seriali, paralleli, memory-bound): Sono in corso contatti con D. Salomoni per la parte LSF.

Ambiente Software

Si ritiene necessario determinare un metodo standard per configurare e pubblicare l'ambiente software (librerie tools, compilatori, ..) disponibili nei siti. Anche l'installazione del profilo WN e del profilo WN-MPI dovrebbero configurare un ambiente software "di base" per appicazioni scientifiche (gcc/gfortran 4.1.2, GSL, ATLAS, LAPACK, FFTW3, ecc)

I colleghi di Napoli hanno preparato la bozza di una proposta per la standardizzazione del middleware applicativo: /MPI/AmbienteSoftwareApplicazioni Aggiungeranno i punti emersi durante la discussione, ma e' importante avere contributi anche dagli utenti.

Gestione e utilizzo dei dati

Un aspetto importante nella gestione dei dati e' la possibilita' di accedere a stdout e stderr durante l'esecuzione del job. Questa funzionalita' e' gia stata aggiunta nel portale (Marco B e Alessandro C.) per una specifica applicazione: ogni ora i dati dell'applicazione vengono copiati su uno Storage Element e pubblicati via https. Occorrera' valutare se la funzionalita' puo' essere estesa in modo trasparente a tutta la VO gridit (o altre).

Stato del portale Siamo in attesa che si completi l'iter burocratico per l'attivazione dell'autenticazione via Idem. La CA-onfine e' in stato avanzato di integrazione.

Stato delle applicazioni

Ora che l'infrastruttura e' pronta le applicazioni devono essere portate al piu' presto, in modo da terminare possibilmente le attivita' entro l'estate. Al momento solo Einstein Toolkit (DePietri) e Nemo (Drudi) sono pronte.

- Partecipazione a Workshop, e congressi.

• Affidabilita'/resilienza:
  • Myproxy, starvation, ...

- Stato del portale

Coordinate per l'accesso via EVO:

Title:        MPI Multicore
Description:   
Community:    Universe

Meeting Access Information:
- Meeting URL
http://evo.caltech.edu/evoNext/koala.jnlp?meeting=vsvivIeseaIBIlaiavItas

Phone Bridge ID è 536 8640 

- Analisi dei principali punti della sperimentazione e loro stato:

- Partecipazione a Workshop, e congressi

• Partecipazione a Workshop, e congressi

• Storage:
  • Gestione e utilizzo dell'area di Checkpoint

• Partecipazione a Workshop

• Deployment: problematiche di installazione e configurazione del supporto MPI in EMI-1.
  • /MPI/HowToInstall
• Ambiente Hardware:
  • Attributi "WholeNodes"
  • Gestione del tipo di Job e Job packing nell'LRMS
• Ambiente Software:
  • /MPI/HowToUse
  • Documento sulla standardizzazione del middleware applicativo - /MPI/AmbienteSoftwareApplicazioni

• Discussione riguardo il documento sulla standardizzazione del middleware applicativo.

Riunione MPI-multicore del 1/06/2012

Location: INFN-CNAF, Via Ranzani Bologna, sala Riunioni Asinelli , dalle 14:00 alle 16:00

Programma (in fase di definizione)