Difference: AmbienteSoftwareApplicazioni (1 vs. 9)

Revision 92012-10-15 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="Riunione11mag2012"

Verso la standardizzazione delle informazioni relative al middleware applicativo di supporto alle applicazioni di calcolo scientifico

Line: 50 to 50
 
  • richiedere al gruppo middleware di inserire, tra le dipendenze dei metapacchetti relativi ai Worker Nodes, anche un set minimale di librerie scientifiche consolidate di base
  • utilizzare la variabile yaim CE-RUNTIMENV per pubblicare informazioni relative all'interconnessione, alle versioni di MPI disponibili specificando laddove significativo anche la versione del compilatore utilizzato dalla distribuzione MPI ed eventualmente il flavour OPENMP
Changed:
<
<
  • utilizzare glii lcg-tags in maniera estesa e significativa per segnalare in maniera esaustiva (il più possibile) la presenza di una certa libreria.
>
>
  • utilizzare gli lcg-tags in maniera estesa e significativa per segnalare in maniera esaustiva (il più possibile) la presenza di una certa libreria.
 
  • infine in merito alla documentazione, sempre mediante la variabile CE-RUNTIMENV si potrebbe pubblicare una variabile SOFTWARE-DOC-URL che punta ad un URL dove si possa scaricare il manuale d'uso del software installato sul sito.
Added:
>
>

 

Esempi Operativi

Librerie di Base:

Line: 69 to 73
 yum install igi-wn_env-20120707-sl5.noarch.rpm
Deleted:
<
<
Il pacchetto installa anche il file /etc/modulefiles/openmpi-x86_64 che consente di caricare il modulo openmpi anche su SL5 (in SL6 e' supportato nativamente).
module avail
module load openmpi-x86_64
module list
 
Deleted:
<
<
La modalita' di compilazione di un programma MPI sul WN rimane comunque basata sugli Hooks di mpi-start.
 

-- VaniaBoccia - 2012-06-25

Revision 82012-07-12 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="Riunione11mag2012"

Verso la standardizzazione delle informazioni relative al middleware applicativo di supporto alle applicazioni di calcolo scientifico

Line: 71 to 71
  Il pacchetto installa anche il file /etc/modulefiles/openmpi-x86_64 che consente di caricare il modulo openmpi anche su SL5 (in SL6 e' supportato nativamente).
Deleted:
<
<
In questo modo per poter compilare un programma MPI sul WN occorre richiamare il modulo corrispondente:
 
module avail
module load openmpi-x86_64
module list
Added:
>
>
La modalita' di compilazione di un programma MPI sul WN rimane comunque basata sugli Hooks di mpi-start.
 

-- VaniaBoccia - 2012-06-25 \ No newline at end of file

Revision 72012-07-09 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="Riunione11mag2012"

Verso la standardizzazione delle informazioni relative al middleware applicativo di supporto alle applicazioni di calcolo scientifico

Line: 41 to 41
  L'obiettivo ultimo da raggiungere è la definizione:
  1. di standard, a livello del sistema informativo, per la corretta descrizione dello strato software applicativo
Changed:
<
<
  1. di un template di documentazione del software che semplifichi l'interazione dell'utente con le risorse di calcolo che hanno una certa dotazione di software applicativo
>
>
  1. CVMfs
  2. di un template di documentazione del software che semplifichi l'interazione dell'utente con le risorse di calcolo che hanno una certa dotazione di software applicativo
  La realizzazione del punto 1 rappresenterebbe l'optimum per tutte le comunità di e-Science (HPC e non) ma è un obiettivo realizzabile solo attraverso uno sforzo congiunto e coordinato di più gruppi di lavoro: da quello che lavora al Middleware, al FUS assieme al gruppo MPI-Multicore, al gruppo che si occupa in EGI del Glue schema, eccetera.

Revision 62012-07-09 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="Riunione11mag2012"

Verso la standardizzazione delle informazioni relative al middleware applicativo di supporto alle applicazioni di calcolo scientifico

Line: 61 to 61
 lapack-devel, blas-devel gsl-devel, fftw3-devel, gmp-devel, cfitsio-devel, netcdf-devel, hdf5-devel
Changed:
<
<
Per dimostrare questa funzionalita' e' stato creato il meta-pacchetto gridit-wn_env che installa (come dipendenze) i pacchetti di cui sopra:
>
>
Per dimostrare questa funzionalita' e' stato creato il meta-pacchetto igi-wn_env che installa (come dipendenze) i pacchetti di cui sopra:
 
Changed:
<
<
wget http://www.fis.unipr.it/grid/rpm/gridit-wn_env-20120704-1.noarch.rpm yum install gridit-wn_env-20120704-1.noarch.rpm
>
>
wget http://www.fis.unipr.it/grid/rpm/igi-wn_env-20120707-sl5.noarch.rpm yum install igi-wn_env-20120707-sl5.noarch.rpm

Il pacchetto installa anche il file /etc/modulefiles/openmpi-x86_64 che consente di caricare il modulo openmpi anche su SL5 (in SL6 e' supportato nativamente). In questo modo per poter compilare un programma MPI sul WN occorre richiamare il modulo corrispondente:

module avail
module load openmpi-x86_64
module list
 

Revision 52012-07-04 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="Riunione11mag2012"

Verso la standardizzazione delle informazioni relative al middleware applicativo di supporto alle applicazioni di calcolo scientifico

Line: 52 to 52
 
  • utilizzare glii lcg-tags in maniera estesa e significativa per segnalare in maniera esaustiva (il più possibile) la presenza di una certa libreria.
  • infine in merito alla documentazione, sempre mediante la variabile CE-RUNTIMENV si potrebbe pubblicare una variabile SOFTWARE-DOC-URL che punta ad un URL dove si possa scaricare il manuale d'uso del software installato sul sito.
Added:
>
>

Esempi Operativi

Librerie di Base:

L'elenco dei pacchetti che dovrebbero essere installati sui WNs include:

lapack-devel, blas-devel gsl-devel, fftw3-devel, gmp-devel, cfitsio-devel, netcdf-devel, hdf5-devel

Per dimostrare questa funzionalita' e' stato creato il meta-pacchetto gridit-wn_env che installa (come dipendenze) i pacchetti di cui sopra:

wget http://www.fis.unipr.it/grid/rpm/gridit-wn_env-20120704-1.noarch.rpm
yum install gridit-wn_env-20120704-1.noarch.rpm

 -- VaniaBoccia - 2012-06-25

Revision 42012-07-03 - RobertoAlfieri

Line: 1 to 1
 
META TOPICPARENT name="Riunione11mag2012"

Verso la standardizzazione delle informazioni relative al middleware applicativo di supporto alle applicazioni di calcolo scientifico

Line: 27 to 27
  Per gli amministratori della VO che si autenticano cioè con il ruolo lcgadmin ("voms-proxy-init --voms gridit:/gridit/Role=lcgadmin") sono disponibili i comandi:
Added:
>
>
 > lcg-tags --ce --vo --add --tags VO-VOname-TAGname
> lcg-tags --ce --vo --remove --tags VO-VOname-TAGname
Added:
>
>
  gli utenti della VO che si autenticano con il comando "voms-proxy-init --voms gridit", possono ottenere informazioni sulla dotazione software di un certo cluster mediante il comando:
Changed:
<
<
>
>
 > lcg-tags --ce --vo --list
Added:
>
>
 

Proposta

Revision 32012-06-25 - VaniaBoccia

Line: 1 to 1
 
META TOPICPARENT name="Riunione11mag2012"

Verso la standardizzazione delle informazioni relative al middleware applicativo di supporto alle applicazioni di calcolo scientifico

Line: 23 to 23
 
  • l'Application Database

Il secondo non è facilmente integrabile con le informazioni cui sono interessate le comunità di utenti.

Changed:
<
<
Il tool lcg-tags
>
>
Il primo consente di pubblicare informazioni sulle librerie software disponibili su un determinato sito ed accessibili mediante il CE.
 
Changed:
<
<
per gli amministratori della VO che si autenticano cioè con il ruolo lcgadmin ("voms-proxy-init --voms gridit:/gridit/Role=lcgadmin") sono disponibili i comandi:
>
>
Per gli amministratori della VO che si autenticano cioè con il ruolo lcgadmin ("voms-proxy-init --voms gridit:/gridit/Role=lcgadmin") sono disponibili i comandi:
  > lcg-tags --ce --vo --add --tags VO-VOname-TAGname
> lcg-tags --ce --vo --remove --tags VO-VOname-TAGname
Line: 45 to 45
 Tuttavia un primo approccio per soddisfare almeno in parte le esigenze delle comunità di utenti potrebbe essere il seguente:

  • richiedere al gruppo middleware di inserire, tra le dipendenze dei metapacchetti relativi ai Worker Nodes, anche un set minimale di librerie scientifiche consolidate di base
Changed:
<
<
  • utilizzare la variabile yaim CE-RUNTIMENV per pubblicare informazioni relative all'interconnessione, alle versioni di MPI disponibili specificando laddove significativo anche la versione del compilatore utilizzato dalla distribuzione MPI
>
>
  • utilizzare la variabile yaim CE-RUNTIMENV per pubblicare informazioni relative all'interconnessione, alle versioni di MPI disponibili specificando laddove significativo anche la versione del compilatore utilizzato dalla distribuzione MPI ed eventualmente il flavour OPENMP
 
  • utilizzare glii lcg-tags in maniera estesa e significativa per segnalare in maniera esaustiva (il più possibile) la presenza di una certa libreria.
  • infine in merito alla documentazione, sempre mediante la variabile CE-RUNTIMENV si potrebbe pubblicare una variabile SOFTWARE-DOC-URL che punta ad un URL dove si possa scaricare il manuale d'uso del software installato sul sito.

Revision 22012-06-25 - VaniaBoccia

Line: 1 to 1
 
META TOPICPARENT name="Riunione11mag2012"
Changed:
<
<

Verso la standardizzazione delle informazioni relative al middleware applicativo di supporto alle applicazioni di calcolo scientifico

>
>

Verso la standardizzazione delle informazioni relative al middleware applicativo di supporto alle applicazioni di calcolo scientifico

 
Changed:
<
<
Descrizione del problema
>
>

Descrizione del problema

  Le applicazioni di calcolo scientifico in grado di affrontare i cosiddetti problemi-sfida sono spesso, se non sempre, basate su un insieme anche cospicuo di strumenti software, che d'ora in poi chiameremo “middleware applicativo”(librerie, applicativi, problem solving environment) che forniscono il necessario ambiente per la loro esecuzione efficace ed efficiente sulle risorse di calcolo. Le comunità relative a tali applicazioni hanno la possibilità o di utilizzare risorse “locali” o remote , inserite in contesti di calcolo distribuito. Se da un lato l'utilizzo di risorse locali garantisce la possibilità di un controllo più diretto delle modalità di configurazione del software (grazie ad una maggior livello di interazione con i gestori delle risorse), dall'altro si può manifestare il problema della limitatezza delle risorse hardware a disposizione della comunità che può necessitare di maggiori risorse per un più rapido avanzamento della conoscenza nel proprio settore di competenza.
Line: 13 to 13
  Di seguito viene descritto lo stato dell'arte sui metodi e sugli strumenti oggi disponibili, in IGI/EGI, per la corretta gestione del middleware applicativo. Infine viene riportata una proposta per la creazione di un Virtual Team EGI che abbia l'obiettivo di definire lo standard di gestione del middleware applicativo (relative alle procedure per la sua installazione, documentazione e disseminazione).
Changed:
<
<
Stato dell'arte
>
>

Stato dell'arte

 
Changed:
<
<
Procedure e strumenti per l'installazione del middleware applicativo che garantiscano un “certo QoS”:
  • ...
  • ...
  • ...
>
>
Attualmente non sono disponibili procedure e strumenti per l'installazione del middleware applicativo che garantiscano un “certo QoS”: in particolare non esistono procedure automatiche che consentano l'installazione di librerie ottimizzate (mediante ad es. compilazione con flavour particolari, con compilatori diversi da quello di default, ecc.). L'installazione ottimizzata di librerie e software va fatta manualmente ad opera degli amministratori di sito.
 
Changed:
<
<
Strumenti per la pubblicazione delle informazioni sul middleware applicativo
  • lcg-VO tags
  • Application Database
  • ...
>
>
Inoltre tra gli strumenti per la pubblicazione delle informazioni sul middleware applicativo possiamo annoverare solo:
 
Changed:
<
<
Proposta
>
>
  • lo strumento lcg-tags e
  • l'Application Database
 
Changed:
<
<
Necessità di definire standard a livello del sistema informativo e unificare il formato delle documentazioni.
>
>
Il secondo non è facilmente integrabile con le informazioni cui sono interessate le comunità di utenti. Il tool lcg-tags
 
Added:
>
>
per gli amministratori della VO che si autenticano cioè con il ruolo lcgadmin ("voms-proxy-init --voms gridit:/gridit/Role=lcgadmin") sono disponibili i comandi:
 
Changed:
<
<
-- VaniaBoccia - 2012-05-17
>
>
> lcg-tags --ce --vo --add --tags VO-VOname-TAGname
> lcg-tags --ce --vo --remove --tags VO-VOname-TAGname

gli utenti della VO che si autenticano con il comando "voms-proxy-init --voms gridit", possono ottenere informazioni sulla dotazione software di un certo cluster mediante il comando:

> lcg-tags --ce --vo --list

Proposta

L'obiettivo ultimo da raggiungere è la definizione:

  1. di standard, a livello del sistema informativo, per la corretta descrizione dello strato software applicativo
  2. di un template di documentazione del software che semplifichi l'interazione dell'utente con le risorse di calcolo che hanno una certa dotazione di software applicativo

La realizzazione del punto 1 rappresenterebbe l'optimum per tutte le comunità di e-Science (HPC e non) ma è un obiettivo realizzabile solo attraverso uno sforzo congiunto e coordinato di più gruppi di lavoro: da quello che lavora al Middleware, al FUS assieme al gruppo MPI-Multicore, al gruppo che si occupa in EGI del Glue schema, eccetera.

Tuttavia un primo approccio per soddisfare almeno in parte le esigenze delle comunità di utenti potrebbe essere il seguente:

  • richiedere al gruppo middleware di inserire, tra le dipendenze dei metapacchetti relativi ai Worker Nodes, anche un set minimale di librerie scientifiche consolidate di base
  • utilizzare la variabile yaim CE-RUNTIMENV per pubblicare informazioni relative all'interconnessione, alle versioni di MPI disponibili specificando laddove significativo anche la versione del compilatore utilizzato dalla distribuzione MPI
  • utilizzare glii lcg-tags in maniera estesa e significativa per segnalare in maniera esaustiva (il più possibile) la presenza di una certa libreria.
  • infine in merito alla documentazione, sempre mediante la variabile CE-RUNTIMENV si potrebbe pubblicare una variabile SOFTWARE-DOC-URL che punta ad un URL dove si possa scaricare il manuale d'uso del software installato sul sito.

-- VaniaBoccia - 2012-06-25

Revision 12012-05-17 - VaniaBoccia

Line: 1 to 1
Added:
>
>
META TOPICPARENT name="Riunione11mag2012"

Verso la standardizzazione delle informazioni relative al middleware applicativo di supporto alle applicazioni di calcolo scientifico

Descrizione del problema

Le applicazioni di calcolo scientifico in grado di affrontare i cosiddetti problemi-sfida sono spesso, se non sempre, basate su un insieme anche cospicuo di strumenti software, che d'ora in poi chiameremo “middleware applicativo”(librerie, applicativi, problem solving environment) che forniscono il necessario ambiente per la loro esecuzione efficace ed efficiente sulle risorse di calcolo. Le comunità relative a tali applicazioni hanno la possibilità o di utilizzare risorse “locali” o remote , inserite in contesti di calcolo distribuito. Se da un lato l'utilizzo di risorse locali garantisce la possibilità di un controllo più diretto delle modalità di configurazione del software (grazie ad una maggior livello di interazione con i gestori delle risorse), dall'altro si può manifestare il problema della limitatezza delle risorse hardware a disposizione della comunità che può necessitare di maggiori risorse per un più rapido avanzamento della conoscenza nel proprio settore di competenza.

L'utilizzo di ambienti in cui le risorse di calcolo sono distribuite fornisce invcece una buona risposta al problema sopra descritto. Tuttavia non può essere trascurato che, in tali contesti, nascono problematiche relative a:

  • come verificare la presenza dei software di interesse sulle risorse di calcolo dell'infrastruttura distribuita
  • come avere informazioni sul software (versione installata, compilatori utilizzati per l'installazione, librerie richiamate dal software e relative versioni, se è MPI-based quale distribuzione MPI utilizza, ...)
  • come reperire informazioni sulle modalità di fruizione (documentazione ed esempi d'uso).

Di seguito viene descritto lo stato dell'arte sui metodi e sugli strumenti oggi disponibili, in IGI/EGI, per la corretta gestione del middleware applicativo. Infine viene riportata una proposta per la creazione di un Virtual Team EGI che abbia l'obiettivo di definire lo standard di gestione del middleware applicativo (relative alle procedure per la sua installazione, documentazione e disseminazione).

Stato dell'arte

Procedure e strumenti per l'installazione del middleware applicativo che garantiscano un “certo QoS”:

  • ...
  • ...
  • ...

Strumenti per la pubblicazione delle informazioni sul middleware applicativo

  • lcg-VO tags
  • Application Database
  • ...

Proposta

Necessità di definire standard a livello del sistema informativo e unificare il formato delle documentazioni.

-- VaniaBoccia - 2012-05-17

 
This site is powered by the TWiki collaboration platformCopyright © 2008-2020 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback