(r4) LocalJobs < DGAS

Tags: , view all tags
---+ Accounting dei job locali in IGI

Non esiste al momento una regola che stabilisca se un sito debba o meno accountare i job locali (oltre a quelli Grid) tramite DGAS.

Il CMT ritiene che, nel caso in cui tra i job locali ci sia una parte di job di utenti di VO di Grid, e' auspicabile che questi vengano accountati.
Se i job locali sono esclusivamente di utenti che non usano la grid e non appartengono quindi a VO, in tal caso si possono non accountare.
La decisione ultima è comunque lasciata al sito.

---++ Come DGAS stabilisce se un job è locale o di Grid

Se per un dato job, identificato dal proprio LRMS id, esiste un riferimento nei log di BLAH, allora al job possono essere associate le informazioni sulle estensioni VOMS (DN del certificato, VO, FQAN). In questo caso il campo _voOrigin_ della tabella jobTransSummary del DB dell'HLR è settato a _fqan_ e il job è considerato *Grid*.

Se non è possibile recuperare informazioni sul job dal log di BLAH, DGAS controlla se il job è stato sottomesso tramite pool account. In caso affermativo, il campo _voOrigin_ è settato a _pool_ e il job è considerato *Grid*.

Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti o i gruppi locali su una VO (il percorso di questo file è indicato come valore della variabile _localUserGroup2VOMap_ nel file _/opt/glite/etc/dgas_sensors.conf_). Se questo file esiste e l'utente o il gruppo locale è presente nel file, è possibile ricavare la VO. Il campo _voOrigin_ viene settato a _map_ e il job è considerato *locale*.

Se il file di mapping tra utenti o gruppi locali e VO non esiste o se l'utente o gruppo locale non è presente nel file, non è possibile individuare la VO dell'utente che ha sottomesso il job, il campo _voOrigin_ è settato a ..... e il job è considerato *locale*. HLRmon mostra questi job come job locali con VO _unknown_.


---++ Procedura per accountare job locali

---+++ Nel caso in cui il sito abbia un solo CE:

Sul CE, nel file di configurazione dei sensori di DGAS =/opt/glite/etc/dgas_sensors.conf=, settare la variabile _jobsToProcess = all_

Tenere aggiornato il file di configurazione indicato nel _dgas_sensors.conf_ come valore della variabile _localUserGroup2VOMap_ con il mapping tra gli utenti locali e le VO.

Ogni riga di questo file deve avere uno dei seguenti formati:

   * group <GRUPPO-LOCALE-UNIX> <NOME-VO>

   * user <UTENTE-LOCALE-UNIX> <NOME-VO>

---+++ Nel caso di sito con più CE:

I log del Batch system vengono processati da tutti i CE. <br />
Il CE master è l'unico che crea un record per ogni job (Grid o locale) presente nei log del Batch system, mentre gli altri CE processano solo quei job per cui posseggono le informazioni Grid.
I record per i quali non si trovano informazioni Grid nei log di BLAH di nessuno dei CE sono classificati locali. <br />
Se un record è già presente nell'HLR con informazioni provenienti esclusivamente dai log del Batch system (informazioni prese dal CE master), tale record può essere aggiornato con le informazioni Grid se queste vengono trovate sui log di BLAH di uno dei CE. Per questo motivo, la variabile _useCEHostName_ deve avere lo stesso valore in tutti i CE, per permettere di identificare il record da aggiornare (DGAS infatti fa un controllo, tra gli altri, sul campo che contiene il valore di _useCEHostName_).

La configurazione nel _dgas_sensors.conf_ deve essere la seguente: 

CE 1 (master): <br />
_jobsToProcess = all_ <br />
_useCEHostName = <ce1.yourdomain.org>_ <br />
_localHostNameAsCEHostName = no_ <br />
_localUserGroup2VOMap = <MAPPING-FILE-PATH>_ <br />

CE 2  --  CE N: <br />
_jobsToProcess = grid_ <br />
_useCEHostName = <ce1.yourdomain.org>_ <br />
_localHostNameAsCEHostName = no_ <br />

Il CE 1 (master) deve avere il file di mapping aggiornato.


---++ Riprocessamento vecchi log

Se si vogliono recuperare job che non sono stati accountati in passato si può forzare DGAS a riprocessare i vecchi log seguendo questi passi:

   * Stoppare il servizio DGAS Urcollector: <br />
_service glite-dgas-urcollector stop_

   * Verificare che sia realmente giù: <br />
_ps -ef | grep urcollector_

   * Cambiare la data limite dalla quale far riprocessare i log
     modificando il valore della variabile _ignoreJobsLoggedBefore_ in _/opt/glite/etc/dgas_sensors.conf_
     (formato YYYY-MM-DD), es.: <br />
_ignoreJobsLoggedBefore = "2011-01-01"_

   * Rinominare il file che contiene il buffer, indicato come valore della variabile _collectorBufferFileName_ nel _dgas_sensors.conf_
      (_/opt/glite/var/dgasCollectorBuffer.lsf_ oppure _/opt/glite/var/dgasCollectorBuffer.pbs_ rispettivamente se si usa LSF o Torque). 
      Ad es. per LSF: <br />
_mv /opt/glite/var/dgasCollectorBuffer.lsf /opt/glite/var/dgasCollectorBuffer.lsf.20120322_

   * Spostare i file presenti in /opt/glite/var/dgasURBox/ERR nella directory
     superiore (solo nel caso di sensori di versione precedente alla 4): <br />
_mv /opt/glite/var/dgasURBox/ERR/* /opt/glite/var/dgasURBox/_

   * Far partire il servizio DGAS Urcollector: <br />
_service glite-dgas-urcollector start_

   * Controllare il log glite-dgas-urcollector: <br />
_tail -f /opt/glite/var/log/dgas_urcollector.log_

   * Controllare la directory /opt/glite/var/dgasURBox/ERR directory; non dovrebbe essere piena di file.


---++ Visualizzazione job locali in HLRmon

Attualmente [[https://dgas.cnaf.infn.it/hlrmon/report/charts.php][HLRmon]] offre la possibilità di visualizzare job locali, di Grid o entrambe le categorie grazie al menù di selezione sulla sinistra 
_Select job type_

L'ultimo grafico in basso a destra, per ognuno dei set di grafici selezionabili con il menù a tendina _Chart set_ in alto, mostra l'andamento temporale dei job locali rispetto a quelli Grid.

I job locali a cui DGAS non riesce ad assegnare la VO, sono mostrati da HLRmon con VO _unknown_. Questa VO è selezionabile tra le altre VO nel menù sulla sinistra _Select VOs_.
Nel prossimo futuro ci sarà la possibilità di poter visualizzare o meno i job locali con VO _unknown_ spuntando un'apposita voce nel menù _Select job type_, in modo da poterli escludere/includere più facilmente.



-- Main.EnricoFattibene - 2012-03-21
Topic revision: r4 - 2012-04-02 - PaoloVeronesi
Account
- Log In
~~Edit~~
~~Attach~~