Difference: LocalJobs (2 vs. 3)

Revision 32012-03-22 - EnricoFattibene

 			 META TOPICPARENT 
			 name="WebHome" 
		
 Accounting dei job locali in IGI
- META TOPICPARENT
+ name="WebHome"
 Se non è possibile recuperare informazioni sul job dal log di BLAH, DGAS controlla se il job è stato sottomesso tramite pool account. In caso affermativo, il campo voOrigin è settato a pool e il job è considerato Grid.
-<
<
+Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti o i gruppi locali su una VO (il percorso di questo file è indicato come valore della variabile localUserGroup2VOMap nel file /opt/glite/etc/dgas_sensors.conf). Se questo file esiste e l'utente locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.
->
>
+Se l'utente locale con il quale il job ha girato non è un pool account, DGAS controlla se esiste un file di configurazione sul CE che mappa gli utenti o i gruppi locali su una VO (il percorso di questo file è indicato come valore della variabile localUserGroup2VOMap nel file /opt/glite/etc/dgas_sensors.conf). Se questo file esiste e l'utente o il gruppo locale è presente nel file, è possibile ricavare la VO. Il campo voOrigin viene settato a map e il job è considerato locale.
 Se il file di mapping tra utenti o gruppi locali e VO non esiste o se l'utente o gruppo locale non è presente nel file, non è possibile individuare la VO dell'utente che ha sottomesso il job, il campo voOrigin è settato a ..... e il job è considerato locale. HLRmon mostra questi job come job locali con VO unknown.
  Nel caso di sito con più CE:
-<
<
+I log del Batch system possono essere processati da uno solo dei CE, che reperirà le informazioni per tutti i job passati da quel Batch system, anche se hanno usato CE diversi.
Ogni CE deve processare i propri log di BLAH, contenenti le informazioni Grid dei job.
->
>
+I log del Batch system vengono processati da tutti i CE. 

Il CE master è l'unico che crea un record per ogni job (Grid o locale) presente nei log del Batch system, mentre gli altri CE processano solo quei job per cui posseggono le informazioni Grid.
I record per i quali non si trovano informazioni Grid nei log di BLAH di nessuno dei CE sono classificati locali. 

Se un record è già presente nell'HLR con informazioni provenienti esclusivamente dai log del Batch system (informazioni prese dal CE master), tale record può essere aggiornato con le informazioni Grid se queste vengono trovate sui log di BLAH di uno dei CE. Per questo motivo, la variabile useCEHostName deve avere lo stesso valore in tutti i CE, per permettere di identificare il record da aggiornare (DGAS infatti fa un controllo, tra gli altri, sul campo che contiene il valore di useCEHostName).
 La configurazione nel dgas_sensors.conf deve essere la seguente:
-<
<
+CE 1 (master):

jobsToProcess = all

siteName = <GLUE-SITENAME-HERE>

useCEHostName = <ce1.yourdomain.org>

localHostNameAsCEHostName = no

localUserGroup2VOMap = <MAPPING-FILE-PATH>

CE 2  --  CE N:

jobsToProcess = grid

siteName = 

useCEHostName = <ce1.yourdomain.org>

localHostNameAsCEHostName = no
->
>
+CE 1 (master): 

jobsToProcess = all 

useCEHostName = <ce1.yourdomain.org> 

localHostNameAsCEHostName = no 

localUserGroup2VOMap = <MAPPING-FILE-PATH> 


CE 2  --  CE N: 

jobsToProcess = grid 

useCEHostName = <ce1.yourdomain.org> 

localHostNameAsCEHostName = no
 Il CE 1 (master) deve avere il file di mapping aggiornato.
 Se si vogliono recuperare job che non sono stati accountati in passato si può forzare DGAS a riprocessare i vecchi log seguendo questi passi:
-<
<
+ Stoppare il servizio DGAS Urcollector:
->
>
+ Stoppare il servizio DGAS Urcollector:
 service glite-dgas-urcollector stop
-<
<
+ Verificare che sia realmente giù:
->
>
+ Verificare che sia realmente giù:
 ps -ef | grep urcollector
 

 Cambiare la data limite dalla quale far riprocessare i log     modificando il valore della variabile ignoreJobsLoggedBefore in /opt/glite/etc/dgas_sensors.conf
-<
<
+     (formato YYYY-MM-DD), es.:
->
>
+     (formato YYYY-MM-DD), es.:
 ignoreJobsLoggedBefore = "2011-01-01"
 

 Rinominare il file che contiene il buffer, indicato come valore della variabile collectorBufferFileName nel dgas_sensors.conf      (/opt/glite/var/dgasCollectorBuffer.lsf oppure /opt/glite/var/dgasCollectorBuffer.pbs rispettivamente se si usa LSF o Torque).
-<
<
+      Ad es. per LSF:
->
>
+      Ad es. per LSF:
 mv /opt/glite/var/dgasCollectorBuffer.lsf /opt/glite/var/dgasCollectorBuffer.lsf.20120322
 

 Spostare i file presenti in /opt/glite/var/dgasURBox/ERR nella directory
-<
<
+     superiore:
->
>
+     superiore (solo nel caso di sensori di versione precedente alla 4):
 mv /opt/glite/var/dgasURBox/ERR/* /opt/glite/var/dgasURBox/
-<
<
+ Far partire il servizio DGAS Urcollector:
->
>
+ Far partire il servizio DGAS Urcollector:
 service glite-dgas-urcollector start
-<
<
+ Controllare il log glite-dgas-urcollector:
->
>
+ Controllare il log glite-dgas-urcollector:
 tail -f /opt/glite/var/log/dgas_urcollector.log
 

 Controllare la directory /opt/glite/var/dgasURBox/ERR directory; non dovrebbe essere piena di file.
  Visualizzazione job locali in HLRmon
-<
<
+Attualmente HLRmon https://dgas.cnaf.infn.it/hlrmon/report/charts.php offre la possibilità di visualizzare job locali, di Grid o entrambe le categorie grazie al menù di selezione sulla sinistra
->
>
+Attualmente HLRmon offre la possibilità di visualizzare job locali, di Grid o entrambe le categorie grazie al menù di selezione sulla sinistra
 Select job type

L'ultimo grafico in basso a destra, per ognuno dei set di grafici selezionabili con il menù a tendina Chart set in alto, mostra l'andamento temporale dei job locali rispetto a quelli Grid.

View topic | History: r7 < r6 < r5 < r4 | More topic actions...