Line: 1 to 1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Storage accounting | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Line: 40 to 40 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Data visualization | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < | HLRmon development server (hlrmon-dev.cnaf.infn.it) collects data from the configured HLR (at the moment the HLR used is the dgas-test-vm01.cnaf.infn.it test instance) typically once a day, it aggregates per day and stores the results in its internal DB. HLRmon does not store only information related to URs but it also stores, in the same table, data related to the free space of each SA, the total space and the free space for each SE taken directly from the Information System. The HLRmon DB table that contains these data is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the HLR table (if applicable), the corresponding field in the Glue Schema (if applicable) and the description of the field. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | HLRmon development server (hlrmon-dev.cnaf.infn.it) collects data from the configured HLR (at the moment the HLR used is the dgas-test-vm01.cnaf.infn.it test instance) typically once a day, it aggregates per day and stores the results in its internal DB. The table ( sedata_new) that contains these data is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the HLR table (if applicable) and the description of the field. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | Table sedata_new schema
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < | Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo: https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | HLRmon shows data aggregated per site, Storage Element and Storage Area. For each of these aggregation keys, and for the interval of time desired, a set of charts with the temporal trend is produced. Charts are available at: https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < | Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel: https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | The same information can also be accessed in a tabular form, with the possibility to save it in xls format: https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < | Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | A per-VO aggregation is not possible at the moment because a Storage Area can be shared among different VOs. In this case the Glue Schema allows the publication of the space used in the Storage Area, but not of the space used by each VO. For this case is not possible to know the space used by each VO. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Line: 1 to 1 | |||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Storage accounting | |||||||||||||||||||||
Line: 40 to 40 | |||||||||||||||||||||
Data visualization | |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < | Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. Oltre ai dati contenuti nello Usage Record, HLRmon inserisce in questa tabella dati presi direttamente dal sitema informativo, relativi allo spazio libero di ogni Storage Area, e allo spazio totale e libero di ogni Storage Element. La tabella del DB di HLRmon che contiene i suddetti dati ha lo schema descritto nelle prime colonne della seguente tabella. Le altre colonne indicano: l'eventuale campo corrispondente della tabella dell'HLR; l'eventuale campo corrispondente del Glue Schema; la descrizione del campo. | ||||||||||||||||||||
> > | HLRmon development server (hlrmon-dev.cnaf.infn.it) collects data from the configured HLR (at the moment the HLR used is the dgas-test-vm01.cnaf.infn.it test instance) typically once a day, it aggregates per day and stores the results in its internal DB. HLRmon does not store only information related to URs but it also stores, in the same table, data related to the free space of each SA, the total space and the free space for each SE taken directly from the Information System. The HLRmon DB table that contains these data is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the HLR table (if applicable), the corresponding field in the Glue Schema (if applicable) and the description of the field. | ||||||||||||||||||||
|
Line: 1 to 1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Storage accounting | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Added: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | The following page contains the results of the Storage Accounting activities in progress at INFN-CNAF. These activities started at the beginning of March 2011 and is being carried out by Andrea Cristofori, Enrico Fattibene and Paolo Veronesi.
Usage Record usedThe Usage Record (UR) utilized are generated in a way that allows a per file accounting. The fields that are part of the UR used are described on the paragraph "Architecture".ArchitectureThe Accounting System utilized to collect, send, store and publish data is DGAS. Data are collected at a site level, sent and stored to the designed HLR for that particular site (site or multi site HLR). sysDefStorageAccounting is the table that contains the data sent with the UR on the HLR. The first six columns describe the table attributes. The remaining columns contain the following columns: GlueSchemaField correspond to the Glue Schema parameter used; Description descrbe the meaning of the field; AlwaysNULL tells if the field, in the current implementation is expected to be always NULL.
ImplementationUR are, in the current implementation, generated by retrieving accounting data from the Information System. A dedicated script is run once a day from a UI and collects data for all the Italian sites. The UR are then sent to a test HLR.Data visualizationIl server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. Oltre ai dati contenuti nello Usage Record, HLRmon inserisce in questa tabella dati presi direttamente dal sitema informativo, relativi allo spazio libero di ogni Storage Area, e allo spazio totale e libero di ogni Storage Element. La tabella del DB di HLRmon che contiene i suddetti dati ha lo schema descritto nelle prime colonne della seguente tabella. Le altre colonne indicano: l'eventuale campo corrispondente della tabella dell'HLR; l'eventuale campo corrispondente del Glue Schema; la descrizione del campo.
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel: https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO. Storage accounting | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
La seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi.
Usage Record utilizzato |
Line: 1 to 1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Storage accounting | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Line: 10 to 10 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Architettura | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < | Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e le prime colonne della tabella che segue contengono il suo schema. La seconda parte della tabella contiene le seguenti colonne: la colonna GlueSchemaField indica il parametro del Glue Schema usato; la colonna Description descrive il significato del campo; la colonna AlwaysNULL indica se per la corrente implementazione il campo e' attesa essere sempre NULL). | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e le prime colonne della tabella che segue contengono il suo schema. La seconda parte della tabella contiene le seguenti colonne: la colonna GlueSchemaField indica il parametro del Glue Schema usato; la colonna Description descrive il significato del campo; la colonna AlwaysNULL indica se per la corrente implementazione il campo e' atteso essere sempre NULL). | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Implementazione |
Line: 1 to 1 | |||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Storage accounting | |||||||||||||||||||||||||||||||||||||||||||
Line: 14 to 14 | |||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||
Implementazione |
Line: 1 to 1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Storage accounting | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Line: 10 to 10 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Architettura | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < | Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e questo e' il suo schema: | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e le prime colonne della tabella che segue contengono il suo schema. La seconda parte della tabella contiene le seguenti colonne: la colonna GlueSchemaField indica il parametro del Glue Schema usato; la colonna Description descrive il significato del campo; la colonna AlwaysNULL indica se per la corrente implementazione il campo e' attesa essere sempre NULL). | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Implementazione | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Line: 40 to 40 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Visualizzazione dei dati | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < | Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. La tabella che li contiene ha il seguente schema: | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. Oltre ai dati contenuti nello Usage Record, HLRmon inserisce in questa tabella dati presi direttamente dal sitema informativo, relativi allo spazio libero di ogni Storage Area, e allo spazio totale e libero di ogni Storage Element. La tabella del DB di HLRmon che contiene i suddetti dati ha lo schema descritto nelle prime colonne della seguente tabella. Le altre colonne indicano: l'eventuale campo corrispondente della tabella dell'HLR; l'eventuale campo corrispondente del Glue Schema; la descrizione del campo. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo: https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php |
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
Storage accounting |
Line: 1 to 1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
< < | Storage accounting La seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi. ---++ Usage Record utilizzato Lo Usage Record utilizzato e' stato creato per contemplare un eventuale accounting per file. I campi che compongono lo UR utilizzato sono riportati nel paragrafo Architettura. ---++ Architettura Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e questo e' il suo schema: |*Field*|*Type*|*Null*|*Key*|*Default*|*Extra*| |ID| bigint(20)||MUL|NULL|auto_increment| | RecordIdentity | char(64) | | PRI | | | | GlobalFileId | char(64) | YES | | NULL | | |!LocalFileId | char(64) | YES | | NULL | | |!GlobalGroup | char(64) | YES | | NULL | | |!GlobalUsername | char(64) | YES | | NULL | | |!LocalUserId | char(64) | YES | | NULL | | |Charge | int(10) | YES | | NULL | | |Status | char(64) | | | | | |Host | char(64) | | | | | |!SubmitHost | char(64) | YES | | NULL | | |!ProjectName | char(64) | YES | | NULL | | |!ProjectPartition | char(64) | YES | | NULL | | |!StorageType | char(64) | YES | | NULL | | |!ProtocolType | char(64) | YES | | NULL | | |Network | int(10) | YES | | NULL | | |Disk | int(10) | YES | | NULL | | |!TimeDuration | int(10) | YES | | NULL | | |!TimeInstant | int(10) | YES | | NULL | | |!ServiceLevel | char(64) | YES | | NULL | | ---++ Implementazione I dati sono presi al momento da sistema informativo. Uno script gira titpicamente una volta al giorno dalla UI ui.cnaf.infn.it prendendo i dati per tutti i siti della Grid italiana. I dati vengono mandati all'HLR di test dgas-test-vm01. ---++ Visualizzazione dei dati Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. La tabella che li contiene ha il seguente schema: |*Field* | Type | Null | Key | Default | Extra | | ID | bigint(20) | NO | PRI | NULL | auto_increment | | YYMMGG | date | NO | | 0000-00-00 | | | Site | varchar(45) | YES | | NULL | | | SEName | varchar(45) | YES | | NULL | | | VOName | varchar(45) | YES | | NULL | | | FreeSpace | bigint(20) | YES | | NULL | | | UsedSpace | bigint(20) | YES | | NULL | | | totalfree | bigint(20) | YES | | NULL | | | totalsize | bigint(20) | YES | | NULL | | | Class | varchar(45) | YES | | NULL | | | last_mod_time | timestamp | NO | | CURRENT_TIMESTAMP | | Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:<br /> _https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php_ Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel:<br /> _https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php_ Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | Storage accountingLa seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi.Usage Record utilizzatoLo Usage Record utilizzato e' stato creato per contemplare un eventuale accounting per file. I campi che compongono lo UR utilizzato sono riportati nel paragrafo Architettura.ArchitetturaIl sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e questo e' il suo schema:
ImplementazioneI dati sono presi al momento da sistema informativo. Uno script gira titpicamente una volta al giorno dalla UI ui.cnaf.infn.it prendendo i dati per tutti i siti della Grid italiana. I dati vengono mandati all'HLR di test dgas-test-vm01.Visualizzazione dei datiIl server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. La tabella che li contiene ha il seguente schema:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel: https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
-- Main.Enric oFattibene - 2011-07-07 \ No newline at end of file |
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Changed: | ||||||||
< < | Storage accounting | |||||||
> > | Storage accounting La seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi. ---++ Usage Record utilizzato Lo Usage Record utilizzato e' stato creato per contemplare un eventuale accounting per file. I campi che compongono lo UR utilizzato sono riportati nel paragrafo Architettura. ---++ Architettura Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e questo e' il suo schema: |*Field*|*Type*|*Null*|*Key*|*Default*|*Extra*| |ID| bigint(20)||MUL|NULL|auto_increment| | RecordIdentity | char(64) | | PRI | | | | GlobalFileId | char(64) | YES | | NULL | | |!LocalFileId | char(64) | YES | | NULL | | |!GlobalGroup | char(64) | YES | | NULL | | |!GlobalUsername | char(64) | YES | | NULL | | |!LocalUserId | char(64) | YES | | NULL | | |Charge | int(10) | YES | | NULL | | |Status | char(64) | | | | | |Host | char(64) | | | | | |!SubmitHost | char(64) | YES | | NULL | | |!ProjectName | char(64) | YES | | NULL | | |!ProjectPartition | char(64) | YES | | NULL | | |!StorageType | char(64) | YES | | NULL | | |!ProtocolType | char(64) | YES | | NULL | | |Network | int(10) | YES | | NULL | | |Disk | int(10) | YES | | NULL | | |!TimeDuration | int(10) | YES | | NULL | | |!TimeInstant | int(10) | YES | | NULL | | |!ServiceLevel | char(64) | YES | | NULL | | ---++ Implementazione I dati sono presi al momento da sistema informativo. Uno script gira titpicamente una volta al giorno dalla UI ui.cnaf.infn.it prendendo i dati per tutti i siti della Grid italiana. I dati vengono mandati all'HLR di test dgas-test-vm01. ---++ Visualizzazione dei dati Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. La tabella che li contiene ha il seguente schema: |*Field* | Type | Null | Key | Default | Extra | | ID | bigint(20) | NO | PRI | NULL | auto_increment | | YYMMGG | date | NO | | 0000-00-00 | | | Site | varchar(45) | YES | | NULL | | | SEName | varchar(45) | YES | | NULL | | | VOName | varchar(45) | YES | | NULL | | | FreeSpace | bigint(20) | YES | | NULL | | | UsedSpace | bigint(20) | YES | | NULL | | | totalfree | bigint(20) | YES | | NULL | | | totalsize | bigint(20) | YES | | NULL | | | Class | varchar(45) | YES | | NULL | | | last_mod_time | timestamp | NO | | CURRENT_TIMESTAMP | | Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:<br /> _https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php_ Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel:<br /> _https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php_ Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO. | |||||||
-- EnricoFattibene - 2011-07-07 |
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
Added: | ||||||||
> > |
Storage accounting
-- EnricoFattibene - 2011-07-07 |