Difference: StorageAccounting (1 vs. 11)

Revision 112011-07-15 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Storage accounting

Changed:
<
<
The following page contains the results of the Storage Accounting activities in progress at INFN-CNAF. These activities started at the beginning of March 2011 and is being carried out by Andrea Cristofori, Enrico Fattibene and Paolo Veronesi.
>
>
The following page contains the results of the Storage Accounting activity in progress at INFN-CNAF. This activity started at the beginning of March 2011 and is being carried out by Andrea Cristofori, Enrico Fattibene and Paolo Veronesi.
 

Usage Record used

Changed:
<
<
The Usage Record (UR) utilized are generated in a way that allows a per file accounting. The fields that are part of the UR used are described on the paragraph "Architecture".
>
>
The Usage Record (UR) utilized is generated in a way that allows a per file accounting. The fields that are part of the UR used are described on the paragraph "Architecture".
 

Architecture

Changed:
<
<
The Accounting System utilized to collect, send, store and publish data is DGAS. Data are collected at a site level, sent and stored to the designed HLR for that particular site (site or multi site HLR). sysDefStorageAccounting is the table that contains the data sent with the UR on the HLR. The first six columns describe the table attributes. The remaining columns contain the following columns: GlueSchemaField correspond to the Glue Schema parameter used; Description descrbe the meaning of the field; AlwaysNULL tells if the field, in the current implementation is expected to be always NULL.
>
>
The Accounting System utilized to collect, send, store and publish data is DGAS. Data are collected at a site level, sent and stored to the designed HLR for that particular site (site or multi site HLR). sysDefStorageAccounting is the table that contains the data sent with the UR on the HLR. The first six columns describe the table attributes. The remaining columns contain the following fields: GlueSchemaField correspond to the Glue Schema parameter used; Description describe the meaning of the field; AlwaysNULL tells if the field, in the current implementation, is expected to be always NULL.
 
Field Type Null Key Default Extra   GlueSchemaField Description AlwaysNULL
ID bigint(20) MUL NULL auto_increment        
Line: 36 to 36
 

Implementation

Changed:
<
<
UR are, in the current implementation, generated by retrieving accounting data from the Information System. A dedicated script is run once a day from a UI and collects data for all the Italian sites. The UR are then sent to a test HLR.
>
>
URs are, in the current implementation, generated by retrieving accounting data from the Information System. A dedicated script is run once a day from a UI and collects data for all the Italian sites. The URs are then sent to a test HLR.
 

Data visualization

Changed:
<
<
HLRmon development server (hlrmon-dev.cnaf.infn.it) collects data from the configured HLR (at the moment the HLR used is the dgas-test-vm01.cnaf.infn.it test instance) typically once a day, it aggregates per day and stores the results in its internal DB. The table ( sedata_new) that contains these data is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the HLR table (if applicable) and the description of the field.
>
>
HLRmon development server (hlrmon-dev.cnaf.infn.it) collects data from the configured HLR (at the moment the HLR used is the dgas-test-vm01.cnaf.infn.it test instance) typically once a day, aggregates them per day and stores the results in its internal DB. The table ( sedata_new) that contains these data is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the HLR table (if applicable) and the description of the field.
  Table sedata_new schema
Field Type Null Key Default Extra   HLRTableField Description
Line: 53 to 53
 
Class varchar(45) YES   NULL     ProjectPartition Storage Area name
last_mod_time timestamp NO   CURRENT_TIMESTAMP        
Changed:
<
<
HLRmon does not store only information related to URs but it also stores, in another table, data related to the total and free space of each SA, the total space and the used space for each SE taken directly from the Information System. This table ( storage_info_system) is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the Glue Schema (if applicable) and the description of the field.
>
>
HLRmon does not store only information related to URs but it also stores, in another table, data related to the total and free space of each Storage Area (SA), the total space and the used space for each Storage Element (SE) taken directly from the Information System. This table ( storage_info_system) is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the Glue Schema (if applicable) and the description of the field.
  Table storage_info_system schema
Field Type Null Key Default Extra   GlueSchemaField Description
Line: 76 to 76
 

Deleted:
<
<

Storage accounting

La seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi.

Usage Record utilizzato

Lo Usage Record utilizzato e' stato creato per contemplare un eventuale accounting per file. I campi che compongono lo UR utilizzato sono riportati nel paragrafo Architettura.

Architettura

Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e le prime colonne della tabella che segue contengono il suo schema. La seconda parte della tabella contiene le seguenti colonne: la colonna GlueSchemaField indica il parametro del Glue Schema usato; la colonna Description descrive il significato del campo; la colonna AlwaysNULL indica se per la corrente implementazione il campo e' atteso essere sempre NULL).

Field Type Null Key Default Extra   GlueSchemaField Description AlwaysNULL
ID bigint(20) MUL NULL auto_increment        
RecordIdentity char(64)   PRI         Hash of site, VO, SA, and TimeInstant values  
GlobalFileId char(64) YES   NULL       Unique file identifier (LFC file ID) yes
LocalFileId char(64) YES   NULL       Local path of file yes
GlobalGroup char(64) YES   NULL       Grid site name no
GlobalUsername char(64) YES   NULL       Unique identifier of the user yes
LocalUserId char(64) YES   NULL       Local user ID yes
Charge int(10) YES   NULL       The charge associated with the storage utilization yes
Status char(64)             Status of a request to the storage system yes
Host char(64)           GlueChunkKey : GlueSEUniqueID Storage Element host no
SubmitHost char(64) YES   NULL       The file source host yes
ProjectName char(64) YES   NULL     GlueSAAccessControlBaseRule VO name no
ProjectPartition char(64) YES   NULL     GlueSALocalID Storage Area name no
StorageType char(64) YES   NULL       StoRM, dCache, DPM, etc.  
ProtocolType char(64) YES   NULL       The protocol used in the event yes
Network int(10) YES   NULL       The network utilization for the operation yes
Disk int(10) YES   NULL     GlueSAUsedOnlineSize Used space no
TimeDuration int(10) YES   NULL       Time between 2 measures no
TimeInstant int(10) YES   NULL       Time of the measure no
ServiceLevel char(64) YES   NULL       Persistent, volatile, etc.  

Implementazione

I dati sono presi al momento da sistema informativo. Uno script gira titpicamente una volta al giorno dalla UI ui.cnaf.infn.it prendendo i dati per tutti i siti della Grid italiana. I dati vengono mandati all'HLR di test dgas-test-vm01.

Visualizzazione dei dati

Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. Oltre ai dati contenuti nello Usage Record, HLRmon inserisce in questa tabella dati presi direttamente dal sitema informativo, relativi allo spazio libero di ogni Storage Area, e allo spazio totale e libero di ogni Storage Element. La tabella del DB di HLRmon che contiene i suddetti dati ha lo schema descritto nelle prime colonne della seguente tabella. Le altre colonne indicano: l'eventuale campo corrispondente della tabella dell'HLR; l'eventuale campo corrispondente del Glue Schema; la descrizione del campo.

Field Type Null Key Default Extra   HLRTableField GlueSchemaField Description
ID bigint(20) NO PRI NULL auto_increment        
YYMMGG date NO   0000-00-00     TimeInstant   Measurements day
Site varchar(45) YES   NULL     GlobalGroup   Grid site name
SEName varchar(45) YES   NULL     Host   Storage Element
VOName varchar(45) YES   NULL     ProjectName   VO
FreeSpace bigint(20) YES   NULL          
UsedSpace bigint(20) YES   NULL     Disk   Used space
totalfree bigint(20) YES   NULL          
totalsize bigint(20) YES   NULL          
Class varchar(45) YES   NULL     ProjectPartition   Storage Area name
last_mod_time timestamp NO   CURRENT_TIMESTAMP          

Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php

Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php

Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO.

  -- Main.Enrico Fattibene - 2011-07-07

Revision 102011-07-14 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Storage accounting

Line: 40 to 40
 

Data visualization

Changed:
<
<
HLRmon development server (hlrmon-dev.cnaf.infn.it) collects data from the configured HLR (at the moment the HLR used is the dgas-test-vm01.cnaf.infn.it test instance) typically once a day, it aggregates per day and stores the results in its internal DB. HLRmon does not store only information related to URs but it also stores, in the same table, data related to the free space of each SA, the total space and the free space for each SE taken directly from the Information System. The HLRmon DB table that contains these data is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the HLR table (if applicable), the corresponding field in the Glue Schema (if applicable) and the description of the field.
>
>
HLRmon development server (hlrmon-dev.cnaf.infn.it) collects data from the configured HLR (at the moment the HLR used is the dgas-test-vm01.cnaf.infn.it test instance) typically once a day, it aggregates per day and stores the results in its internal DB. The table ( sedata_new) that contains these data is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the HLR table (if applicable) and the description of the field.
 
Changed:
<
<
Field Type Null Key Default Extra   HLRTableField GlueSchemaField Description
ID bigint(20) NO PRI NULL auto_increment        
YYMMGG date NO   0000-00-00     TimeInstant   Measurements day
Site varchar(45) YES   NULL     GlobalGroup   Grid site name
SEName varchar(45) YES   NULL     Host   Storage Element
VOName varchar(45) YES   NULL     ProjectName   VO
FreeSpace bigint(20) YES   NULL          
UsedSpace bigint(20) YES   NULL     Disk   Used space
totalfree bigint(20) YES   NULL          
totalsize bigint(20) YES   NULL          
Class varchar(45) YES   NULL     ProjectPartition   Storage Area name
last_mod_time timestamp NO   CURRENT_TIMESTAMP          
>
>
Table sedata_new schema
Field Type Null Key Default Extra   HLRTableField Description
ID bigint(20) NO PRI NULL auto_increment      
YYMMGG date NO   0000-00-00     TimeInstant Measurements day
Site varchar(45) YES   NULL     GlobalGroup Grid site name
SEName varchar(45) YES   NULL     Host Storage Element
VOName varchar(45) YES   NULL     ProjectName VO
UsedSpace bigint(20) YES   NULL     Disk Used space
Class varchar(45) YES   NULL     ProjectPartition Storage Area name
last_mod_time timestamp NO   CURRENT_TIMESTAMP        

HLRmon does not store only information related to URs but it also stores, in another table, data related to the total and free space of each SA, the total space and the used space for each SE taken directly from the Information System. This table ( storage_info_system) is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the Glue Schema (if applicable) and the description of the field.

Table storage_info_system schema

Field Type Null Key Default Extra   GlueSchemaField Description
ID bigint(20) NO PRI NULL auto_increment      
YYMMGG date NO   0000-00-00       Measurements day
Site varchar(45) YES   NULL       Grid site name
SEName varchar(45) YES   NULL     GlueSEUniqueID Storage Element
SETotalSpace varchar(45) YES   NULL     GlueSETotalOnlineSize SE total space
SEUsedSpace bigint(20) YES   NULL     GlueSEUsedOnlineSize SE used space
SATotalSpace bigint(20) YES   NULL     GlueSATotalOnlineSize SA total space
SAFreeSpace bigint(20) YES   NULL     GlueSAFreeOnlineSize SA free space
Class varchar(45) YES   NULL       Storage Area name
last_mod_time timestamp NO   CURRENT_TIMESTAMP        
 
Changed:
<
<
Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php
>
>
HLRmon shows data aggregated per site, Storage Element and Storage Area. For each of these aggregation keys, and for the interval of time desired, a set of charts with the temporal trend is produced. Charts are available at:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php
 
Changed:
<
<
Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php
>
>
The same information can also be accessed in a tabular form, with the possibility to save it in xls format:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php
 
Changed:
<
<
Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO.
>
>
A per-VO aggregation is not possible at the moment because a Storage Area can be shared among different VOs. In this case the Glue Schema allows the publication of the space used in the Storage Area, but not of the space used by each VO. For this case is not possible to know the space used by each VO.
 

Revision 92011-07-14 - AndreaCristofori

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Storage accounting

Line: 40 to 40
 

Data visualization

Changed:
<
<
Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. Oltre ai dati contenuti nello Usage Record, HLRmon inserisce in questa tabella dati presi direttamente dal sitema informativo, relativi allo spazio libero di ogni Storage Area, e allo spazio totale e libero di ogni Storage Element. La tabella del DB di HLRmon che contiene i suddetti dati ha lo schema descritto nelle prime colonne della seguente tabella. Le altre colonne indicano: l'eventuale campo corrispondente della tabella dell'HLR; l'eventuale campo corrispondente del Glue Schema; la descrizione del campo.
>
>
HLRmon development server (hlrmon-dev.cnaf.infn.it) collects data from the configured HLR (at the moment the HLR used is the dgas-test-vm01.cnaf.infn.it test instance) typically once a day, it aggregates per day and stores the results in its internal DB. HLRmon does not store only information related to URs but it also stores, in the same table, data related to the free space of each SA, the total space and the free space for each SE taken directly from the Information System. The HLRmon DB table that contains these data is described in the left half of the following table. The remaining columns correspond to: the corresponding field in the HLR table (if applicable), the corresponding field in the Glue Schema (if applicable) and the description of the field.
 
Field Type Null Key Default Extra   HLRTableField GlueSchemaField Description
ID bigint(20) NO PRI NULL auto_increment        

Revision 82011-07-12 - AndreaCristofori

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Storage accounting

Added:
>
>
The following page contains the results of the Storage Accounting activities in progress at INFN-CNAF. These activities started at the beginning of March 2011 and is being carried out by Andrea Cristofori, Enrico Fattibene and Paolo Veronesi.

Usage Record used

The Usage Record (UR) utilized are generated in a way that allows a per file accounting. The fields that are part of the UR used are described on the paragraph "Architecture".

Architecture

The Accounting System utilized to collect, send, store and publish data is DGAS. Data are collected at a site level, sent and stored to the designed HLR for that particular site (site or multi site HLR). sysDefStorageAccounting is the table that contains the data sent with the UR on the HLR. The first six columns describe the table attributes. The remaining columns contain the following columns: GlueSchemaField correspond to the Glue Schema parameter used; Description descrbe the meaning of the field; AlwaysNULL tells if the field, in the current implementation is expected to be always NULL.

Field Type Null Key Default Extra   GlueSchemaField Description AlwaysNULL
ID bigint(20) MUL NULL auto_increment        
RecordIdentity char(64)   PRI         Hash of site, VO, SA, and TimeInstant values  
GlobalFileId char(64) YES   NULL       Unique file identifier (LFC file ID) yes
LocalFileId char(64) YES   NULL       Local path of file yes
GlobalGroup char(64) YES   NULL       Grid site name no
GlobalUsername char(64) YES   NULL       Unique identifier of the user yes
LocalUserId char(64) YES   NULL       Local user ID yes
Charge int(10) YES   NULL       The charge associated with the storage utilization yes
Status char(64)             Status of a request to the storage system yes
Host char(64)           GlueChunkKey : GlueSEUniqueID Storage Element host no
SubmitHost char(64) YES   NULL       The file source host yes
ProjectName char(64) YES   NULL     GlueSAAccessControlBaseRule VO name no
ProjectPartition char(64) YES   NULL     GlueSALocalID Storage Area name no
StorageType char(64) YES   NULL       StoRM, dCache, DPM, etc.  
ProtocolType char(64) YES   NULL       The protocol used in the event yes
Network int(10) YES   NULL       The network utilization for the operation yes
Disk int(10) YES   NULL     GlueSAUsedOnlineSize Used space no
TimeDuration int(10) YES   NULL       Time between 2 measures no
TimeInstant int(10) YES   NULL       Time of the measure no
ServiceLevel char(64) YES   NULL       Persistent, volatile, etc.  

Implementation

UR are, in the current implementation, generated by retrieving accounting data from the Information System. A dedicated script is run once a day from a UI and collects data for all the Italian sites. The UR are then sent to a test HLR.

Data visualization

Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. Oltre ai dati contenuti nello Usage Record, HLRmon inserisce in questa tabella dati presi direttamente dal sitema informativo, relativi allo spazio libero di ogni Storage Area, e allo spazio totale e libero di ogni Storage Element. La tabella del DB di HLRmon che contiene i suddetti dati ha lo schema descritto nelle prime colonne della seguente tabella. Le altre colonne indicano: l'eventuale campo corrispondente della tabella dell'HLR; l'eventuale campo corrispondente del Glue Schema; la descrizione del campo.

Field Type Null Key Default Extra   HLRTableField GlueSchemaField Description
ID bigint(20) NO PRI NULL auto_increment        
YYMMGG date NO   0000-00-00     TimeInstant   Measurements day
Site varchar(45) YES   NULL     GlobalGroup   Grid site name
SEName varchar(45) YES   NULL     Host   Storage Element
VOName varchar(45) YES   NULL     ProjectName   VO
FreeSpace bigint(20) YES   NULL          
UsedSpace bigint(20) YES   NULL     Disk   Used space
totalfree bigint(20) YES   NULL          
totalsize bigint(20) YES   NULL          
Class varchar(45) YES   NULL     ProjectPartition   Storage Area name
last_mod_time timestamp NO   CURRENT_TIMESTAMP          

Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php

Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php

Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO.

Storage accounting

 La seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi.

Usage Record utilizzato

Revision 72011-07-07 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Storage accounting

Line: 10 to 10
 

Architettura

Changed:
<
<
Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e le prime colonne della tabella che segue contengono il suo schema. La seconda parte della tabella contiene le seguenti colonne: la colonna GlueSchemaField indica il parametro del Glue Schema usato; la colonna Description descrive il significato del campo; la colonna AlwaysNULL indica se per la corrente implementazione il campo e' attesa essere sempre NULL).
>
>
Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e le prime colonne della tabella che segue contengono il suo schema. La seconda parte della tabella contiene le seguenti colonne: la colonna GlueSchemaField indica il parametro del Glue Schema usato; la colonna Description descrive il significato del campo; la colonna AlwaysNULL indica se per la corrente implementazione il campo e' atteso essere sempre NULL).
 
Field Type Null Key Default Extra   GlueSchemaField Description AlwaysNULL
ID bigint(20) MUL NULL auto_increment        
Changed:
<
<
RecordIdentity char(64)   PRI         Hash of site, VO, SA, and TimeInstant values  
GlobalFileId char(64) YES   NULL       LFC le ID yes
LocalFileId char(64) YES   NULL         yes
>
>
RecordIdentity char(64)   PRI         Hash of site, VO, SA, and TimeInstant values  
GlobalFileId char(64) YES   NULL       Unique file identifier (LFC file ID) yes
LocalFileId char(64) YES   NULL       Local path of file yes
 
GlobalGroup char(64) YES   NULL       Grid site name no
Changed:
<
<
GlobalUsername char(64) YES   NULL         yes
>
>
GlobalUsername char(64) YES   NULL       Unique identifier of the user yes
 
LocalUserId char(64) YES   NULL       Local user ID yes
Charge int(10) YES   NULL       The charge associated with the storage utilization yes
Status char(64)             Status of a request to the storage system yes
Host char(64)           GlueChunkKey : GlueSEUniqueID Storage Element host no
Changed:
<
<
SubmitHost char(64) YES   NULL         yes
>
>
SubmitHost char(64) YES   NULL       The file source host yes
 
ProjectName char(64) YES   NULL     GlueSAAccessControlBaseRule VO name no
ProjectPartition char(64) YES   NULL     GlueSALocalID Storage Area name no
Changed:
<
<
StorageType char(64) YES   NULL       StoRM, dCache, etc.  
>
>
StorageType char(64) YES   NULL       StoRM, dCache, DPM, etc.  
 
ProtocolType char(64) YES   NULL       The protocol used in the event yes
Network int(10) YES   NULL       The network utilization for the operation yes
Disk int(10) YES   NULL     GlueSAUsedOnlineSize Used space no
TimeDuration int(10) YES   NULL       Time between 2 measures no
TimeInstant int(10) YES   NULL       Time of the measure no
Changed:
<
<
ServiceLevel char(64) YES   NULL       persistent, volatile, etc.  
>
>
ServiceLevel char(64) YES   NULL       Persistent, volatile, etc.  
 

Implementazione

Revision 62011-07-07 - AndreaCristofori

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Storage accounting

Line: 14 to 14
 
Field Type Null Key Default Extra   GlueSchemaField Description AlwaysNULL
ID bigint(20) MUL NULL auto_increment        
Changed:
<
<
RecordIdentity char(64)   PRI         Hash of site, VO and SA values  
GlobalFileId char(64) YES   NULL         yes
>
>
RecordIdentity char(64)   PRI         Hash of site, VO, SA, and TimeInstant values  
GlobalFileId char(64) YES   NULL       LFC le ID yes
 
LocalFileId char(64) YES   NULL         yes
GlobalGroup char(64) YES   NULL       Grid site name no
GlobalUsername char(64) YES   NULL         yes
Changed:
<
<
LocalUserId char(64) YES   NULL         yes
Charge int(10) YES   NULL          
Status char(64)                
>
>
LocalUserId char(64) YES   NULL       Local user ID yes
Charge int(10) YES   NULL       The charge associated with the storage utilization yes
Status char(64)             Status of a request to the storage system yes
 
Host char(64)           GlueChunkKey : GlueSEUniqueID Storage Element host no
Changed:
<
<
SubmitHost char(64) YES   NULL          
>
>
SubmitHost char(64) YES   NULL         yes
 
ProjectName char(64) YES   NULL     GlueSAAccessControlBaseRule VO name no
ProjectPartition char(64) YES   NULL     GlueSALocalID Storage Area name no
Changed:
<
<
StorageType char(64) YES   NULL          
ProtocolType char(64) YES   NULL          
Network int(10) YES   NULL          
>
>
StorageType char(64) YES   NULL       StoRM, dCache, etc.  
ProtocolType char(64) YES   NULL       The protocol used in the event yes
Network int(10) YES   NULL       The network utilization for the operation yes
 
Disk int(10) YES   NULL     GlueSAUsedOnlineSize Used space no
TimeDuration int(10) YES   NULL       Time between 2 measures no
TimeInstant int(10) YES   NULL       Time of the measure no
Changed:
<
<
ServiceLevel char(64) YES   NULL          
>
>
ServiceLevel char(64) YES   NULL       persistent, volatile, etc.  
 

Implementazione

Revision 52011-07-07 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Storage accounting

Line: 10 to 10
 

Architettura

Changed:
<
<
Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e questo e' il suo schema:
>
>
Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e le prime colonne della tabella che segue contengono il suo schema. La seconda parte della tabella contiene le seguenti colonne: la colonna GlueSchemaField indica il parametro del Glue Schema usato; la colonna Description descrive il significato del campo; la colonna AlwaysNULL indica se per la corrente implementazione il campo e' attesa essere sempre NULL).
 
Changed:
<
<
Field Type Null Key Default Extra
ID bigint(20) MUL NULL auto_increment
RecordIdentity char(64)   PRI    
GlobalFileId char(64) YES   NULL  
LocalFileId char(64) YES   NULL  
GlobalGroup char(64) YES   NULL  
GlobalUsername char(64) YES   NULL  
LocalUserId char(64) YES   NULL  
Charge int(10) YES   NULL  
Status char(64)        
Host char(64)        
SubmitHost char(64) YES   NULL  
ProjectName char(64) YES   NULL  
ProjectPartition char(64) YES   NULL  
StorageType char(64) YES   NULL  
ProtocolType char(64) YES   NULL  
Network int(10) YES   NULL  
Disk int(10) YES   NULL  
TimeDuration int(10) YES   NULL  
TimeInstant int(10) YES   NULL  
ServiceLevel char(64) YES   NULL  
>
>
Field Type Null Key Default Extra   GlueSchemaField Description AlwaysNULL
ID bigint(20) MUL NULL auto_increment        
RecordIdentity char(64)   PRI         Hash of site, VO and SA values  
GlobalFileId char(64) YES   NULL         yes
LocalFileId char(64) YES   NULL         yes
GlobalGroup char(64) YES   NULL       Grid site name no
GlobalUsername char(64) YES   NULL         yes
LocalUserId char(64) YES   NULL         yes
Charge int(10) YES   NULL          
Status char(64)                
Host char(64)           GlueChunkKey : GlueSEUniqueID Storage Element host no
SubmitHost char(64) YES   NULL          
ProjectName char(64) YES   NULL     GlueSAAccessControlBaseRule VO name no
ProjectPartition char(64) YES   NULL     GlueSALocalID Storage Area name no
StorageType char(64) YES   NULL          
ProtocolType char(64) YES   NULL          
Network int(10) YES   NULL          
Disk int(10) YES   NULL     GlueSAUsedOnlineSize Used space no
TimeDuration int(10) YES   NULL       Time between 2 measures no
TimeInstant int(10) YES   NULL       Time of the measure no
ServiceLevel char(64) YES   NULL          
 

Implementazione

Line: 40 to 40
 

Visualizzazione dei dati

Changed:
<
<
Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. La tabella che li contiene ha il seguente schema:
>
>
Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. Oltre ai dati contenuti nello Usage Record, HLRmon inserisce in questa tabella dati presi direttamente dal sitema informativo, relativi allo spazio libero di ogni Storage Area, e allo spazio totale e libero di ogni Storage Element. La tabella del DB di HLRmon che contiene i suddetti dati ha lo schema descritto nelle prime colonne della seguente tabella. Le altre colonne indicano: l'eventuale campo corrispondente della tabella dell'HLR; l'eventuale campo corrispondente del Glue Schema; la descrizione del campo.
 
Changed:
<
<
Field Type Null Key Default Extra
ID bigint(20) NO PRI NULL auto_increment
YYMMGG date NO   0000-00-00  
Site varchar(45) YES   NULL  
SEName varchar(45) YES   NULL  
VOName varchar(45) YES   NULL  
FreeSpace bigint(20) YES   NULL  
UsedSpace bigint(20) YES   NULL  
totalfree bigint(20) YES   NULL  
totalsize bigint(20) YES   NULL  
Class varchar(45) YES   NULL  
last_mod_time timestamp NO   CURRENT_TIMESTAMP  
>
>
Field Type Null Key Default Extra   HLRTableField GlueSchemaField Description
ID bigint(20) NO PRI NULL auto_increment        
YYMMGG date NO   0000-00-00     TimeInstant   Measurements day
Site varchar(45) YES   NULL     GlobalGroup   Grid site name
SEName varchar(45) YES   NULL     Host   Storage Element
VOName varchar(45) YES   NULL     ProjectName   VO
FreeSpace bigint(20) YES   NULL          
UsedSpace bigint(20) YES   NULL     Disk   Used space
totalfree bigint(20) YES   NULL          
totalsize bigint(20) YES   NULL          
Class varchar(45) YES   NULL     ProjectPartition   Storage Area name
last_mod_time timestamp NO   CURRENT_TIMESTAMP          
  Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php

Revision 42011-07-07 - TWikiAdminUser

Line: 1 to 1
 
META TOPICPARENT name="WebHome"

Storage accounting

Revision 32011-07-07 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"
Changed:
<
<
Storage accounting
La seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi.

---++ Usage Record utilizzato
Lo Usage Record utilizzato e' stato creato per contemplare un eventuale accounting per file. I campi che compongono lo UR utilizzato sono riportati nel paragrafo Architettura.



---++ Architettura
Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e questo e' il suo schema:
|*Field*|*Type*|*Null*|*Key*|*Default*|*Extra*|
|ID| bigint(20)||MUL|NULL|auto_increment|
| RecordIdentity | char(64) | | PRI | | |
| GlobalFileId | char(64) | YES | | NULL | |
|!LocalFileId | char(64) | YES | | NULL | |
|!GlobalGroup | char(64) | YES | | NULL | |
|!GlobalUsername | char(64) | YES | | NULL | |
|!LocalUserId | char(64) | YES | | NULL | |
|Charge | int(10) | YES | | NULL | |
|Status | char(64) | | | | |
|Host | char(64) | | | | |
|!SubmitHost | char(64) | YES | | NULL | |
|!ProjectName | char(64) | YES | | NULL | |
|!ProjectPartition | char(64) | YES | | NULL | |
|!StorageType | char(64) | YES | | NULL | |
|!ProtocolType | char(64) | YES | | NULL | |
|Network | int(10) | YES | | NULL | |
|Disk | int(10) | YES | | NULL | |
|!TimeDuration | int(10) | YES | | NULL | |
|!TimeInstant | int(10) | YES | | NULL | |
|!ServiceLevel | char(64) | YES | | NULL | |

---++ Implementazione
I dati sono presi al momento da sistema informativo. Uno script gira titpicamente una volta al giorno dalla UI ui.cnaf.infn.it prendendo i dati per tutti i siti della Grid italiana. I dati vengono mandati all'HLR di test dgas-test-vm01.

---++ Visualizzazione dei dati
Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. La tabella che li contiene ha il seguente schema:
|*Field* | Type | Null | Key | Default | Extra |
| ID | bigint(20) | NO | PRI | NULL | auto_increment |
| YYMMGG | date | NO | | 0000-00-00 | |
| Site | varchar(45) | YES | | NULL | |
| SEName | varchar(45) | YES | | NULL | |
| VOName | varchar(45) | YES | | NULL | |
| FreeSpace | bigint(20) | YES | | NULL | |
| UsedSpace | bigint(20) | YES | | NULL | |
| totalfree | bigint(20) | YES | | NULL | |
| totalsize | bigint(20) | YES | | NULL | |
| Class | varchar(45) | YES | | NULL | |
| last_mod_time | timestamp | NO | | CURRENT_TIMESTAMP | |


Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:<br />
_https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php_
Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel:<br />
_https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php_
Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO.
>
>

Storage accounting

La seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi.

Usage Record utilizzato

Lo Usage Record utilizzato e' stato creato per contemplare un eventuale accounting per file. I campi che compongono lo UR utilizzato sono riportati nel paragrafo Architettura.

Architettura

Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e questo e' il suo schema:

Field Type Null Key Default Extra
ID bigint(20) MUL NULL auto_increment
RecordIdentity char(64)   PRI    
GlobalFileId char(64) YES   NULL  
LocalFileId char(64) YES   NULL  
GlobalGroup char(64) YES   NULL  
GlobalUsername char(64) YES   NULL  
LocalUserId char(64) YES   NULL  
Charge int(10) YES   NULL  
Status char(64)        
Host char(64)        
SubmitHost char(64) YES   NULL  
ProjectName char(64) YES   NULL  
ProjectPartition char(64) YES   NULL  
StorageType char(64) YES   NULL  
ProtocolType char(64) YES   NULL  
Network int(10) YES   NULL  
Disk int(10) YES   NULL  
TimeDuration int(10) YES   NULL  
TimeInstant int(10) YES   NULL  
ServiceLevel char(64) YES   NULL  

Implementazione

I dati sono presi al momento da sistema informativo. Uno script gira titpicamente una volta al giorno dalla UI ui.cnaf.infn.it prendendo i dati per tutti i siti della Grid italiana. I dati vengono mandati all'HLR di test dgas-test-vm01.

Visualizzazione dei dati

Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. La tabella che li contiene ha il seguente schema:

Field Type Null Key Default Extra
ID bigint(20) NO PRI NULL auto_increment
YYMMGG date NO   0000-00-00  
Site varchar(45) YES   NULL  
SEName varchar(45) YES   NULL  
VOName varchar(45) YES   NULL  
FreeSpace bigint(20) YES   NULL  
UsedSpace bigint(20) YES   NULL  
totalfree bigint(20) YES   NULL  
totalsize bigint(20) YES   NULL  
Class varchar(45) YES   NULL  
last_mod_time timestamp NO   CURRENT_TIMESTAMP  

Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php

Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel:
https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php

Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO.

  -- Main.Enric oFattibene - 2011-07-07 \ No newline at end of file

Revision 22011-07-07 - TWikiAdminUser

Line: 1 to 1
 
META TOPICPARENT name="WebHome"
Changed:
<
<

Storage accounting

La seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi.


---++ Usage Record utilizzato

Lo Usage Record utilizzato e' stato creato per contemplare un eventuale accounting per file. I campi che compongono lo UR utilizzato sono riportati nel paragrafo Architettura.




---++ Architettura

Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e questo e' il suo schema:

|*Field*|*Type*|*Null*|*Key*|*Default*|*Extra*|
|ID| bigint(20)||MUL|NULL|auto_increment|
| RecordIdentity | char(64) | | PRI | | |
| GlobalFileId | char(64) | YES | | NULL | |
|!LocalFileId | char(64) | YES | | NULL | |
|!GlobalGroup | char(64) | YES | | NULL | |
|!GlobalUsername | char(64) | YES | | NULL | |
|!LocalUserId | char(64) | YES | | NULL | |
|Charge | int(10) | YES | | NULL | |
|Status | char(64) | | | | |
|Host | char(64) | | | | |
|!SubmitHost | char(64) | YES | | NULL | |
|!ProjectName | char(64) | YES | | NULL | |
|!ProjectPartition | char(64) | YES | | NULL | |
|!StorageType | char(64) | YES | | NULL | |
|!ProtocolType | char(64) | YES | | NULL | |
|Network | int(10) | YES | | NULL | |
|Disk | int(10) | YES | | NULL | |
|!TimeDuration | int(10) | YES | | NULL | |
|!TimeInstant | int(10) | YES | | NULL | |
|!ServiceLevel | char(64) | YES | | NULL | |


---++ Implementazione

I dati sono presi al momento da sistema informativo. Uno script gira titpicamente una volta al giorno dalla UI ui.cnaf.infn.it prendendo i dati per tutti i siti della Grid italiana. I dati vengono mandati all'HLR di test dgas-test-vm01.


---++ Visualizzazione dei dati

Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. La tabella che li contiene ha il seguente schema:

|*Field* | Type | Null | Key | Default | Extra |
| ID | bigint(20) | NO | PRI | NULL | auto_increment |
| YYMMGG | date | NO | | 0000-00-00 | |
| Site | varchar(45) | YES | | NULL | |
| SEName | varchar(45) | YES | | NULL | |
| VOName | varchar(45) | YES | | NULL | |
| FreeSpace | bigint(20) | YES | | NULL | |
| UsedSpace | bigint(20) | YES | | NULL | |
| totalfree | bigint(20) | YES | | NULL | |
| totalsize | bigint(20) | YES | | NULL | |
| Class | varchar(45) | YES | | NULL | |
| last_mod_time | timestamp | NO | | CURRENT_TIMESTAMP | |


Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:<br />
_https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php_

Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel:<br />
_https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php_

Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO.

>
>
Storage accounting
La seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi.

---++ Usage Record utilizzato
Lo Usage Record utilizzato e' stato creato per contemplare un eventuale accounting per file. I campi che compongono lo UR utilizzato sono riportati nel paragrafo Architettura.



---++ Architettura
Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e questo e' il suo schema:
|*Field*|*Type*|*Null*|*Key*|*Default*|*Extra*|
|ID| bigint(20)||MUL|NULL|auto_increment|
| RecordIdentity | char(64) | | PRI | | |
| GlobalFileId | char(64) | YES | | NULL | |
|!LocalFileId | char(64) | YES | | NULL | |
|!GlobalGroup | char(64) | YES | | NULL | |
|!GlobalUsername | char(64) | YES | | NULL | |
|!LocalUserId | char(64) | YES | | NULL | |
|Charge | int(10) | YES | | NULL | |
|Status | char(64) | | | | |
|Host | char(64) | | | | |
|!SubmitHost | char(64) | YES | | NULL | |
|!ProjectName | char(64) | YES | | NULL | |
|!ProjectPartition | char(64) | YES | | NULL | |
|!StorageType | char(64) | YES | | NULL | |
|!ProtocolType | char(64) | YES | | NULL | |
|Network | int(10) | YES | | NULL | |
|Disk | int(10) | YES | | NULL | |
|!TimeDuration | int(10) | YES | | NULL | |
|!TimeInstant | int(10) | YES | | NULL | |
|!ServiceLevel | char(64) | YES | | NULL | |

---++ Implementazione
I dati sono presi al momento da sistema informativo. Uno script gira titpicamente una volta al giorno dalla UI ui.cnaf.infn.it prendendo i dati per tutti i siti della Grid italiana. I dati vengono mandati all'HLR di test dgas-test-vm01.

---++ Visualizzazione dei dati
Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. La tabella che li contiene ha il seguente schema:
|*Field* | Type | Null | Key | Default | Extra |
| ID | bigint(20) | NO | PRI | NULL | auto_increment |
| YYMMGG | date | NO | | 0000-00-00 | |
| Site | varchar(45) | YES | | NULL | |
| SEName | varchar(45) | YES | | NULL | |
| VOName | varchar(45) | YES | | NULL | |
| FreeSpace | bigint(20) | YES | | NULL | |
| UsedSpace | bigint(20) | YES | | NULL | |
| totalfree | bigint(20) | YES | | NULL | |
| totalsize | bigint(20) | YES | | NULL | |
| Class | varchar(45) | YES | | NULL | |
| last_mod_time | timestamp | NO | | CURRENT_TIMESTAMP | |


Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:<br />
_https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php_
Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel:<br />
_https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php_
Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO.
  -- EnricoFattibene - 2011-07-07

Revision 12011-07-07 - EnricoFattibene

Line: 1 to 1
Added:
>
>
META TOPICPARENT name="WebHome"

Storage accounting

La seguente pagina contiene appunti relativi all'attivita' di Storage accounting in svolgimento al CNAF. L'attivita' ha avuto inizio in Marzo 2011 ed e' portata avanti da Andrea Cristofori, Enrico Fattibene e Paolo Veronesi.


---++ Usage Record utilizzato

Lo Usage Record utilizzato e' stato creato per contemplare un eventuale accounting per file. I campi che compongono lo UR utilizzato sono riportati nel paragrafo Architettura.




---++ Architettura

Il sistema di accounting utilizzato per reperire, trasportare, conservare e pubblicare i dati e' DGAS. I dati sono reperiti a livello di sito e salvati nell'HLR di riferimento per il sito stesso (HLR di sito o multisito). La tabella che contiene i dati sull'HLR e' sysDefStorageAccounting e questo e' il suo schema:

|*Field*|*Type*|*Null*|*Key*|*Default*|*Extra*|
|ID| bigint(20)||MUL|NULL|auto_increment|
| RecordIdentity | char(64) | | PRI | | |
| GlobalFileId | char(64) | YES | | NULL | |
|!LocalFileId | char(64) | YES | | NULL | |
|!GlobalGroup | char(64) | YES | | NULL | |
|!GlobalUsername | char(64) | YES | | NULL | |
|!LocalUserId | char(64) | YES | | NULL | |
|Charge | int(10) | YES | | NULL | |
|Status | char(64) | | | | |
|Host | char(64) | | | | |
|!SubmitHost | char(64) | YES | | NULL | |
|!ProjectName | char(64) | YES | | NULL | |
|!ProjectPartition | char(64) | YES | | NULL | |
|!StorageType | char(64) | YES | | NULL | |
|!ProtocolType | char(64) | YES | | NULL | |
|Network | int(10) | YES | | NULL | |
|Disk | int(10) | YES | | NULL | |
|!TimeDuration | int(10) | YES | | NULL | |
|!TimeInstant | int(10) | YES | | NULL | |
|!ServiceLevel | char(64) | YES | | NULL | |


---++ Implementazione

I dati sono presi al momento da sistema informativo. Uno script gira titpicamente una volta al giorno dalla UI ui.cnaf.infn.it prendendo i dati per tutti i siti della Grid italiana. I dati vengono mandati all'HLR di test dgas-test-vm01.


---++ Visualizzazione dei dati

Il server HLRmon di sviluppo (hlrmon-dev.cnaf.infn.it) prende i dati presenti sull'HLR di riferimento (per ora l'HLR di test dgas-test-vm01.cnaf.infn.it) tipicamente una volta la giorno, li aggrega per giorno e li inseirsce nel proprio DB. La tabella che li contiene ha il seguente schema:

|*Field* | Type | Null | Key | Default | Extra |
| ID | bigint(20) | NO | PRI | NULL | auto_increment |
| YYMMGG | date | NO | | 0000-00-00 | |
| Site | varchar(45) | YES | | NULL | |
| SEName | varchar(45) | YES | | NULL | |
| VOName | varchar(45) | YES | | NULL | |
| FreeSpace | bigint(20) | YES | | NULL | |
| UsedSpace | bigint(20) | YES | | NULL | |
| totalfree | bigint(20) | YES | | NULL | |
| totalsize | bigint(20) | YES | | NULL | |
| Class | varchar(45) | YES | | NULL | |
| last_mod_time | timestamp | NO | | CURRENT_TIMESTAMP | |


Si ritiene oppurtuno visualizzare i dati aggregati per sito, Storage Element e Storage Area. Per ognuna di queste chiavi di aggregazione viene prodotto un grafico con l'andamento temporale nel periodo desiderato e l'aggragato sul periodo stesso. I grafici sono disponibili a questo indirizzo:<br />
_https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/storage.php_

Gli stessi dati sono disponibili in formato tabellare con la possibilita' di esportare la tabella in formato excel:<br />
_https://hlrmon-dev.cnaf.infn.it:8443/hlrmon/report/table_storage.php_

Un'aggregazione per VO non e' allo stato attuale possibile perche' possono esistere casi in cui esistono Storage Area condivise da piu' VO. In questi casi il Glue Schema prevede la pubblicazione del dato di spazio utilizzata dalla sola Storage Area e non di quello utilizzato dalla singola VO. Per questi casi non e' quindi possibile risalire alla quota utilizzata da ogni VO.

-- EnricoFattibene - 2011-07-07

 
This site is powered by the TWiki collaboration platformCopyright © 2008-2019 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback