Line: 1 to 1 | ||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ||||||||||||||||
Line: 150 to 150 | ||||||||||||||||
| ||||||||||||||||
Changed: | ||||||||||||||||
< < |
| |||||||||||||||
> > |
| |||||||||||||||
| ||||||||||||||||
Line: 163 to 163 | ||||||||||||||||
| ||||||||||||||||
Changed: | ||||||||||||||||
< < |
| |||||||||||||||
> > |
| |||||||||||||||
| ||||||||||||||||
Changed: | ||||||||||||||||
< < |
| |||||||||||||||
> > |
| |||||||||||||||
| ||||||||||||||||
Changed: | ||||||||||||||||
< < |
| |||||||||||||||
> > |
| |||||||||||||||
| ||||||||||||||||
Line: 186 to 186 | ||||||||||||||||
| ||||||||||||||||
Changed: | ||||||||||||||||
< < |
| |||||||||||||||
> > |
| |||||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 153 to 153 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 172 to 172 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 163 to 163 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Line: 186 to 186 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 171 to 171 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||||||||||||||
Line: 152 to 152 | |||||||||||||||||||||||||
| |||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||
| |||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||
| |||||||||||||||||||||||||
Changed: | |||||||||||||||||||||||||
< < |
| ||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 152 to 152 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Line: 191 to 191 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 182 to 182 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 155 to 155 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Line: 177 to 177 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 166 to 166 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 158 to 158 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 174 to 174 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 175 to 175 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 189 to 189 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 152 to 152 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 190 to 190 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 192 to 192 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 192 to 192 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
-- AlessandroPaolini - 2014-06-13 \ No newline at end of file |
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 152 to 152 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 161 to 161 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Line: 179 to 179 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Line: 192 to 192 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 192 to 192 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 173 to 173 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 192 to 192 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||||||||
Line: 155 to 155 | |||||||||||||||||||
| |||||||||||||||||||
Added: | |||||||||||||||||||
> > |
| ||||||||||||||||||
| |||||||||||||||||||
Changed: | |||||||||||||||||||
< < |
| ||||||||||||||||||
> > |
| ||||||||||||||||||
| |||||||||||||||||||
Line: 165 to 168 | |||||||||||||||||||
| |||||||||||||||||||
Changed: | |||||||||||||||||||
< < |
| ||||||||||||||||||
> > |
| ||||||||||||||||||
| |||||||||||||||||||
Changed: | |||||||||||||||||||
< < |
| ||||||||||||||||||
> > |
| ||||||||||||||||||
| |||||||||||||||||||
Changed: | |||||||||||||||||||
< < |
| ||||||||||||||||||
> > |
| ||||||||||||||||||
| |||||||||||||||||||
Changed: | |||||||||||||||||||
< < |
| ||||||||||||||||||
> > |
| ||||||||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 186 to 186 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||||||||||
Line: 150 to 150 | |||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
| |||||||||||||||||||||
Line: 169 to 169 | |||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
|
Line: 1 to 1 | ||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ||||||||||||||||||||
Line: 156 to 156 | ||||||||||||||||||||
| ||||||||||||||||||||
Changed: | ||||||||||||||||||||
< < |
| |||||||||||||||||||
> > |
| |||||||||||||||||||
| ||||||||||||||||||||
Line: 165 to 165 | ||||||||||||||||||||
| ||||||||||||||||||||
Changed: | ||||||||||||||||||||
< < |
| |||||||||||||||||||
> > |
| |||||||||||||||||||
| ||||||||||||||||||||
Line: 174 to 174 | ||||||||||||||||||||
| ||||||||||||||||||||
Changed: | ||||||||||||||||||||
< < |
| |||||||||||||||||||
> > |
| |||||||||||||||||||
| ||||||||||||||||||||
Changed: | ||||||||||||||||||||
< < |
| |||||||||||||||||||
> > |
| |||||||||||||||||||
| ||||||||||||||||||||
Changed: | ||||||||||||||||||||
< < |
| |||||||||||||||||||
> > |
| |||||||||||||||||||
| ||||||||||||||||||||
Changed: | ||||||||||||||||||||
< < |
| |||||||||||||||||||
> > |
| |||||||||||||||||||
| ||||||||||||||||||||
Changed: | ||||||||||||||||||||
< < |
| |||||||||||||||||||
> > |
| |||||||||||||||||||
-- AlessandroPaolini - 2014-06-13 \ No newline at end of file |
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 182 to 182 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 164 to 164 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Line: 181 to 181 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 157 to 157 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||||||||||
Line: 157 to 157 | |||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
| |||||||||||||||||||||
Line: 176 to 176 | |||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
| |||||||||||||||||||||
Changed: | |||||||||||||||||||||
< < |
| ||||||||||||||||||||
> > |
| ||||||||||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 149 to 149 | |||||||||||||
STATUS
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Line: 159 to 159 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 163 to 163 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 83 to 83 | ||||||||
| ||||||||
Changed: | ||||||||
< < | IMPORTANT: Send the accounting data starting from September, because the previous ones have been already sent by DGAS to APEL, otherwise the will be overwritten causing some inconsistencies. Configure the parser accordingly to make process the proper files (filename_prefix in the [batch] section). | |||||||
> > | IMPORTANT: Send the accounting data starting from September, because the previous ones have been already sent by DGAS to APEL, otherwise the will be overwritten causing some inconsistencies. Configure the parser accordingly to make process the proper files (or move the old logs in another directory). | |||||||
you can launch the apelparser script after the setting-up of the apelclient database | ||||||||
Line: 125 to 125 | ||||||||
Because the DGAS server problems occurred at the beginning of September, stop dgas sensors on your computing element(s). | ||||||||
Added: | ||||||||
> > | Fast checksWhen you launch the apelparser script for the first time, if there are no errors, it will be filled in the tables BlahdRecords e EventRecords (database "apelclient"), so check if they really contain the data. Then with the execution of ssm-dupl-send.sh script on the publisher host, it will be done the join of those tables (filling in the JobRecords e VJobRecords ones), and the data will be sent to FAUST and to EGI, so you can perform the following check:mysql> use apelclient mysql> SELECT year(EndTime),Month(EndTime),InfrastructureDescription,count(*) FROM VJobRecords GROUP BY 1,2,3; +---------------+----------------+---------------------------+----------+ | year(EndTime) | Month(EndTime) | InfrastructureDescription | count(*) | +---------------+----------------+---------------------------+----------+ | 2014 | 5 | APEL-CREAM-PBS | 3747 | | 2014 | 6 | APEL-CREAM-PBS | 7243 | | 2014 | 7 | APEL-CREAM-PBS | 4852 | | 2014 | 8 | APEL-CREAM-PBS | 4770 | | 2014 | 9 | APEL-CREAM-PBS | 3882 | +---------------+----------------+---------------------------+----------+ 5 rows in set (0.13 sec) | |||||||
STATUS
|
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 15 to 15 | ||||||||
Registrationyou need to register the APEL publisher in the GOC-DB: the service endpoint name to add is glite-APEL and fill in also the certificate subject information. | ||||||||
Changed: | ||||||||
< < | Changes in GOCDB can take up to 4 hours to make it to the message brokers. | |||||||
> > | Changes in GOCDB can take up to 4 hours to make it to the message brokers. this is necessary to authorize the publisher host in using the broker network. Do not touch the APEL service endpoint instead, otherwise nagios won't monitor the accounting data publication. | |||||||
(for reference https://wiki.egi.eu/wiki/MAN09_Accounting_data_publishing) | ||||||||
Line: 122 to 123 | ||||||||
What about DGAS sensors? | ||||||||
Changed: | ||||||||
< < | you may leave active the dgas sensors: just request to NGI_IT to disable the data sending from DGAS to APEL for your site | |||||||
> > | Because the DGAS server problems occurred at the beginning of September, stop dgas sensors on your computing element(s). | |||||||
STATUS |
Line: 1 to 1 | |||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
APEL DeploymentWe are changing the accounting system used in our infrastructure, from DGAS to APEL and the procedure is quite simple. | |||||||||||||||||
Changed: | |||||||||||||||||
< < | Each resource centre needs to install a new node (the APEL Publisher) which receives the accounting information sent from the CE(s) by the APEL parser. Then the APEL publisher sends the data to the central database using the messaging infrastructure. | ||||||||||||||||
> > | Each resource centre needs to install a new node (the APEL Publisher) which receives the accounting information sent from the CE(s) by the APEL parser. Then the APEL publisher sends the data to the EGI central database using the messaging infrastructure. | ||||||||||||||||
In the past months we tested two scenarios:
| |||||||||||||||||
Changed: | |||||||||||||||||
< < |
| ||||||||||||||||
> > |
| ||||||||||||||||
and we chose the second one | |||||||||||||||||
Line: 26 to 26 | |||||||||||||||||
| |||||||||||||||||
Deleted: | |||||||||||||||||
< < | Don't start the apelclient and don't set it in the daily cron until you receive the OK by the APEL team. | ||||||||||||||||
Use the production queue of the broker network:
# Queue to which SSM will send messages (use this) | |||||||||||||||||
Line: 38 to 36 | |||||||||||||||||
Sending the data to FAUSTIn order to send the accounting data also to FAUST, after installing and configuring the APEL Publisher as explained in the section above, follow the instructions https://github.com/andreaguarise/ssm-dupl-send | |||||||||||||||||
Changed: | |||||||||||||||||
< < | this mean that instead of apelclient script, you have to use the ssm-dupl-send.sh one | ||||||||||||||||
> > | this mean that instead of apelclient script, you have to use the ssm-dupl-send.sh one. | ||||||||||||||||
Among the important paramaters to set in the faust-sender.cfg there are the following ones: | |||||||||||||||||
Line: 55 to 53 | |||||||||||||||||
/var/spool/faust/outgoing | |||||||||||||||||
Changed: | |||||||||||||||||
< < | NOTA: per Tier1 e Tier2 verrą usata una coda dedicata: | ||||||||||||||||
> > | IMPORTANT: for Tier1 and Tier2 it will be used a dedicated queue: | ||||||||||||||||
destination: apel.<SITE-NAME>.input | |||||||||||||||||
Changed: | |||||||||||||||||
< < | Ad esempio, nel caso di INFN-PISA, nel file faust-sender.cfg andrą impostata: | ||||||||||||||||
> > | For instance, in the case of INFN-PISA, into file faust-sender.cfg it will be set: | ||||||||||||||||
destination: apel.INFN-PISA.input | |||||||||||||||||
Line: 68 to 66 | |||||||||||||||||
| |||||||||||||||||
Added: | |||||||||||||||||
> > | IMPORTANT: Run the FAUST script only after having launched the parser one on the CEs | ||||||||||||||||
cat /etc/cron.d/ssm-dupl-send | |||||||||||||||||
Line: 82 to 82 | |||||||||||||||||
| |||||||||||||||||
Changed: | |||||||||||||||||
< < | Don't make parse the blah and batch server logs older than one month before to the current one. | ||||||||||||||||
> > | IMPORTANT: Send the accounting data starting from September, because the previous ones have been already sent by DGAS to APEL, otherwise the will be overwritten causing some inconsistencies. Configure the parser accordingly to make process the proper files (filename_prefix in the [batch] section). | ||||||||||||||||
you can launch the apelparser script after the setting-up of the apelclient database | |||||||||||||||||
Line: 129 to 129 | |||||||||||||||||
| |||||||||||||||||
Changed: | |||||||||||||||||
< < |
| ||||||||||||||||
> > |
| ||||||||||||||||
| |||||||||||||||||
Changed: | |||||||||||||||||
< < |
| ||||||||||||||||
> > |
| ||||||||||||||||
| |||||||||||||||||
Line: 142 to 142 | |||||||||||||||||
| |||||||||||||||||
Changed: | |||||||||||||||||
< < |
| ||||||||||||||||
> > |
| ||||||||||||||||
| |||||||||||||||||
Line: 160 to 160 | |||||||||||||||||
| |||||||||||||||||
Changed: | |||||||||||||||||
< < |
| ||||||||||||||||
> > |
| ||||||||||||||||
| |||||||||||||||||
Changed: | |||||||||||||||||
< < |
| ||||||||||||||||
> > |
| ||||||||||||||||
| |||||||||||||||||
Changed: | |||||||||||||||||
< < |
| ||||||||||||||||
> > |
| ||||||||||||||||
-- AlessandroPaolini - 2014-06-13 \ No newline at end of file |
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 133 to 133 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Line: 143 to 143 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 14 to 14 | |||||||||||||
and we chose the second one
Registration | |||||||||||||
Changed: | |||||||||||||
< < | you need to register the APEL publisher in the GOC-DB and ask the APEL team to authorize the publisher in sending the data: do it by means of a GGUS ticket (see GGUS #106084 as example). Follow the instructions here https://wiki.egi.eu/wiki/MAN09_Accounting_data_publishing | ||||||||||||
> > | you need to register the APEL publisher in the GOC-DB: the service endpoint name to add is glite-APEL and fill in also the certificate subject information. Changes in GOCDB can take up to 4 hours to make it to the message brokers. (for reference https://wiki.egi.eu/wiki/MAN09_Accounting_data_publishing) | ||||||||||||
APEL Publisher Installation and Configuration | |||||||||||||
Line: 130 to 132 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 48 to 48 | ||||||||
destination: apel.input | ||||||||
Added: | ||||||||
> > | Create with mkdir the directory:
/var/spool/faust/outgoing | |||||||
NOTA: per Tier1 e Tier2 verrą usata una coda dedicata:
destination: apel.<SITE-NAME>.input |
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 26 to 26 | |||||||||||||
Don't start the apelclient and don't set it in the daily cron until you receive the OK by the APEL team. | |||||||||||||
Changed: | |||||||||||||
< < | Remember to use the testing queue of the broker network during the first days (see again https://wiki.egi.eu/wiki/MAN09_Accounting_data_publishing): the APEL team will inform you when using the production queue. | ||||||||||||
> > | Use the production queue of the broker network:
# Queue to which SSM will send messages (use this) destination: /queue/global.accounting.cpu.centraland comment out or delete the testing one | ||||||||||||
Sending the data to FAUSTIn order to send the accounting data also to FAUST, after installing and configuring the APEL Publisher as explained in the section above, follow the instructions https://github.com/andreaguarise/ssm-dupl-send | |||||||||||||
Line: 112 to 117 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Line: 128 to 133 | |||||||||||||
| |||||||||||||
Deleted: | |||||||||||||
< < |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 135 to 135 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 81 to 81 | ||||||||
04 22 * * * root /usr/bin/apelparser | ||||||||
Changed: | ||||||||
< < | Bug in APEL 1.2.1 - Upgrade | |||||||
> > | Bug in APEL 1.2.1 - Apply the EMI-3 update 20 | |||||||
Changed: | ||||||||
< < | The latest version of the APEL software (version 1.2.1*) contains a bug in the parser which prevents it from working in the most common cases: it is unable to open uncompressed accounting logs for parsing. | |||||||
> > | The EMI-3 update 20 released a fix of the APEL software for a bug in the parser which prevents it from working in the most common cases: it is unable to open uncompressed accounting logs for parsing. | |||||||
Sites with this problem will have version 1.2.1 installed and see many log messages like this: | ||||||||
Line: 93 to 93 | ||||||||
in their parser log file - usually at /var/log/apel/parser.log. | ||||||||
Changed: | ||||||||
< < | Sites who have installed version 1.2.1 should upgrade to 1.2.2 immediately. - SL5: https://github.com/apel/apel/releases/download/1.2.2-1/apel-lib-1.2.2-1.el5.noarch.rpm https://github.com/apel/apel/releases/download/1.2.2-1/apel-parsers-1.2.2-1.el5.noarch.rpm - SL6: https://github.com/apel/apel/releases/download/1.2.2-1/apel-lib-1.2.2-1.el6.noarch.rpm https://github.com/apel/apel/releases/download/1.2.2-1/apel-parsers-1.2.2-1.el6.noarch.rpm | |||||||
> > | Sites who have installed version 1.2.1 should upgrade to 1.2.2 immediately: http://www.eu-emi.eu/releases/emi-3-monte-bianco/updates/-/asset_publisher/5Na8/content/update-20-12-09-2014-v-3-11-0-1 | |||||||
What about DGAS sensors? |
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 143 to 143 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 132 to 132 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 151 to 151 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 136 to 136 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 81 to 81 | ||||||||
04 22 * * * root /usr/bin/apelparser | ||||||||
Added: | ||||||||
> > | Bug in APEL 1.2.1 - UpgradeThe latest version of the APEL software (version 1.2.1*) contains a bug in the parser which prevents it from working in the most common cases: it is unable to open uncompressed accounting logs for parsing. Sites with this problem will have version 1.2.1 installed and see many log messages like this:2014-08-11 12:54:11,819 - parser - ERROR - Cannot open file blahp.log-20140811: Not a gzipped filein their parser log file - usually at /var/log/apel/parser.log. Sites who have installed version 1.2.1 should upgrade to 1.2.2 immediately. - SL5: https://github.com/apel/apel/releases/download/1.2.2-1/apel-lib-1.2.2-1.el5.noarch.rpm https://github.com/apel/apel/releases/download/1.2.2-1/apel-parsers-1.2.2-1.el5.noarch.rpm - SL6: https://github.com/apel/apel/releases/download/1.2.2-1/apel-lib-1.2.2-1.el6.noarch.rpm https://github.com/apel/apel/releases/download/1.2.2-1/apel-parsers-1.2.2-1.el6.noarch.rpm | |||||||
What about DGAS sensors?you may leave active the dgas sensors: just request to NGI_IT to disable the data sending from DGAS to APEL for your site |
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 117 to 117 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||
Line: 88 to 88 | |||||||||||||
STATUS
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Line: 113 to 113 | |||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
| |||||||||||||
Changed: | |||||||||||||
< < |
| ||||||||||||
> > |
| ||||||||||||
|
Line: 1 to 1 | |||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||||||||||||||
Line: 109 to 109 | |||||||||||||||||||||||||
| |||||||||||||||||||||||||
Added: | |||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||
| |||||||||||||||||||||||||
Added: | |||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||
| |||||||||||||||||||||||||
Added: | |||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||
| |||||||||||||||||||||||||
Added: | |||||||||||||||||||||||||
> > |
| ||||||||||||||||||||||||
-- AlessandroPaolini - 2014-06-13 |
Line: 1 to 1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Line: 85 to 85 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
you may leave active the dgas sensors: just request to NGI_IT to disable the data sending from DGAS to APEL for your site | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Added: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
> > | STATUS
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
-- AlessandroPaolini - 2014-06-13 \ No newline at end of file |
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 40 to 40 | ||||||||
use_ssl: false | ||||||||
Changed: | ||||||||
< < | destination: apel.test.input | |||||||
> > | destination: apel.input | |||||||
NOTA: per Tier1 e Tier2 verrą usata una coda dedicata: |
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 7 to 7 | ||||||||
Each resource centre needs to install a new node (the APEL Publisher) which receives the accounting information sent from the CE(s) by the APEL parser. Then the APEL publisher sends the data to the central database using the messaging infrastructure. | ||||||||
Changed: | ||||||||
< < | We are testing two scenarios: | |||||||
> > | In the past months we tested two scenarios: | |||||||
| ||||||||
Added: | ||||||||
> > | and we chose the second one | |||||||
Registration | ||||||||
Changed: | ||||||||
< < | you need to register the APEL publisher in the GOC-DB and ask the APEL team to authorize the publisher in sending the data. Follow the instructions here https://wiki.egi.eu/wiki/MAN09_Accounting_data_publishing | |||||||
> > | you need to register the APEL publisher in the GOC-DB and ask the APEL team to authorize the publisher in sending the data: do it by means of a GGUS ticket (see GGUS #106084 as example). Follow the instructions here https://wiki.egi.eu/wiki/MAN09_Accounting_data_publishing | |||||||
APEL Publisher Installation and Configuration | ||||||||
Line: 23 to 26 | ||||||||
Don't start the apelclient and don't set it in the daily cron until you receive the OK by the APEL team. | ||||||||
Changed: | ||||||||
< < | Remember to use the testing queue of the broker network during the first days | |||||||
> > | Remember to use the testing queue of the broker network during the first days (see again https://wiki.egi.eu/wiki/MAN09_Accounting_data_publishing): the APEL team will inform you when using the production queue. | |||||||
Sending the data to FAUST | ||||||||
Changed: | ||||||||
< < | in case of the second scenario, install and configure the APEL Publisher as explained in the section above, and then follow the instructions https://github.com/andreaguarise/ssm-dupl-send | |||||||
> > | In order to send the accounting data also to FAUST, after installing and configuring the APEL Publisher as explained in the section above, follow the instructions https://github.com/andreaguarise/ssm-dupl-send | |||||||
this mean that instead of apelclient script, you have to use the ssm-dupl-send.sh one | ||||||||
Line: 40 to 43 | ||||||||
destination: apel.test.input | ||||||||
Changed: | ||||||||
< < | NOTA: per Tier1 e Tier2 verrą usata una coda dedicata, comunicata a ciascun sito. Ad esempio, nel caso di INFN-PISA, nel file faust-sender.cfg andrą impostata: | |||||||
> > | NOTA: per Tier1 e Tier2 verrą usata una coda dedicata:
destination: apel.<SITE-NAME>.inputAd esempio, nel caso di INFN-PISA, nel file faust-sender.cfg andrą impostata: | |||||||
destination: apel.INFN-PISA.input |
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 40 to 40 | ||||||||
destination: apel.test.input | ||||||||
Added: | ||||||||
> > | NOTA: per Tier1 e Tier2 verrą usata una coda dedicata, comunicata a ciascun sito. Ad esempio, nel caso di INFN-PISA, nel file faust-sender.cfg andrą impostata:
destination: apel.INFN-PISA.input | |||||||
|
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 42 to 42 | ||||||||
| ||||||||
Changed: | ||||||||
< < |
| |||||||
> > |
| |||||||
cat /etc/cron.d/ssm-dupl-send # Run APEL client once daily | ||||||||
Line: 54 to 54 | ||||||||
Follow the EMI3 generic installation guide and the APEL one https://twiki.cern.ch/twiki/pub/EMI/EMI3APELClient/APEL_Parsers_System_Administrator_Guide.pdf | ||||||||
Changed: | ||||||||
< < | Here an example of parser.cfg file | |||||||
> > |
| |||||||
Don't make parse the blah and batch server logs older than one month before to the current one. you can launch the apelparser script after the setting-up of the apelclient database | ||||||||
Added: | ||||||||
> > | an example of the cron:
cat /etc/cron.d/apelparser # Run APEL parser once daily 04 22 * * * root /usr/bin/apelparser | |||||||
What about DGAS sensors?you may leave active the dgas sensors: just request to NGI_IT to disable the data sending from DGAS to APEL for your site |
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 18 to 18 | ||||||||
Follow the EMI3 generic installation guide and the APEL one https://twiki.cern.ch/twiki/pub/EMI/EMI3APELClient/APEL_Publisher_System_Administrator_Guide.pdf | ||||||||
Changed: | ||||||||
< < | Example of client.cfg Example of sender.cfg | |||||||
> > |
| |||||||
Don't start the apelclient and don't set it in the daily cron until you receive the OK by the APEL team.
Remember to use the testing queue of the broker network during the first days
Sending the data to FAUST | ||||||||
Changed: | ||||||||
< < | in case of the second scenario, follow the instructions https://github.com/andreaguarise/ssm-dupl-send | |||||||
> > | in case of the second scenario, install and configure the APEL Publisher as explained in the section above, and then follow the instructions https://github.com/andreaguarise/ssm-dupl-send | |||||||
this mean that instead of apelclient script, you have to use the ssm-dupl-send.sh one | ||||||||
Added: | ||||||||
> > | Among the important paramaters to set in the faust-sender.cfg there are the following ones:
host: dgas-broker.to.infn.it port: 61613 use_ssl: false destination: apel.test.input
cat /etc/cron.d/ssm-dupl-send # Run APEL client once daily 05 01 * * * root /root/bin/ssm-dupl-send.sh | |||||||
APEL Parser Installation and ConfigurationInstall and configure the APEL parser on each computing element of your resource centre. |
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
| ||||||||
Line: 18 to 18 | ||||||||
Follow the EMI3 generic installation guide and the APEL one https://twiki.cern.ch/twiki/pub/EMI/EMI3APELClient/APEL_Publisher_System_Administrator_Guide.pdf | ||||||||
Changed: | ||||||||
< < | Example of ApelClientCFG[client.cfg]] | |||||||
> > | Example of client.cfg | |||||||
Example of sender.cfg Don't start the apelclient and don't set it in the daily cron until you receive the OK by the APEL team. |
Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
Added: | ||||||||
> > |
APEL DeploymentWe are changing the accounting system used in our infrastructure, from DGAS to APEL and the procedure is quite simple. Each resource centre needs to install a new node (the APEL Publisher) which receives the accounting information sent from the CE(s) by the APEL parser. Then the APEL publisher sends the data to the central database using the messaging infrastructure. We are testing two scenarios:
Registrationyou need to register the APEL publisher in the GOC-DB and ask the APEL team to authorize the publisher in sending the data. Follow the instructions here https://wiki.egi.eu/wiki/MAN09_Accounting_data_publishingAPEL Publisher Installation and ConfigurationFollow the EMI3 generic installation guide and the APEL one https://twiki.cern.ch/twiki/pub/EMI/EMI3APELClient/APEL_Publisher_System_Administrator_Guide.pdf Example of ApelClientCFG[client.cfg]] Example of sender.cfg Don't start the apelclient and don't set it in the daily cron until you receive the OK by the APEL team. Remember to use the testing queue of the broker network during the first daysSending the data to FAUSTin case of the second scenario, follow the instructions https://github.com/andreaguarise/ssm-dupl-send this mean that instead of apelclient script, you have to use the ssm-dupl-send.sh oneAPEL Parser Installation and ConfigurationInstall and configure the APEL parser on each computing element of your resource centre. Follow the EMI3 generic installation guide and the APEL one https://twiki.cern.ch/twiki/pub/EMI/EMI3APELClient/APEL_Parsers_System_Administrator_Guide.pdf Here an example of parser.cfg file Don't make parse the blah and batch server logs older than one month before to the current one. you can launch the apelparser script after the setting-up of the apelclient databaseWhat about DGAS sensors?you may leave active the dgas sensors: just request to NGI_IT to disable the data sending from DGAS to APEL for your site -- AlessandroPaolini - 2014-06-13 |