Difference: TestAMQ (2 vs. 3)

Revision 32010-09-23 - EnricoFattibene

Line: 1 to 1
 
META TOPICPARENT name="WebHome"
Changed:
<
<

Attivita' di test sul trasporto dati di DGAS tramite Active MQ

>
>

Test sul trasporto dati di DGAS tramite Active MQ

  L'installazione del tesbed, la configurazione e i test sono stati effettuati seguendo il piano di test proposto da Andrea Guarise.
Changed:
<
<
For ex. https://cert-wms-01:8443/wmsmon/details/details.php?wms=wms001.cnaf.infn.it

(Static screenshot are available in the screenshots section)

You can go back to the main page clicking on the wmsmon log or on the correspondent part of the navigation bar (ex.):

Installazione e confugurazione CE

I pacchetti delle dipendenze aggiuntive installati sono i seguenti:

  • APR: apr-1.4.2.tar.gz

Vista la mancanza di compilatore C per apr, abbiamo installato gcc versione 4.1.2-48.el5

In particolare:

gcc.x86_64 0:4.1.2-48.el5

Dependency Installed:

cpp.x86_64 0:4.1.2-48.el5

glibc-devel.x86_64 0:2.5-49

glibc-headers.x86_64 0:2.5-49

kernel-headers.x86_64 0:2.6.18-194.11.3.el5

libgomp.x86_64 0:4.4.0-6.el5

apr installato sotto /usr/lib/apr

>
>

Installazione CE e HLR

 
Added:
>
>
Dopo aver installato il CE gLite 3.2 SL5 x86_64 (profilo ig_CREAM_torque), seguendo la guida, abbiamo installato i pacchetti di DGAS indicati nel piano i test:
  • rpm -Uvh glite-dgas-common-3.4.1-0.centos5.x86_64.rpm
  • rpm -Uvh glite-dgas-hlr-clients-3.4.1-0.centos5.x86_64.rpm

Abbiamo installato 2 HLR (uno sara' standard e l'altro con Active MQ) seguendo la guida al paragrafo 3.1.2.1 New installation. I pacchetti installati sono:

  • glite-dgas-pa-clients-3.4.0-3.centos5
  • glite-dgas-hlr-clients-3.4.0-12.centos5
  • glite-dgas-hlr-service-3.4.0-23.centos5
  • glite-dgas-common-3.4.0-4.centos5

Su CE e HLR AMQ, prima di installare i pacchetti delle dipendenze aggiuntive, vista la mancanza di compilatore C, abbiamo installato gcc versione 4.1.2-48.el5.

  • yum install gcc.x86_64
  • Il pacchetto ha installato anche le seguenti dipendenze:
    • cpp.x86_64 0:4.1.2-48.el5
    • glibc-devel.x86_64 0:2.5-49
    • glibc-headers.x86_64 0:2.5-49
    • kernel-headers.x86_64 0:2.6.18-194.11.3.el5
    • libgomp.x86_64 0:4.4.0-6.el5

I pacchetti delle dipendenze aggiuntive che abbiamo installato sono i seguenti:

  • APR: apr-1.3.12.tar.gz
    • tar zxvf apr-1.3.12.tar.gz
    • cd apr-1.3.12
    • ./configure
    • make
    • make install
 
  • APR-util: apr-util-1.3.9.tar.gz
Added:
>
>
    • tar zxvf apr-util-1.3.9.tar.gz
    • cd apr-util-1.3.9
    • ./configure
    • make
    • make install
 
Added:
>
>
  • ACTIVEMQ: activemq-cpp-library-3.1.0-src.tar.gz
    • Abbiamo dovuto installare i seguenti pacchetti:
      • yum install autoconf automake libtool cppunit-devel cppunit gcc-c++ e2fsprogs-devel expat-devel
    • Poi configurato e installato activemq-cpp-library
      • tar zxvf activemq-cpp-library-3.1.0-src.tar.gz
      • cd activemq-cpp-library-3.1.0
      • ./configure --prefix=/opt/activemq/lib/
      • make
      • make install
 
Changed:
<
<
  • ACTIVEMQ: activemq-cpp-library-3.2.2-src.tar.gz

Lanciando ./configure --prefix=/opt/activemq/lib/ si ottiene questo errore:

checking for pthread_create in -lpthread... no

>
>
Nota: usando una versione piu' recente di activemq-cpp-library (abbiamo testato la versione 3.2.0) si ottiene il seguente errore quando si lancia il configure:
  • ./configure --prefix=/opt/activemq/lib/
    • checking for pthread_create in -lpthread... no
    • configure: error: libpthread not found!
 
Changed:
<
<
configure: error: libpthread not found!
>
>
Sul CE abbiamo provato ad installare org.glite.dgas.hlr-activemq-producer, ma falliva nel cercare le dipendenze dalle librerie di activemq, apr e aprutil, in quento non installati da rpm ma da tgz. Allora abbiamo installato con --nodeps:
 
Changed:
<
<
A questo punto abbiamo installato un versione piu’ vecchia di apr (apr-1.3.12). Poi abbiamo installato I seguenti pacchetti:
>
>
  • rpm -ivh --nodeps glite-dgas-hlr-activemq-producer-0.0.0-0.centos5.x86_64.rpm
 
Changed:
<
<
autoconf
>
>
Sull' HLR AMQ abbiamo dovuto installare con --nodeps i seguenti pacchetti:
 
Changed:
<
<
automake
>
>
  • glite-dgas-hlr-activemq-consumer-0.0.0-0.centos5
  • glite-dgas-hlr-activemq-producer-0.0.0-0.centos5
 
Changed:
<
<
libtool
>
>

Configurazione CE

 
Changed:
<
<
cppunit-devel
>
>
Nel file /opt/glite/etc/dgas_sensors.conf abbiamo aggiunti i seguenti parametri:
  • printAsciiLog = "yes"
  • asciiLogFilePath = "/opt/glite/var/log/pushdAscii.log"
  • amqBrokerUri = "URI del broker AMQ"
  • transportLayer = "legacy;amq"
  • recordComposer = "/opt/glite/libexec/glite_dgas_recordComposer"
  • amqProducer = "/opt/glite/libexec/glite_dgas_hlrProducer"
  • dgasAMQTopic = "DGAS.TEST"
 
Changed:
<
<
cppunit
>
>
La restante parte della configurazione e' stata eseguita come di solito, per far puntare il CE all'HLR (standard).
 
Changed:
<
<
gcc-c++
>
>

Configurazione HLR AMQ

 
Changed:
<
<
e2fsprogs-devel
>
>
Abbiamo creato il file /opt/glite/etc/dgas-activemq-consumer.conf con i seguenti parametri:
  • lockFileName = "/opt/glite/var/dgas-hlr-amq-consumer.lock"
  • logFileName = "/opt/glite/var/dgas-hlr-amq-consumer.log"
  • amqBrokerUri = "URI del broker AMQ"
  • recordsDir = "/tmp/dgasamq/"
  • dgasAMQTopic = "DGAS.TEST"
  • hlr_user = "root"
  • dgas_var_dir = "/opt/glite/var/"
 
Changed:
<
<
expat-devel
>
>
  • managerLockFileName = "/opt/glite/var/dgas-hlr-amq-manager.lock"
  • messageParsingCommand = "cat MESSAGEFILE"
  • AMQRecordsDir = "/tmp/dgasamq/"
 
Changed:
<
<
E poi configurato e installato activemq-cpp-library
>
>
  • managerLogFileName = "/opt/glite/var/dgas-hlr-amq-manager.log"
  • #Qui seguono gl i stessi valori con cui e' configurato il corrispondente dgas_hlr.conf
  • hlr_sql_server = "localhost"
  • hlr_sql_user = "root"
  • hlr_sql_password = "database password"
  • hlr_sql_dbname = "hlr database"
  • hlr_tmp_sql_dbname = "hlr_tmp database"
 
Changed:
<
<
A questo punto provo ad installare org.glite.dgas.hlr-activemq-producer
>
>

Test

 
Changed:
<
<
rpm -ivh glite-dgas-hlr-activemq-producer-0.0.0-0.centos5.x86_64.rpm
>
>
Operazioni svolte per attivare SSL.
 
Changed:
<
<
error: Failed dependencies: libactivemq-cpp.so.11()(64bit) is needed by glite-dgas-hlr-activemq-producer-0.0.0-0.centos5.x86_64 libapr-1.so.0()(64bit) is needed by glite-dgas-hlr-activemq-producer-0.0.0-0.centos5.x86_64 libaprutil-1.so.0()(64bit) is needed by glite-dgas-hlr-activemq-producer-0.0.0-0.centos5.x86_64
>
>
  • Sul CE
    • Abbiamo copiato la chiave pubblica hostcert.pem dell’ HLR AMQ sotto /etc/grid/security col nome dgas-test-vm02-cert.pem. Poi abbiamo configurato, seguendo la guida, in /opt/glite/etc/dgas_sensors.conf:
      • amqProducer = "openssl smime -binary -encrypt dgas-test-vm02-cert.pem | /opt/glite/libexec/glite_dgas_hlrProducer"
 
Changed:
<
<
Ma cio’ e’ normale in quanto le librerie sono state installate da tgz.
>
>
  • Sull'HLR
    • In /opt/glite/etc/dgas-activemq-consumer.conf:
      • messageParsingCommand = "cat MESSAGEFILE | openssl smime -decrypt -inkey /etc/grid-security/hostkey.pem -keyform PEM -recip /etc/grid-security/hostcert.pem"
 
Changed:
<
<
Allora ho riprovato con –nodeps ed e’ stato installato il dgas.hlr-activemq-producer
>
>
E abbiamo fatto ripartire tutti i servizi dgas.
 
Added:
>
>

Test A-B: Test di comunicazione CE - HLR (senza e con SSL)

 
Added:
>
>
Seguendo la guida i test sono stati effettuati con successo.
 
Changed:
<
<
Before describing the available info in detail, notice that various kinds of data are collected:
>
>

Test C: Test di comunicazione cambiando valore di dgasAMQTopic (senza e con SSL)

 
Changed:
<
<
- WMSLB service and HW status variables (such as daemons status, condor jobs status statistics, File descriptors opened by main processes..) for which the value at the time of measurement is shown. These data are collected by the mean of a client application in python running on the WMS and LB instance.
>
>
Seguendo la guida i test sono stati effettuati con successo.
 
Changed:
<
<
- Mean job flow rates between wms components (WMproxy, Workload Manager, Job Controller, Condor) across a given time interval reported as well. Time interval is past 15 min by default. These data are collected by the mean of a client application in python running a mysql query on specific LB instance.
>
>

Test D-E: Test di un ciclo completo di accounting (senza e con SSL)

 
Changed:
<
<
- Resource usage statistics for that wms (available only from 2.0 version)
>
>
Seguendo la guida i test sono stati effettuati con successo.
 
Changed:
<
<
Components Details BOX
>
>

Test F: Test di integrita' dei dati (stessi dati su HLR e HLR-AMQ) (SSL attivo)

 
Changed:
<
<
CHARTS BOX
>
>
Abbiamo lanciato 2 serie di job con 2 certificati diversi (Cristofori e Fattibene). Alla fine (dopo circa 2 giorni di servizi attivi) sui 2 DB risulta un totale di 7834 job ed esattamente gli stessi risultati aggregati, in termini di numero di job, CPU time e Wall time per entrambi i gridUser.
 
Changed:
<
<
GENERAL INFO BOXES
>
>
Successivamente abbiamo lanciato una terza serie di job con SSL attivo (utente Cristofori) con 1410 job processati nei DB, stessi dati sui 2 DB. Dopo abbiamo spneto i servizi sui 2 HLR e sul CE.
 
Changed:
<
<
RESOURCE USAGE
>
>

Test G: Test di integrita' dei dati (stessi dati su HLR e HLR-AMQ) (SSL disattivo)

 
Changed:
<
<
It is possible to create CUSTOM CHART selecting this option from the top page menu under "WMS MENU".
>
>
Con i servizi disattivi abbiamo configurato in modo da disattivare SSL. Dopo abbiamo fatto ripartire i servizi per continuare a processare i job di Cristofori.
 
Deleted:
<
<
It is possible to access a LOAD BALANCING section plot selecting this option from the top page menu under "WMS MENU".
 
Deleted:
<
<
You can access the VOs View section from the main menu ont he top of the page under "VO VIEW"
 

-- EnricoFattibene - 2010-09-23

 
This site is powered by the TWiki collaboration platformCopyright © 2008-2022 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback