(r3) TestAMQ < DGAS

Tags: , view all tags
---+ Test sul trasporto dati di DGAS tramite Active MQ

L'installazione del tesbed, la configurazione e i test sono stati effettuati seguendo il [[%ATTACHURL%/DGAS-AMQ-testplan.rtf][piano di test]]
proposto da Andrea Guarise.

---++ Installazione CE e HLR

Dopo aver installato il *CE* gLite 3.2 SL5 x86_64 (profilo ig_CREAM_torque), seguendo la [[http://igrelease.forge.cnaf.infn.it/doku.php?id=doc:guides:install-3_2][guida]], abbiamo installato i pacchetti di DGAS indicati nel piano i test:
   * _rpm -Uvh glite-dgas-common-3.4.1-0.centos5.x86_64.rpm_
   * _rpm -Uvh glite-dgas-hlr-clients-3.4.1-0.centos5.x86_64.rpm_

Abbiamo installato 2 *HLR* (uno sara' standard e l'altro con Active MQ) seguendo la [[http://www.to.infn.it/grid/INFNGRID/TESTING/TESTING/files/Documentation/DGAS-guied_0_6_1.htm][guida]] al paragrafo _3.1.2.1  New installation_. I pacchetti installati sono:
   * _glite-dgas-pa-clients-3.4.0-3.centos5_
   * _glite-dgas-hlr-clients-3.4.0-12.centos5_
   * _glite-dgas-hlr-service-3.4.0-23.centos5_
   * _glite-dgas-common-3.4.0-4.centos5_

Su *CE* e *HLR AMQ*, prima di installare i pacchetti delle dipendenze aggiuntive, vista la mancanza di compilatore C, abbiamo installato gcc versione 4.1.2-48.el5.
   * _yum install gcc.x86_64_
   * Il pacchetto ha installato anche le seguenti dipendenze:
      * _cpp.x86_64 0:4.1.2-48.el5_          
      * _glibc-devel.x86_64 0:2.5-49_     
      * _glibc-headers.x86_64 0:2.5-49_       
      * _kernel-headers.x86_64 0:2.6.18-194.11.3.el5_
      * _libgomp.x86_64 0:4.4.0-6.el5_

I pacchetti delle dipendenze aggiuntive che abbiamo installato sono i seguenti:
   * APR: _apr-1.3.12.tar.gz_
      * _tar zxvf apr-1.3.12.tar.gz_
      * _cd apr-1.3.12_
      * _./configure_
      * _make_
      * _make install_

   * APR-util: _apr-util-1.3.9.tar.gz_
      * _tar zxvf apr-util-1.3.9.tar.gz_
      * _cd apr-util-1.3.9_
      * _./configure_
      * _make_
      * _make install_

   * ACTIVEMQ: _activemq-cpp-library-3.1.0-src.tar.gz_
      * Abbiamo dovuto installare i seguenti pacchetti:
         * _yum install autoconf automake libtool cppunit-devel cppunit gcc-c++ e2fsprogs-devel expat-devel_
      * Poi configurato e installato _activemq-cpp-library_
         * _tar zxvf activemq-cpp-library-3.1.0-src.tar.gz_
         * _cd activemq-cpp-library-3.1.0_
         * _./configure --prefix=/opt/activemq/lib/_
         * _make_
         * _make install_ 

Nota: usando una versione piu' recente di activemq-cpp-library (abbiamo testato la versione 3.2.0) si ottiene il seguente errore quando si lancia il configure:
   * _./configure --prefix=/opt/activemq/lib/_
      * _checking for pthread_create in -lpthread... no_
      * _configure: error: libpthread not found!_

Sul *CE* abbiamo provato ad installare _org.glite.dgas.hlr-activemq-producer_, ma falliva nel cercare le dipendenze dalle librerie di activemq, apr e aprutil, in quento non installati da rpm ma da tgz. Allora abbiamo installato con --nodeps:

   * _rpm -ivh --nodeps glite-dgas-hlr-activemq-producer-0.0.0-0.centos5.x86_64.rpm_

Sull' *HLR AMQ* abbiamo dovuto installare con --nodeps i seguenti pacchetti:

   * _glite-dgas-hlr-activemq-consumer-0.0.0-0.centos5_
   * _glite-dgas-hlr-activemq-producer-0.0.0-0.centos5_

---++ Configurazione CE

Nel file /opt/glite/etc/dgas_sensors.conf abbiamo aggiunti i seguenti parametri:
   * _printAsciiLog = "yes"_
   * _asciiLogFilePath = "/opt/glite/var/log/pushdAscii.log"_
   * _amqBrokerUri = "URI del broker AMQ"_
   * _transportLayer = "legacy;amq"_
   * _recordComposer = "/opt/glite/libexec/glite_dgas_recordComposer"_
   * _amqProducer = "/opt/glite/libexec/glite_dgas_hlrProducer"_
   * _dgasAMQTopic = "DGAS.TEST"_

La restante parte della configurazione e' stata eseguita come di solito, per far puntare il CE all'HLR (standard).

---++ Configurazione HLR AMQ

Abbiamo creato il file /opt/glite/etc/dgas-activemq-consumer.conf con i seguenti parametri:
   * lockFileName = "/opt/glite/var/dgas-hlr-amq-consumer.lock"
   * logFileName = "/opt/glite/var/dgas-hlr-amq-consumer.log"
   * amqBrokerUri = "URI del broker AMQ"
   * recordsDir = "/tmp/dgasamq/"
   * dgasAMQTopic = "DGAS.TEST"
   * hlr_user = "root"
   * dgas_var_dir = "/opt/glite/var/"

   * managerLockFileName = "/opt/glite/var/dgas-hlr-amq-manager.lock"
   * messageParsingCommand = "cat MESSAGEFILE"
   * AMQRecordsDir = "/tmp/dgasamq/"

   * managerLogFileName = "/opt/glite/var/dgas-hlr-amq-manager.log"
   * #Qui seguono gl i stessi valori con cui e' configurato il corrispondente dgas_hlr.conf
   * hlr_sql_server = "localhost"
   * hlr_sql_user = "root"
   * hlr_sql_password = "database password"
   * hlr_sql_dbname = "hlr database"
   * hlr_tmp_sql_dbname = "hlr_tmp database"

---++ Test

Operazioni svolte per attivare SSL.

   * Sul CE 
      * Abbiamo copiato la chiave pubblica hostcert.pem dell’ HLR AMQ sotto /etc/grid/security col nome dgas-test-vm02-cert.pem. Poi abbiamo configurato, seguendo la guida, in /opt/glite/etc/dgas_sensors.conf:
         * _amqProducer = "openssl smime -binary -encrypt dgas-test-vm02-cert.pem | /opt/glite/libexec/glite_dgas_hlrProducer"_

   * Sull'HLR
      * In /opt/glite/etc/dgas-activemq-consumer.conf:
         * _messageParsingCommand = "cat MESSAGEFILE | openssl smime -decrypt -inkey /etc/grid-security/hostkey.pem -keyform PEM -recip /etc/grid-security/hostcert.pem"_

E abbiamo fatto ripartire tutti i servizi dgas.

---+++ Test A-B: Test di comunicazione CE - HLR  (senza e con SSL)

Seguendo la guida i test sono stati effettuati con successo.

---+++ Test C: Test di comunicazione cambiando valore di dgasAMQTopic (senza e con SSL)

Seguendo la guida i test sono stati effettuati con successo.

---+++ Test D-E: Test di un ciclo completo di accounting (senza e con SSL)

Seguendo la guida i test sono stati effettuati con successo.

---+++ Test F: Test di integrita' dei dati (stessi dati su HLR e HLR-AMQ) (SSL attivo)

Abbiamo lanciato 2 serie di job con 2 certificati diversi (Cristofori e Fattibene). Alla fine (dopo circa 2 giorni di servizi attivi) sui 2 DB risulta un totale di 7834 job ed  esattamente gli stessi risultati aggregati, in termini di numero di job, CPU time e Wall time per entrambi i gridUser.

Successivamente abbiamo lanciato una terza serie di job con SSL attivo (utente Cristofori) con 1410 job processati nei DB, stessi dati sui 2 DB. Dopo abbiamo spneto i servizi sui 2 HLR e sul CE.

---+++ Test G: Test di integrita' dei dati (stessi dati su HLR e HLR-AMQ) (SSL disattivo)

Con i servizi disattivi abbiamo configurato in modo da disattivare SSL. Dopo abbiamo fatto ripartire i servizi per continuare a processare i job di Cristofori.




-- Main.EnricoFattibene - 2010-09-23
Attachments
Topic attachments
I	Attachment	Action	Size	Date	Who	Comment
rtf	DGAS-AMQ-testplan.rtf	manage	66.1 K	2010-09-23 - 10:15	EnricoFattibene
Topic revision: r3 - 2010-09-23 - EnricoFattibene
Account
- Log In
~~Edit~~
~~Attach~~