• Settare il default SELinux file context per lo script appena creato:

# chkconfig memcached on

# chkconfig openstack-swift-account on
# chkconfig openstack-swift-container on
# chkconfig openstack-swift-object on

# chkconfig openstack-swift-proxy on

• Creare la directory di configurazione e settate i proprietari:

• Creare il file /etc/swift/swift.conf:

• Creare il file di configuarazione per rsync /etc/rsyncd.conf:

  uid = swift
  gid = swift
  log file = /var/log/rsyncd.log
  pid file = /var/run/rsyncd.pid
  address = <STORAGE_LOCAL_NET_IP>
  
  [account]
  max connections = 2
  path = /srv/node/
  read only = false
  lock file = /var/lock/account.lock
  
  [container]
  max connections = 2
  path = /srv/node/
  read only = false
  lock file = /var/lock/container.lock
  
  [object]
  max connections = 2
  path = /srv/node/
  read only = false
  lock file = /var/lock/object.lock
  

  Dove <STORAGE_LOCAL_NET_IP> è l'indirizzo IP dello Storage node.

• Editare la seguente riga nel file /etc/default/rsync:

  RSYNC_ENABLE = true
  

• Creare uno script /etc/rc.d/init.d/rsyncd che possa far partire il servizio rsync:

  #!/bin/bash
  
  # Source function library.
  . /etc/rc.d/init.d/functions
  
  [ -f /usr/bin/rsync ] || exit 0
  
  case "$1" in
  start)
  action "Starting rsyncd: " /usr/bin/rsync --daemon
  ;;
  stop)
  action "Stopping rsyncd: " killall rsync
  ;;
  *)
  echo "Usage: rsyncd {start|stop}"
  exit 1
  esac
  exit 0
  

• Cambiare i proprietari di file e directory in maniera ricorsiva:

  # restorecon -R -v /etc/rc.d/init.d/rsyncd
  

• Lanciare rsyncd attraverso il nuovo script creato:

  # service rsyncd start
  

• Creare il file /etc/swift/account-server.conf:

  [DEFAULT]
  bind_ip = <STORAGE_LOCAL_NET_IP>
  workers = 1
  
  [pipeline:main]
  pipeline = account-server
  
  [app:account-server]
  use = egg:swift#account
  
  [account-replicator]
  
  [account-auditor]
  
  [account-reaper]
  

• Creare il file /etc/swift/container-server.conf:

  [DEFAULT]
  bind_ip = <STORAGE_LOCAL_NET_IP>
  workers = 1
  
  [pipeline:main]
  pipeline = container-server
  
  [app:container-server]
  use = egg:swift#container
  
  [container-replicator]
  
  [container-updater]
  
  [container-auditor]
  
  [container-sync]
  

• Creare il file /etc/swift/object-server.conf:

  [DEFAULT]
  bind_ip = <STORAGE_LOCAL_NET_IP>
  workers = 1
  
  [pipeline:main]
  pipeline = object-server
  
  [app:object-server]
  use = egg:swift#object
  
  [object-replicator]
  
  [object-updater]
  
  [object-auditor]
  
  [object-expirer]
  

# cd /etc/swift
# openssl req -new -x509 -nodes -out cert.crt -keyout cert.key

• Creare i ring per account, container e oggetti:

• • Il primo valore numerico (7 nell'esempio) è calcolato come segue: considerata la potenza in base 2 appena superiore al valore della partizione di storage in Gigabyte diviso 10, il valore da riportare è l'esponente di tale potenza. Nell'esempio riportato la partizione è di 800 GB, 2^7 (128) è la potenza di 2 appena superiore a 800/10=80.
  • Il secondo valore numerico (1 nell'esempio) è il numero di repliche di ogni oggetto. Nota bene: tale numero non può essere superiore al numero di nodi storage.
  • Il terzo valore numerico (24 nell'esempio) indica che la prtizione può essere spostata una volta ogni 24 ore.

• Su ognuno degli Storage node lanciare i seguenti comandi:

  swift-ring-builder account.builder add z<ZONE>-<STORAGE_LOCAL_NET_IP>:6002/<DEVICE> <NUM>
  swift-ring-builder container.builder add z<ZONE>-<STORAGE_LOCAL_NET_IP_1>:6001/<DEVICE> <NUM>
  swift-ring-builder object.builder add z<ZONE>-<STORAGE_LOCAL_NET_IP_1>:6000/<DEVICE> <NUM>

• Verificare il contenuto di ogni ring:

• Ri-bilanciare i ring:

• Verificare nuovamente il contenuto di ogni ring:

• Copiare i file account.ring.gz, container.ring.gz e object.ring.gz su ognuno dei server Proxy e Storage node in /etc/swift.

• Assicurarsi che i file di configurazione abbiano i seguenti proprietari:

# swift-init main start
# swift-init rest start

Troubleshooting

• Da linea di comando usare il comando swift per mostrare informationi su account, container o oggetti.

  # swift -V 2 -A http://<KEYSTONE_HOSTNAME>:5000/v2.0 -U <SERVICE_TENANT>:<SWIFT_USER> -K <ADMIN_PASSWORD> stat
  

  Dove:
  • <KEYSTONE_HOSTNAME> è l'hostname del server Keystone (nel prototipo in esempio è openstack-01.cnaf.infn.it)
  • <SERVICE_TENANT> è il tenant del DB di Keystone che racchiude gli utenti dei servizi OpenStack
  • <SWIFT_USER> è il nome dell'utente del servizio Swift nel DB di Keystone
  • <ADMIN_PASSWORD> è la password dell'utente del servizio Swift nel DB di Keystone

• Caricare un file (viene creato automaticamente il container):

  # swift -V 2 -A http://<KEYSTONE_HOSTNAME>:5000/v2.0 -U <SERVICE_TENANT>:<SWIFT_USER> -K <ADMIN_PASSWORD> upload <CONTAINER_NAME> <FILE_NAME>
  

  Dove
  • <CONTAINER_NAME> è il nome del container che si intende creare
  • <FILE_NAME> è il nome del file che si intende caricare

• Scaricare un file:

  # swift -V 2 -A http://<KEYSTONE_HOSTNAME>:5000/v2.0 -U <SERVICE_TENANT>:<SWIFT_USER> -K <ADMIN_PASSWORD> download <CONTAINER_NAME> <FILE_NAME>
  

• Mostrare i container esistenti:

  # swift -V 2 -A http://<KEYSTONE_HOSTNAME>:5000/v2.0 -U <SERVICE_TENANT>:<SWIFT_USER> -K <ADMIN_PASSWORD> list
  

Installazione e configurazione di Storage node

• Installare i pacchetti di Storage node

1. Settare i proprietari della directory superiore:

Installazione e configurazione di Proxy server

• Installare i pacchetti del Proxy server

  # yum install openstack-swift-proxy memcached
  

• Installare i pacchetti di python-keystone:

  # yum install python-keystone python-keystoneclient
  

• Creare un certificato auto-firmato per SSL:

• Modify memcached to listen on the default interfaces. Preferably this should be on a local, non-public network. Edit the following line in /etc/memcached.conf, changing:

• Far partire il servizio memcached

• Create /etc/swift/proxy-server.conf:

  [DEFAULT]
  bind_port = 8888
  user = <SWIFT_USER_NAME>
  
  [pipeline:main]
  pipeline = catch_errors healthcheck cache authtoken keystone proxy-server
  
  [app:proxy-server]
  use = egg:swift#proxy
  account_autocreate = true
  
  [filter:keystone]
  paste.filter_factory = keystone.middleware.swift_auth:filter_factory
  operator_roles = admin, swiftoperator
  
  [filter:authtoken]
  paste.filter_factory = keystone.middleware.auth_token:filter_factory
  # Delaying the auth decision is required to support token-less
  # usage for anonymous referrers ('.r:*').
  delay_auth_decision = 1
  service_port = 5000
  service_host = <KEYSTONE_HOSTNAME>
  auth_port = 35357
  auth_host = <KEYSTONE_HOSTNAME>
  auth_token = <ADMIN_TOKEN>
  admin_token = <ADMIN_TOKEN>
  
  [filter:cache]
  use = egg:swift#memcache
  set log_name = cache
  
  [filter:catch_errors]
  use = egg:swift#catch_errors
  
  [filter:healthcheck]
  use = egg:swift#healthcheck
  

• Create the account, container and object rings. The builder command is basically creating a builder file with a few parameters. The parameter with the value of 18 represents 2 ^ 18th, the value that the partition will be sized to. Set this “partition power” value based on the total amount of storage you expect your entire ring to use. The value of 3 represents the number of replicas of each object, with the last value being the number of hours to restrict moving a partition more than once.

  cd /etc/swift
  swift-ring-builder account.builder create 7 1 24
  swift-ring-builder container.builder create 7 1 24
  swift-ring-builder object.builder create 7 1 24
  

  Nota bene: il numero di repliche non può essere superiore al numero di nodi storage.

• Su ognuno degli storage node lanciare i seguenti comandi:

  swift-ring-builder account.builder add z<ZONE>-<STORAGE_LOCAL_NET_IP>:6002/<DEVICE> 100
  swift-ring-builder container.builder add z<ZONE>-<STORAGE_LOCAL_NET_IP_1>:6001/<DEVICE> 100
  swift-ring-builder object.builder add z<ZONE>-<STORAGE_LOCAL_NET_IP_1>:6000/<DEVICE> 100
  

  Per esempio sul nodo openstack-04.cnaf.infn.it si setta uno storage node con una partizione in Zona 1 sull'IP del server (131.154.100.113). Il mount point di questa partizione è /srv/node/swift, la partizione è il volume logico "swift", e 80 è il numero di Terabyte della partizione moltiplicato per 100. I comandi da lanciare sono:

  # swift-ring-builder account.builder add z1-131.154.100.113:6002/swift 80
  Device z1-131.154.100.113:6002/swift_"" with 80.0 weight got id 0
  # swift-ring-builder container.builder add z1-131.154.100.113:6001/swift 80
  Device z1-131.154.100.113:6001/swift_"" with 80.0 weight got id 0
  # swift-ring-builder object.builder add z1-131.154.100.113:6000/swift 80
  Device z1-131.154.100.113:6000/swift_"" with 80.0 weight got id 0
  

• Verify the ring contents for each ring:

  # swift-ring-builder account.builder
  account.builder, build version 1
  128 partitions, 1 replicas, 1 zones, 1 devices, 100.00 balance
  The minimum number of hours before a partition can be reassigned is 24
  Devices:    id  zone      ip address  port      name weight partitions balance meta
               0     1 131.154.100.113  6002     swift  80.00          0 -100.00 
  
  # swift-ring-builder container.builder
  container.builder, build version 1
  128 partitions, 1 replicas, 1 zones, 1 devices, 100.00 balance
  The minimum number of hours before a partition can be reassigned is 24
  Devices:    id  zone      ip address  port      name weight partitions balance meta
               0     1 131.154.100.113  6001     swift  80.00          0 -100.00 
  
  # swift-ring-builder object.builder
  object.builder, build version 1
  128 partitions, 1 replicas, 1 zones, 1 devices, 100.00 balance
  The minimum number of hours before a partition can be reassigned is 24
  Devices:    id  zone      ip address  port      name weight partitions balance meta
               0     1 131.154.100.113  6000     swift  80.00          0 -100.00
  

*Rebalance the rings:

# swift-ring-builder account.builder rebalance
Reassigned 128 (100.00%) partitions. Balance is now 0.00.

# swift-ring-builder container.builder rebalance
Reassigned 128 (100.00%) partitions. Balance is now 0.00.

# swift-ring-builder object.builder rebalance
Reassigned 128 (100.00%) partitions. Balance is now 0.00.

# swift-ring-builder container.builder
container.builder, build version 1
128 partitions, 1 replicas, 1 zones, 1 devices, 0.00 balance
The minimum number of hours before a partition can be reassigned is 24
Devices:    id  zone      ip address  port      name weight partitions balance meta
             0     1 131.154.100.113  6001     swift  80.00        128    0.00 

# swift-ring-builder object.builder
object.builder, build version 1
128 partitions, 1 replicas, 1 zones, 1 devices, 0.00 balance
The minimum number of hours before a partition can be reassigned is 24
Devices:    id  zone      ip address  port      name weight partitions balance meta
             0     1 131.154.100.113  6000     swift  80.00        128    0.00 

# swift-ring-builder account.builder
account.builder, build version 1
128 partitions, 1 replicas, 1 zones, 1 devices, 0.00 balance
The minimum number of hours before a partition can be reassigned is 24
Devices:    id  zone      ip address  port      name weight partitions balance meta
             0     1 131.154.100.113  6002     swift  80.00        128    0.00 

Copy the account.ring.gz, container.ring.gz, and object.ring.gz files to each of the Proxy and Storage nodes in /etc/swift.

Make sure all the config files are owned by the swift user:

chown -R swift:swift /etc/swift

• Su tutti gli Storage node far partire i servizi di Swift:

  # swift-init object-server start
  # swift-init object-replicator start
  # swift-init object-updater start
  # swift-init object-auditor start
  # swift-init container-server start
  # swift-init container-replicator start
  # swift-init container-updater start
  # swift-init container-auditor start
  # swift-init account-server start
  # swift-init account-replicator start
  # swift-init account-auditor start
  

• Sul server Proxy far partire il servizio proxy:

  # swift-init proxy start
  

Verifica: # export ADMINPASS=secretword # swift -V 2 -A http://:5000/v2.0 -U adminUser:admin -K $ADMINPASS stat [root@openstack-04 etc]# swift -V 2 -A http://openstack-01.cnaf.infn.it:5000/v2.0 -U adminUser:adminUser -K $ADMINPASS stat There is no object-store endpoint on this auth server.

Installazione e configurazione del servizio Object Storage (Swift)

Installazione e configurazione di Proxy server e Storage node

• Installare i pacchetti di Proxy server e Storage node

  # yum install openstack-swift openstack-swift-proxy openstack-swift-account openstack-swift-container openstack-swift-object memcached
  

• Create and populate configuration directories on all nodes:

  # mkdir -p /etc/swift
  # chown -R swift:swift /etc/swift/    
  

• Create /etc/swift/swift.conf:

  [swift-hash]
  # random unique string that can never change (DO NOT LOSE)
  swift_hash_path_suffix = fLIbertYgibbitZ
  

1. Creare un volume logico di 800 Gigabyte sul server:

   # lvcreate -L 800G -n lv_swift <VOLUME_NAME>
   

   dove <VOLUME_NAME> è il nome del volume fisico sul quale si intende creare il volume logico.

2. Formattare la partizione appena creata su filesystem xfs con blocchi da 1024 byte:

   # mkfs.xfs -i size=1024 <LV_PATH> 
   

   dove <LV_PATH> è il percorso del volume logico ricavabile tramite il comando lvdisplay .

3. Creare la directory dove si intende montare il volume appena creato:

   # mkdir -p /srv/node/swift
   

4. Per consentire che il volume logico sia montato all'avvio del server, editare il file /etc/fstab aggiungendo la seguente riga:

   <LV_PATH>       /srv/node/swift       xfs    noatime,nodiratime,nobarrier,logbufs=8    0 0
   

5. Montare il volume:

   # mount –a 
   

6. Settare i proprietari dei della directory superiore:

   # chown -R swift:swift /srv/node
   

# yum install openstack-swift-account openstack-swift-container openstack-swift-object xfsprogs

-- EnricoFattibene - 2012-10-12