~james-page/ubuntu-openstack-ci/drop-tox-from-slave-config

#!/bin/bash -e

# Check current juju environment for all good agent and instance states,

# or for an environment which is clean and ready to deploy to.

#

# Return 0 if enviro is clear to deploy to, or if deployment appears to be

# sane from a nova undercloud and juju perspective.

 

clear_tmp_files() {

  rm -f $instances_tmp_file

  rm -f $jstat_tmp_file

}

 

# Handle manual runs.

[[ -z "$WORKSPACE" ]] &&\

    export WORKSPACE="$(mktemp -d)"

[[ -z "$BUILD_NUMBER" ]] &&\

    export BUILD_NUMBER="unknown"

[[ -z "$OSCI_ROOT" ]] &&\

    export OSCI_ROOT="${HOME}/tools/ubuntu-openstack-ci"

[[ -z "$OPENSTACK_CHARM_TESTING_ROOT" ]] &&\

    export OPENSTACK_CHARM_TESTING_ROOT="${HOME}/tools/openstack-charm-testing"

 

. ~/novarc

 

# Always use current juju environment name

JENV_NAME=$(juju switch | xargs)

echo "Juju env name:  ${JENV_NAME}"

 

# Check for bad agent/machine states in juju status yaml output

jstat_tmp_file=$(mktemp)

timeout 120 juju stat --format=yaml &> $jstat_tmp_file ||:

bad_states="$(cat $jstat_tmp_file | grep 'agent\-state:' | egrep -v 'started' ||:)"

 

# Check for juju environment files

echo "Checking for jenv files..."

if [[ -n "$OSI_JUJU_HOME" ]]; then

  # openstack-installer is in play

  jenv_files="$(ls ${HOME}/.juju/environments/*jenv ${OSI_JUJU_HOME}/environments/*jenv -alh 2> /dev/null ||:)"

else

  # juju deployment (not openstack-installer)

  jenv_files="$(ls ${HOME}/.juju/environments/*jenv -alh 2> /dev/null ||:)"

fi

 

# Check that juju status output looks like juju status output if env file exists

if ! grep "environment:" $jstat_tmp_file && [[ -n "$jenv_files" ]]; then

  msg="! MODEL-ERROR:  Juju1 env file(s) exist but juju status not OK for ${JENV_NAME}."

  echo $bad_states

  clear_tmp_files

  echo "ERROR 6 - ${msg}"

  exit 6

fi

 

# Check for good and bad nova instances where instance name contains the

# juju model/environment name.

if [[ "${JENV_NAME^^}" != *MAAS* ]]; then

  echo "Checking for nova instances..."

  instances_tmp_file=$(mktemp)

  openstack server list | grep "\-${JENV_NAME}\-machine" > $instances_tmp_file ||:

  good_instances=$(grep 'ACTIVE' $instances_tmp_file ||:)

  bad_instances=$(grep -v 'ACTIVE' $instances_tmp_file ||:)

 

  if [[ -n $good_instances ]]; then

    if [[ -n $bad_instances ]]; then

      echo "NON-ACTIVE:  Nova list found non-ACTIVE instances for ${JENV_NAME}." \

           "Perhaps a build is in progress or incomplete?"

      clear_tmp_files

      exit 1

    fi

  fi

fi

 

if [[ -n $bad_states ]] && [[ -n "$jenv_files" ]]; then

  echo "! NOT-READY:  Juju environment, agent and/or instance states are not" \

       "active/STARTED, and Juju jenv file(s) exist for enviro: ${JENV_NAME}."

  echo $bad_states

  echo $jenv_files

  cp $jstat_tmp_file $WORKSPACE/juju-stat-bad-states.$BUILD_NUMBER ||:

  clear_tmp_files

  exit 2

elif [[ -n $bad_states ]] && [[ -z "$jenv_files" ]]; then

  msg="! TEARDOWN-NEEDED:  Juju environment, agent and/or instance states are bad, and Juju jenv file(s) do not exist for ${JENV_NAME}."

  echo $bad_states

  clear_tmp_files

  echo "ERROR 3 - Manual intervention required.  Undercloud issue?  ${msg}"

  exit 3

elif [[ -z $bad_states ]] && [[ -n "$jenv_files" ]] && [[ -z $bad_instances ]] && [[ -n $good_instances ]]; then

  echo " . DEPLOYED:  Juju environment, agent and instance states are good," \

       "and Juju jenv file(s) exist for ${JENV_NAME}."

  clear_tmp_files

  exit 0

elif [[ -z $bad_states ]] && [[ -n "$jenv_files" ]] && [[ "${JENV_NAME^^}" == *MAAS* ]]; then

  echo " . DEPLOYED:  Juju environment (maas provider), agent states are good," \

       "and Juju jenv file(s) exist for ${JENV_NAME}."

  clear_tmp_files

  exit 0

elif [[ -z $bad_states ]] && [[ -z "$jenv_files" ]] && [[ -z $bad_instances ]] && [[ -z $good_instances ]]; then

  echo " . CLEAR:  Juju environment, agent and instance states not found," \

       "and Juju jenv file(s) do not exist for ${JENV_NAME}."

  clear_tmp_files

  exit 0

elif [[ -z $good_instances ]] && [[ -z $bad_instances ]] && [[ -n "$jenv_files" ]] && [[ "${JENV_NAME^^}" != *MAAS* ]]; then

  msg=" ! TEARDOWN-NEEDED:  Juju jenv file(s) exist, but there are no nova instances for:  ${JENV_NAME}."

  echo "jenv_files: ${jenv_files}"

  clear_tmp_files

  echo "ERROR 4 - Manual intervention required.  Undercloud issue?  ${msg}"

  exit 4

else

  msg=" ! FAIL:  Unknown state, need to debug or troubleshoot this node.  Env name: ${JENV_NAME}."

  echo "1: ${JENV_NAME}"

  echo "2: ${bad_instances}"

  echo "3: ${good_instances}"

  echo "4: ${bad_states}"

  echo "5: ${jenv_files}"

  clear_tmp_files

  echo "ERROR 5 - Manual intervention required.  Undercloud issue?  ${msg}"

  exit 5

fi