~canonical-platform-qa/qlbr/trunk

The scripts here are intended to generate bug reports for the QA team.  They are similar in principle to collect-bug-data and reporter from lp:arsenal, but implemented using a django datastore rather than json files.

To run the scripts, the DJANGO_SETTINGS_MODULE environment must be set to "qlbr.settings", i.e.:

export DJANGO_SETTINGS_MODULE=qlbr.settings

 

The current version depends on the development version of django as of 2013/11/5, primarily for the update_or_create method of the QuerySet object.  If you have pip and git (sudo apt-get install python-pip git) you can run these commands:

git clone git://github.com/django/django.git django-trunk

sudo pip install -e django-trunk/

You may wish to use a container or virtualenv if you do not wish to install the development version of django in your main development environment.

 

If you with to use something other than /home/ubuntu/bzr/qlbr/qlbr.sqlite as the database, edit qlbr/settings.py.  Once you have your database selected, run

python manage.py syncdb

to establish the database, per usual django usage.

 

You will need the python launchpad libraries (sudo apt-get install python-launchpadlib) to gather task data or update people.

 

 

USAGE:

#TODO: update this with django information

load-searches.py accepts a list of files as command line arguments to populate the datastore with information on bug searches to be performed against launchpad.  searches.json is provided as an example.  Each search must have a name.  A list of tags to be applied to retrieved tasks for filtering later is optional.  At least one project is required to perform any searches, and criteria are required to avoid returning all bugs from that project.

 

get-task-data.py performs launchpad searches as defined in the Search model, which may be populated by load-searhes.py.  With no Search data, no tasks will be retrieved.  By default, all searched as performed with 'modified_since' equal to the last_update property of the Search object, which is updated when get-task-data.py completes a search.  To search without this option, pass 'reload' as a command line argument to the script.  The script will gather information about each task returned by each search, each bug associated with those tasks, each bug that one of those bugs is a duplicate of, at least one task for each duplicated bug, and each person listed as owner or assignee of a task or bug.  Tasks and bugs are retrieved only once per run of the script, and people are not retrieved if they are already present in the local datastore.

 

update-people.py retrieves updated information on all Person objects in the local datastore.  Since this information changes rarely and is relatively expensive to retrieve, this can be run less often than get-task-data.

 

generate-static-report.py IS STILL VERY MUCH A PROTOTYPE.  The other scripts exists in basically a usable form that may be similar to their final form, but this script currently only generates a single report, pending discussion on how report parameters should be specified.  It will gather all bugs in the local datastore and create a test.html document titled 'Test' that includes a header allowing for date range selection.  Bugs with "closed" statuses will be available, but hidden by default.  The template, title, filename, and some sort of filter for the bugs included should be specifiable as parameters, but currently aren't.  THIS WILL CHANGE SOON.

 

qa-default.mako is a mako template for bug reports.  It is based on one provided to me by Brad Figg of the Canonical kernel team.  It is modified to suit the needs of the QA team.  It expects the following parameters:

    report_title (str)

    timestamp (str)

    datefilter (bool) (whether to show the date filter at the top of the page)

    tasks (dict) (TODO: document this better once the format is nailed down)

 

manage.py is created by django

 

qlbr is the django project thingy.  I have made the following modifications:

 

qlbr/settings.py:

    set ENGINE and NAME for 'default' entry in DATABASES

 

qlbr/__init__.py:

    setup basic logging

    provide LP object for launchpad access

    provide TZ object, instance of tzinfo subclass that provided minimum functionality to make a datetime.datetime object aware and located in UTC

 

qlbr/models.py:

    Criterion: used by search.  Can be a key/value pair, or a key/[list of values].  get returns the appropriate value or [list]

        last_update (timestamp, automatically updated, updated when search completes)

        Also provide criteria_dict to pass as an argument to the launchpad search

        Also provides tag_list as a string, triaged as a bool (seealso: TRIAGED)

If a bug has a tag matching rls-[a-z]-incoming, it is considered triaged.  If a bug has any task marked as "Fix Released" it is considered triaged.  If it is a duplicate, it inherits triaged status from the original bug, regardless of these criteria.  A task is considered triaged if its bug is triaged.  If the bug is not triaged, and the task has status "New" then the task is not triaged, and will appear in reports as such.

 

All files except manage.py, qa-default.mako, and files under the QLBR directory are copyright 2013 Canonical.

TODO: add proper copyright notices and license info (Affero GPLv3 since this will be running as a web service?)