s3_flatten: break bucket listing up by delimiters

Boto's bucket.list_version() function has the option to specify
a delimiter for the key names that are returned.  Delimiters
will treat any occurance of the character as if it was a new
directory and will not "descend" into it.

This change uses delimiters to traverse through all s3 file keys
in the given --prefix, and will clean up the objects table before
descending into a subdirectory in order to prevent wasting memory
storing s3 key data for objects that are no longer going to be
accessed.

Change-Id: I294937c99c60e89a87439789b9031f50e2e5cefc
Reviewed-on: https://review.linaro.org/c/infrastructure/linaro-license-protection/+/33359
Reviewed-by: Benjamin Copeland <ben.copeland@linaro.org>