catch 404 when mining data

when replacing the use of requests, the new code was being more
strict.  The requests library would return the 404 document on
non-existent, and then we would end up loading apache dirs from
that.  That would result in empty list.

Instead of that mention the 404.