fix issues when daily hwpack not available

The crawler logic didn't have the ability to handle an error
when a link doesn't exist. This can happen when a build has
started for a hwpack, but not completed.

We also were downloading root file systems each time. This makes
the download only happen if we have a hardware pack that will
need it. The download manager is smart enough to download each
RFS only once and then use the cached copy.