~raharper/curtin/trunk.add-syslog-handler

From Revision 527 to 508

expand all

collapse all

Rev		Summary	Authors	Date	Diff	Files
527		log: always write to syslog log: always write to syslog	Ryan Harper	6 years ago
526		install: ensure iscsi service is running to handle shutdown ... install: ensure iscsi service is running to handle shutdown properly In some cases it is problematic to shutdown the iscsi targets (like raid over iscsi). Instead of introducing extra work to stop multi-layer storage devices during the install of curtin, this patch addresses the core issue around iscsi termination; ensuring the iscsi service is active prior to shutting down. In Artful, the open-iscsi service does not automatically start if iscsi configuration is not present during boot; curtin will restart/start the service if the storage configuration contains iscsi disks. This approach successfully passes all of the iscsi configurations (plain, lvm over iscsi, and raid over iscsi).	Ryan Harper	6 years ago
525		mdadm: handle write failures to sysfs entries when stopping ... mdadm: handle write failures to sysfs entries when stopping mdadm mdadm_stop command tries a number of methods to stop an existing array. Writes to sysfs fail differently, this patch catches both IOErrors and OSErrors when writing to sysfs entries, logs and continues with the stop operation. Updating the LVM over RAID vmtest to run in dirty_disk mode reproduces a failure reported and is resolved with this branch. LP: #1708052	Ryan Harper	6 years ago
524		vmtest: catch exceptions in curtin-log-print vmtest: catch exceptions in curtin-log-print Wraps the calling of curtin-log-print to catch any exceptions that result. Was causing large image files to be left behind as an exception generated by the curtin-log-print prevented proper cleanup. LP: #1714592	Joshua Powers	6 years ago
523		iscsi: use curtin storage config to disconnect iscsi targets iscsi: use curtin storage config to disconnect iscsi targets When curtin disconnects from iscsi targets after an install, it does so after unmounting the targets, however it passed the target dir into the iscsi disconnect code which then silently failed to find any session configurations. We've been lucky as the existing shutdown iscsi service has been logging out of sessions defined on the host; however on recent Artful systems, the open-iscsi service is not restarted after populating /etc/iscsi/nodes directory and since it is not running in the ephemeral environment the service will not automatically stop the iscsi devices, causing a hang on shutdown. To resolve this parse the curtin storage config for iscsi disks, construct IscsiDisk objects and then call their disconnect() method. In addition to this logic fix, this branch contains: - adds a missing Artful LVM Iscsi vmtest class - Updated logging messages in iscsi paths, including   a message when iscsi_disconnect doesn't find the   /etc/iscsi/nodes directory. - Updated IscsiDisk disconnect with similar logging	Ryan Harper	6 years ago
522		vmtests: bump skip_by_date values out to give cloud-init SRU... vmtests: bump skip_by_date values out to give cloud-init SRU more time	Ryan Harper	6 years ago
521		vmtest: get info about collected symlinks and then delete th... vmtest: get info about collected symlinks and then delete them. Some of the 'collect' scripts collect files with 'cp -a' or other means that would collect a symbolic link. Since none of our scripts yet handle properly resolving absolute symlinks we just remove all symlinks and write a file 'symlinks.txt' with info about them. At a later date we might need to also clean out sockets or other content. The primary motivation for this is to a.) make sure tests don't inadvertantly read the target of the symlink     and thus "verify" files on the host b.) jenkins can produce a zip file of the artifacts, and we suspect that     it is bothered by the symbolic links.	Scott Moser	6 years ago
520		Update network cloud-init related skiptest dates, SRU still ... Update network cloud-init related skiptest dates, SRU still pending Move skipdate to 2017-08-20 to allow more time for cloud-init SRU to land.	Ryan Harper	6 years ago
519		tests: Add CiTestCase common parent for all curtin tests. tests: Add CiTestCase common parent for all curtin tests. This branch makes sure all unittests subclass from CiTestCase which provides all unit tests with a tmp_dir and tmp_path creation. Drop unittest-specific tempfile usage in favor of self.tmp_dir and self.tmp_path. Adding this parent class gives us a single place to add test methods which have general application across unit tests, like log tracking and tmp directory cleanup.	Chad Smith	6 years ago
518		vmtests: Remove force flag for centos curthooks vmtests: Remove force flag for centos curthooks During development, and before our source images had updated curtin hooks we needed this flag to push test installations down the new code path. We've left it present for future development needs.	Ryan Harper	6 years ago
517		tools/jenkins-runner: improve tgtd cleanup logic tools/jenkins-runner: improve tgtd cleanup logic The previous tgtd cleanup logic was hard to follow at best. It was buggy in that it would always kill the TGT_PID process even if it didn't start it. both cleanup lines ended with:   <condition> || [ -n "${TGT_PID}" ] && kill -9 ${TGT_PID} which will always run the 'kill' if TGT_PID is non-empty. Also:  * clean up the output of tools/jenkins-runner by redirecting    the find-tgt.d to a file so you don't see its debug messages.  * use modulus to get a port in the right range.  * improve the picking of a port and then checking to see if it was used.    I believe a race condition where tgt wasn't listening on the port when    netstat would run lead to false positives for failures where a    sleep would have sufficed.  * remove the tgt socket file(s) if it was created.	Scott Moser	6 years ago
516		tests: Drop EOL Wily Vivid and Yakkety tests. tests: Drop EOL Wily Vivid and Yakkety tests. We no longer carry test classes for end-of-life/unsupported series.	Chad Smith	6 years ago
515		Disable yum plugins when installing packages, update ca-cert... Disable yum plugins when installing packages, update ca-certs for https The default yum configured plugins includes the 'fastmirrors' plugin which produces inconsistent results resulting in broken installs.  Update the ca-certificates package to prevent https mirror download failures.  Add some retries to the yum install commands to handle transient failures.	Ryan Harper	6 years ago
514		Rename centos_network_curthooks -> centos_apply_network_conf... Rename centos_network_curthooks -> centos_apply_network_config. Rename centos_network_curthooks and its upper-cased feature CENTOS_NETWORK_CURTHOOKS to centos_apply_network_config and CENTOS_APPLY_NETWORK_CONFIG respectively. Also drop the handling of 'cloudconfig' entries from that function. Handling of cloudconfig is up to the curthooks, and that is being added to maas-images built-in curthooks. The name centos_apply_network_config is left in curtin.cmd.curthooks. We add a unittest to ensures that entry point is never lost. Also add unit test to ensure 'write_files' is available from futil.	Scott Moser	6 years ago
513		tests: in centos_defaults use write_files for grub serial. tests: in centos_defaults use write_files for grub serial. This changes centos defaults to pass a file into the target with write_files and then use that program in late_commands to modify grub1 and grub2 config files so that we get console output to the serial console. Instead of running grub2-mkconfig it just updates both the defaults file and the rendered /boot/grub2/grub.cfg.	Scott Moser	6 years ago
512		write_files: write files after extract, change write_files s... write_files: write files after extract, change write_files signature. Instead of relying on curthooks to write files, write them during 'extract'. The reason for this is that curthooks can be over-ridden by the image that is being installed, but writing files is generic. The motivation for this was that I found centos images did not write files. Also present here is a cleanup of 'write_files' signature and a move from curtin.commands.curthooks to futil. It previously took a dictionary, and operated on only the 'write_files' entry inside it. Now we take that dictionary directly and change callers. The kwarg name 'target' was changed to 'base_dir' to more correctly identify what this is.	Scott Moser	6 years ago
511		pass network configuration through to target for ubuntu and ... pass network configuration through to target for ubuntu and centos curtin will now query the in-target cloud-init for the NETWORK_CONFIG_V2 feature flag. If present, curtin will copy in any custom networking config an defer rendering to cloud-init upon first boot. This function is also implemented for Centos/Enterprise Linux distros. Centos network curthooks has the following capabilities   - Only runs when 'centos_network_curthooks: true' is passed in via     curtin config. MAAS will modify centos built-in curthooks to use the     centos_network_curthooks as needed.   - If the target centos image does not contain a new enough cloud-init     then the cloud-init-el-stable repo is configured and curtin installs     epel-release, cloud-init and bridge-utils if needed Additional VMtests were added for Centos66 and Centos70 covering all of the network tests. Note that network_mtu is disabled as mixed v4 and ipv6 mtu settings are not supported in sysconfig. Other useful features in this branch: - tools/build-deb now lets users set the RELEASE value like:   RELEASE=xenial ./tools/build-deb   and the RELEASE value will be set in the changelog for the deb	Ryan Harper	6 years ago
510		tests: disable yakkety tests. tests: disable yakkety tests. Ubuntu 16.10 (Yakkety Yak) went EOL on 2017-07-20. Disable the tests for this release.	Scott Moser	6 years ago
509		tools/launch: automatically pass on proxy settings to curtin tools/launch: automatically pass on proxy settings to curtin This makes tools/launch automatically pass on proxy settings   http_proxy, https_proxy, no_proxy from its environment into curtin via curtins' newly added 'proxy' config. It also puts the discovered IP address into 'no_proxy'. This means that by default, curtin will get the host environment's proxy settings but will not attempt to use the proxy for the host's IP address. This is done because it is likely that the configured proxy will not proxy traffic back to this host. As an implementation detail, it adds 'curtin_extra' arguments and integrates the previously added '--install-deps' flag into that.	Scott Moser	6 years ago
508		Add top level 'proxy' to config, deprecate top level http_pr... Add top level 'proxy' to config, deprecate top level http_proxy. This allows user to set http_proxy, https_proxy and no_proxy in their config.  proxy:    http_proxy: http://squid:3128/    https_proxy: http://squid:3128/    no_proxy: 10.0.0.2,127.0.0.1 Also migrates over the old 'http_proxy' top level config to proxy/http_proxy.	Scott Moser	6 years ago

• Older »

Loggerhead is a web-based interface for Breezy
Version: 2.0.1