~radix/landscape-client/reactor-refactor-2

From Revision 682 to 663

expand all

collapse all

Rev		Summary	Authors	Date	Diff	Files
682		merge from trunk merge from trunk	Christopher Armstron...	10 years ago
681		lint lint	Christopher Armstron...	10 years ago
680		revert an unrelated part of the remove-reactor refactoring (... revert an unrelated part of the remove-reactor refactoring (still needs to happen, but not in this branch)	Christopher Armstron...	10 years ago
679		holy crap... all the tests pass. holy crap... all the tests pass.	Christopher Armstron...	10 years ago
678		- get rid of a pointless/untested KeyboardInterrupt handling... - get rid of a pointless/untested KeyboardInterrupt handling clause which   added a dependency of the event handling code on the reactor - add an EventSystem class which only provides event logic, not reactor   interfaces	Christopher Armstron...	10 years ago
677		lint lint	Christopher Armstron...	10 years ago
676		rename TwistedReactor to LandscapeReactor. rename TwistedReactor to LandscapeReactor.	Christopher Armstron...	10 years ago
675		Merge remove-component-publisher-subclasses [f=] [r=tribaal,... Merge remove-component-publisher-subclasses [f=] [r=tribaal,free.ekanayaka] [a=Christopher Armstrong] Simplify publishing of AMP objects by doing two things: - get rid of the necessity of subclassing ComponentPublisher - allow implementations of brokered objects to use a @remote decorator to declare which methods should be exposed over AMP.	Christopher Armstron...	10 years ago
674		Merge amp-test-readability [f=1170669] [r=tribaal,radix] [a=... Merge amp-test-readability [f=1170669] [r=tribaal,radix] [a=Free Ekanayaka] This is the last branch I have around cleaning up the AMP-based machinery in the client. It essentially just change the tests: - Drop the Words class, which had a bunch of ad-hoc methods used to exercise the behavior of the MethodCall protocol. Essentially each method was associated with a test, but the context was not clear by reading the test itself (you'd have to go and read the implementation in the Words class). - Modify most methods to define the remotely-exposed method being tested, so the context is clear. - Partially re-wrote RemoteObjectTest, which had a bunch of tests which were only duplicating tests from MethodCallTest. Now this test class has only tests that are really specific to RemoteObject.	Free Ekanayaka	10 years ago
673		Merge retry-package-ops [f=1177419] [r=free.ekanayaka,jseutt... Merge retry-package-ops [f=1177419] [r=free.ekanayaka,jseutter] [a=Christopher Armstrong] Package installation failures, including failures to acquire the apt lock, are now retried a number of times with a delay in between.	Christopher Armstron...	10 years ago
672		Merge amp-cleanup-9 [f=1170669] [r=radix,tribaal] [a=Free Ek... Merge amp-cleanup-9 [f=1170669] [r=radix,tribaal] [a=Free Ekanayaka] Alright, one of the last episodes of the AMP cleanup saga. In this branch: - Drop landscape.lib.amp.RemoteObjectConnector, as most of its functionality has no been pushed down to MethodCallClientFactory which is a more standard Twisted primitive more importantly and is transport-agnostic, making landscape.lib.amp really generic. - Convert landscape.lib.tests.test_amp.RemoteObjectConnectorTest to MethodCallFunctionalTest. The RemoteObjectConnectorTest class was exercising the (now gone) RemoteObjectConnector in a functional-like way, that means spinning the real twisted reactor and listening/connecting to real Unix sockets. Even if from a strict unit-test point of view all the functionality in landscape.lib.amp is already tested, I felt it was nice to still have some functional-like coverage mainly to protect us against regressions or API changes in the Twisted machinery that we depend on. I've used @inlineCallbacks to make tests a bit more readable.	Free Ekanayaka	11 years ago
671		Rephrased comment. [trivial] Rephrased comment. [trivial]	Christopher Glass	11 years ago
670		Merge amp-cleanup-8 [f=1170669] [r=tealeg,ack] [a=Free Ekana... Merge amp-cleanup-8 [f=1170669] [r=tealeg,ack] [a=Free Ekanayaka] Some more cleanup around the AMP-based machinery: - landscape.amp.ComponentConnector: the disconnect method now uses Twisted's IConnector.disconnect(), without messing with the lower-level ITransport.loseConnection(). The objects implementing IConnector are the ones returned by reactor.connectUNIX/connectTCP/connectSSH and afaiu they're what is supposed to be used for terminating a connection. - rename RemoteComponentRegistry to ComponentRegistry, to match ComponentPublisher and ComponentConnector - landscape.configuration: the changes here are due because we know use IConnector.disconnect() vs ITransport.loseConnection(). Unfortunately the code in this module is factored and tested in a far less than ideal way, eventually we should take time to clean it up. - landscape.lib.amp.RemoteObject: update the constructor docstring and reduce a bit of logic duplication by adding a new _send_method_call helper method, which is now used by __getattr__ and _retry (this makes _retry flush the fake asynchronous connection used in tests, in the same way __getattr__ does). - landscape.lib.amp.MethodCallServerFactory: rename the "reactor" init parameter to "clock", since only the IReactorTime interface is needed (in this case instances are normally called "clock" and can be mocked with a twisted.internet.task.Clock instance in tests) - landscape.lib.tests.test_amp: Add a FakeConnector class implementing IConnector, so we can use it unit-tests. Also, I've converted a few deferred-returning (asynchronous) tests to synchronous equivalent. - landscape.tests.test_amp: Concerted asynchronous tests to synchronous equivalent.	Free Ekanayaka	11 years ago
669		Merge reboot-after-message [r=free.ekanayaka,ack] [f=1176121... Merge reboot-after-message [r=free.ekanayaka,ack] [f=1176121] Delay rebooting until *after* the package operation has been responded to  (plus 5 seconds for safety). This avoids a race condition where the "shutdown" command would kill landscape-client before the message could be saved to disk by the broker.	Christopher Armstron...	11 years ago
668		Drop our copy of initgroups.c as it's only relevant for Pyth... Drop our copy of initgroups.c as it's only relevant for Python < 2.7 and it's fixed in Lucid's Twisted which uses 2.6 [trivial] [r=ack]	Free Ekanayaka	11 years ago
667		Merge amp-cleanup-7 [f=1170669] [r=tribaal,tealeg] [a=Free E... Merge amp-cleanup-7 [f=1170669] [r=tribaal,tealeg] [a=Free Ekanayaka] This branch is simplifies the setup methods of all our test helpers and test cases using AMP connections, by not making them return deferreds (and hence making twisted.trial.unittest.TestCase eventually spin the reactor, see http://twistedmatrix.com/documents/current/core/howto/trial.html#auto7).	Free Ekanayaka	11 years ago
666		Merge amp-cleanup-6 [f=1170669] [r=tribaal,radix,tealeg] [a=... Merge amp-cleanup-6 [f=1170669] [r=tribaal,radix,tealeg] [a=Free Ekanayaka] Another episode of the AMP-related cleanup: - Rename landscape.amp.RemoteComponentConnector to simply ComponentConnector (the fact that it's remote is implied by the fact that you connect to it, and the new name complements the existing ComponentPublisher nicely) - Drop the landscape.amp.ComponentProtocolClientFactory sub-class and use MethodCallClientFactory directly, tweaking the needed instance attributes with explicit assignements (this is a sort of composition-over-inheritance change) - Drop landscape.reactor.UnixReactorMixin. The landscape.reactor.FakeReactor class now really fakes the Unix socket transport, by re-using the machinery in landscape.lib.tests.test_amp, instead of delegating the behavior to the real twisted reactor (hence making it not fake at all) - Update tests that were using FakeReactor.listen_unix/connect_unix (directly or via helpers) to be synchronous. This means essentially using FakeReactor.advance to simulate time progresses and trigger scheduled calls. - Make landscape.lib.amp.RemoteObject aware of fake transports, so it can flush it transparently. This is a hacky workaround to the fact that twisted's AMP code doesn't like synchronous transports, and without it we'd need to explicitly flush the fake transport buffers explicitly all the times in a test we communicate with a remote component connected via a fake transport. - Drop landscape.service.LandscapeService.socket instance attribute, as LandscapeService-derived classes now all use the new landscape.amp.ComponentPublisher convenience introduced in former branches, that takes care of that.	Free Ekanayaka	11 years ago
665		Merge amp-cleanup-5 [f=1170669] [r=radix,tealeg] [a=Free Eka... Merge amp-cleanup-5 [f=1170669] [r=radix,tealeg] [a=Free Ekanayaka] This branch continues the AMP machinery cleanup started in former branches. In particular: - Drop the landscape.amp.ComponentProtocol sub-class and all its sub-classes, which is now not needed since the methods to be exposed are now passed to landscape.amp.ComponentPublisher - Rename ComponentProtocolFactory to ComponentProtocolClientFactory, since we now use 2 different factories for the client and server sides (they are asymmetric and implement different logic) - Use a uuid instead of a sequence number to track in-progress MethodCall. This fixes a latent bug that probably never manifested itself (i.e. monitor and manager connecting to the broker and independently sending the same sequence number for different MethodCalls) - Drop MethodCallProtocol which has become unused, along with some other temporary code not used anymore.	Free Ekanayaka	11 years ago
664		Merge amp-cleanup-3 [f=1170669] [r=radix,tealeg] [a=Free Eka... Merge amp-cleanup-3 [f=1170669] [r=radix,tealeg] [a=Free Ekanayaka] This is another branch in the a series that will make most client tests synchronous. In detail: - Add a landscape.amp.ComponentPublisher class, which is a convenience for Landscape   client code around the generic low level landscape.lib.amp machinery. It basically   supports publishing a Python object over a Unix socket using AMP. It is the   server-side equivalent of RemoteComponentConnector (see next point). - Make landscape.amp.RemoteComponentConnector not inherit from   landscape.lib.RemoteObjectConnector. The latter should be eventually dropped, as it's   transport-specific (it hard-codes using Unix socket), while the machinery in   landscape.lib.amp should be transport-agnostic, providing plain Twisted factories   and protocols. It is a sort of replace-inheritance-with-composition change. - Create sub-classes of ComponentPublisher for each Landscape service that publishes an   object, this replaces the low-level sub-classing of protocols that we add before. - Add a MethodCallServerFactory class, which is a little convenience around AMP, mainly   usedfor instantiating an AMP protocol with the appropriate "locator" parameter, that   will responde to L{MethodCall} commands send by clients.	Free Ekanayaka	11 years ago
663		Merge amp-cleanup-2 [f=1170669] [r=ack,tealeg] [a=Free Ekana... Merge amp-cleanup-2 [f=1170669] [r=ack,tealeg] [a=Free Ekanayaka] This branch is a step toward the goal of fully-synchronous tests in the client. In detail: - Drop the retry_on_reconnect parameter of the RemoteBroker constructor, and   stick it to MethodCallClientFactory instead. The idea is to make the factory   a sort of controller of RemoteBroker. Since user code is supposed to deal   with factories directly, the can control the RemoteBroker's behavior by   modifying the factory. - Move the MethodCallFactory class after the RemoteBroker class, since we now need   to set the latter as 'remote' class attribute of the former. - Rename MethodCallFactory to MethodCallClientFactory, since this is really   a protocol factory for clients, not for servers. - Implement a new interface for MethodCallClientFactory, which should be more convenient   for user-code. This includes adding a getRemoteObject method and replacing the   notify_success and notify_failure methods with a single notifyOnConnect (camel case   for consistency with Twisted).	Free Ekanayaka	11 years ago

• Older »

Loggerhead is a web-based interface for Breezy
Version: 2.0.1