~mars/zope.testing/3.9.4-p0

« back to all changes in this revision

Viewing changes to src/zope/testing/testrunner/testrunner-layers.txt

  • Committer: Maris Fogels
  • Date: 2010-06-04 14:58:44 UTC
  • Revision ID: maris.fogels@canonical.com-20100604145844-mb48c1ig9gty2kao
Initial import of zope.testing's 3.9.4 SVN tag

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
Layer Selection
 
2
===============
 
3
 
 
4
We can select which layers to run using the --layer option:
 
5
 
 
6
    >>> import os.path, sys
 
7
    >>> directory_with_tests = os.path.join(this_directory, 'testrunner-ex')
 
8
    >>> defaults = [
 
9
    ...     '--path', directory_with_tests,
 
10
    ...     '--tests-pattern', '^sampletestsf?$',
 
11
    ...     ]
 
12
 
 
13
    >>> sys.argv = 'test --layer 112 --layer Unit'.split()
 
14
    >>> from zope.testing import testrunner
 
15
    >>> testrunner.run_internal(defaults)
 
16
    Running samplelayers.Layer112 tests:
 
17
      Set up samplelayers.Layerx in N.NNN seconds.
 
18
      Set up samplelayers.Layer1 in N.NNN seconds.
 
19
      Set up samplelayers.Layer11 in N.NNN seconds.
 
20
      Set up samplelayers.Layer112 in N.NNN seconds.
 
21
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
22
    Running zope.testing.testrunner.layer.UnitTests tests:
 
23
      Tear down samplelayers.Layer112 in N.NNN seconds.
 
24
      Tear down samplelayers.Layerx in N.NNN seconds.
 
25
      Tear down samplelayers.Layer11 in N.NNN seconds.
 
26
      Tear down samplelayers.Layer1 in N.NNN seconds.
 
27
      Set up zope.testing.testrunner.layer.UnitTests in N.NNN seconds.
 
28
      Ran 192 tests with 0 failures and 0 errors in N.NNN seconds.
 
29
    Tearing down left over layers:
 
30
      Tear down zope.testing.testrunner.layer.UnitTests in N.NNN seconds.
 
31
    Total: 226 tests, 0 failures, 0 errors in N.NNN seconds.
 
32
    False
 
33
 
 
34
 
 
35
We can also specify that we want to run only the unit tests:
 
36
 
 
37
    >>> sys.argv = 'test -u'.split()
 
38
    >>> testrunner.run_internal(defaults)
 
39
    Running zope.testing.testrunner.layer.UnitTests tests:
 
40
      Set up zope.testing.testrunner.layer.UnitTests in N.NNN seconds.
 
41
      Ran 192 tests with 0 failures and 0 errors in N.NNN seconds.
 
42
    Tearing down left over layers:
 
43
      Tear down zope.testing.testrunner.layer.UnitTests in N.NNN seconds.
 
44
    False
 
45
 
 
46
 
 
47
Or that we want to run all of the tests except for the unit tests:
 
48
 
 
49
    >>> sys.argv = 'test -f'.split()
 
50
    >>> testrunner.run_internal(defaults)
 
51
    Running samplelayers.Layer1 tests:
 
52
      Set up samplelayers.Layer1 in N.NNN seconds.
 
53
      Ran 9 tests with 0 failures and 0 errors in N.NNN seconds.
 
54
    Running samplelayers.Layer11 tests:
 
55
      Set up samplelayers.Layer11 in N.NNN seconds.
 
56
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
57
    Running samplelayers.Layer111 tests:
 
58
      Set up samplelayers.Layerx in N.NNN seconds.
 
59
      Set up samplelayers.Layer111 in N.NNN seconds.
 
60
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
61
    Running samplelayers.Layer112 tests:
 
62
      Tear down samplelayers.Layer111 in N.NNN seconds.
 
63
      Set up samplelayers.Layer112 in N.NNN seconds.
 
64
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
65
    Running samplelayers.Layer12 tests:
 
66
      Tear down samplelayers.Layer112 in N.NNN seconds.
 
67
      Tear down samplelayers.Layerx in N.NNN seconds.
 
68
      Tear down samplelayers.Layer11 in N.NNN seconds.
 
69
      Set up samplelayers.Layer12 in N.NNN seconds.
 
70
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
71
    Running samplelayers.Layer121 tests:
 
72
      Set up samplelayers.Layer121 in N.NNN seconds.
 
73
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
74
    Running samplelayers.Layer122 tests:
 
75
      Tear down samplelayers.Layer121 in N.NNN seconds.
 
76
      Set up samplelayers.Layer122 in N.NNN seconds.
 
77
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
78
    Tearing down left over layers:
 
79
      Tear down samplelayers.Layer122 in N.NNN seconds.
 
80
      Tear down samplelayers.Layer12 in N.NNN seconds.
 
81
      Tear down samplelayers.Layer1 in N.NNN seconds.
 
82
    Total: 213 tests, 0 failures, 0 errors in N.NNN seconds.
 
83
    False
 
84
 
 
85
Or we can explicitly say that we want both unit and non-unit tests.
 
86
 
 
87
    >>> sys.argv = 'test -uf'.split()
 
88
    >>> testrunner.run_internal(defaults)
 
89
    Running samplelayers.Layer1 tests:
 
90
      Set up samplelayers.Layer1 in N.NNN seconds.
 
91
      Ran 9 tests with 0 failures and 0 errors in N.NNN seconds.
 
92
    Running samplelayers.Layer11 tests:
 
93
      Set up samplelayers.Layer11 in N.NNN seconds.
 
94
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
95
    Running samplelayers.Layer111 tests:
 
96
      Set up samplelayers.Layerx in N.NNN seconds.
 
97
      Set up samplelayers.Layer111 in N.NNN seconds.
 
98
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
99
    Running samplelayers.Layer112 tests:
 
100
      Tear down samplelayers.Layer111 in N.NNN seconds.
 
101
      Set up samplelayers.Layer112 in N.NNN seconds.
 
102
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
103
    Running samplelayers.Layer12 tests:
 
104
      Tear down samplelayers.Layer112 in N.NNN seconds.
 
105
      Tear down samplelayers.Layerx in N.NNN seconds.
 
106
      Tear down samplelayers.Layer11 in N.NNN seconds.
 
107
      Set up samplelayers.Layer12 in N.NNN seconds.
 
108
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
109
    Running samplelayers.Layer121 tests:
 
110
      Set up samplelayers.Layer121 in N.NNN seconds.
 
111
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
112
    Running samplelayers.Layer122 tests:
 
113
      Tear down samplelayers.Layer121 in N.NNN seconds.
 
114
      Set up samplelayers.Layer122 in N.NNN seconds.
 
115
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
116
    Running zope.testing.testrunner.layer.UnitTests tests:
 
117
      Tear down samplelayers.Layer122 in N.NNN seconds.
 
118
      Tear down samplelayers.Layer12 in N.NNN seconds.
 
119
      Tear down samplelayers.Layer1 in N.NNN seconds.
 
120
      Set up zope.testing.testrunner.layer.UnitTests in N.NNN seconds.
 
121
      Ran 192 tests with 0 failures and 0 errors in N.NNN seconds.
 
122
    Tearing down left over layers:
 
123
      Tear down zope.testing.testrunner.layer.UnitTests in N.NNN seconds.
 
124
    Total: 405 tests, 0 failures, 0 errors in N.NNN seconds.
 
125
    False
 
126
 
 
127
It is possible to force the layers to run in subprocesses and parallelize them.
 
128
 
 
129
    >>> sys.argv = [testrunner_script, '-j2']
 
130
    >>> testrunner.run_internal(defaults)
 
131
    Running samplelayers.Layer1 tests:
 
132
      Set up samplelayers.Layer1 in N.NNN seconds.
 
133
      Ran 9 tests with 0 failures and 0 errors in N.NNN seconds.
 
134
    Running samplelayers.Layer11 tests:
 
135
      Running in a subprocess.
 
136
      Set up samplelayers.Layer1 in N.NNN seconds.
 
137
      Set up samplelayers.Layer11 in N.NNN seconds.
 
138
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
139
    Running samplelayers.Layer111 tests:
 
140
      Running in a subprocess.
 
141
      Set up samplelayers.Layerx in N.NNN seconds.
 
142
      Set up samplelayers.Layer1 in N.NNN seconds.
 
143
      Set up samplelayers.Layer11 in N.NNN seconds.
 
144
      Set up samplelayers.Layer111 in N.NNN seconds.
 
145
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
146
    Running samplelayers.Layer112 tests:
 
147
      Running in a subprocess.
 
148
      Set up samplelayers.Layerx in N.NNN seconds.
 
149
      Set up samplelayers.Layer1 in N.NNN seconds.
 
150
      Set up samplelayers.Layer11 in N.NNN seconds.
 
151
      Set up samplelayers.Layer112 in N.NNN seconds.
 
152
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
153
    Running samplelayers.Layer12 tests:
 
154
      Running in a subprocess.
 
155
      Set up samplelayers.Layer1 in N.NNN seconds.
 
156
      Set up samplelayers.Layer12 in N.NNN seconds.
 
157
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
158
    Running samplelayers.Layer121 tests:
 
159
      Running in a subprocess.
 
160
      Set up samplelayers.Layer1 in N.NNN seconds.
 
161
      Set up samplelayers.Layer12 in N.NNN seconds.
 
162
      Set up samplelayers.Layer121 in N.NNN seconds.
 
163
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
164
    Running samplelayers.Layer122 tests:
 
165
      Running in a subprocess.
 
166
      Set up samplelayers.Layer1 in N.NNN seconds.
 
167
      Set up samplelayers.Layer12 in N.NNN seconds.
 
168
      Set up samplelayers.Layer122 in N.NNN seconds.
 
169
      Ran 34 tests with 0 failures and 0 errors in N.NNN seconds.
 
170
    Running zope.testing.testrunner.layer.UnitTests tests:
 
171
      Running in a subprocess.
 
172
      Set up zope.testing.testrunner.layer.UnitTests in N.NNN seconds.
 
173
      Ran 192 tests with 0 failures and 0 errors in N.NNN seconds.
 
174
    Total: 405 tests, 0 failures, 0 errors in N.NNN seconds.
 
175
    False