← Back to branch summary

~ubuntu-branches/ubuntu/utopic/gridengine/utopic

« back to all changes in this revision

Viewing changes to doc/htmlman/htmlman5/complex.html

  • Committer: Bazaar Package Importer
  • Author(s): Mark Hymers
  • Date: 2008-06-25 22:36:13 UTC
  • Revision ID: james.westby@ubuntu.com-20080625223613-tvd9xlhuoct9kyhm
Tags: upstream-6.2~beta2
Import upstream version 6.2~beta2

Show diffs side-by-side

added added

removed removed

Lines of Context:
doc/htmlman/htmlman5/complex.html
 
1
<HTML>
 
2
<BODY BGCOLOR=white>
 
3
<PRE>
 
4
<!-- Manpage converted by man2html 3.0.1 -->
 
5
NAME
 
6
     complex - Grid Engine complexes configuration file format
 
7
 
 
8
DESCRIPTION
 
9
     <I>Complex</I> reflects the format of the Grid Engine complex  con-
 
10
     figuration.   The  definition of complex attributes provides
 
11
     all pertinent information concerning the resource attributes
 
12
     a  user may request for a Grid Engine job via the <B><A HREF="../htmlman1/qsub.html">qsub(1)</A></B> -l
 
13
     option and for the interpretation of these parameters within
 
14
     the Grid Engine system.
 
15
 
 
16
     The Grid Engine complex object defines all entries which are
 
17
     used for configuring the global, the host, and queue object.
 
18
     The system has a set  of  pre  defined  entries,  which  are
 
19
     assigned  to a host or queue per default.  In a addition can
 
20
     the user define new entries and assign them to one or multi-
 
21
     ple  objects.  Each load value has to have its corresponding
 
22
     complex entry object, which defines the type and  the  rela-
 
23
     tional operator for it.
 
24
 
 
25
  defining resource attributes
 
26
     The complex configuration should not be  accessed  directly.
 
27
     In  order  to  add  or  modify complex entries, the <B><A HREF="../htmlman1/qconf.html">qconf(1)</A></B>
 
28
     options -Mc and -mc should be used instead.  While  the  -Mc
 
29
     option takes a <I>complex</I> configuration file as an argument and
 
30
     overrides the current configuration, the -mc option bring up
 
31
     an editor filled in with the current <I>complex</I> configuration.
 
32
 
 
33
     The provided  list  contains  all  definitions  of  resource
 
34
     attributes  in  the system. Adding a new entry means to pro-
 
35
     vide: name, shortcut, type, relop, requestable,  consumable,
 
36
     default, and urgency. The fields are described below. Chang-
 
37
     ing one is easily done by updated the field  to  change  and
 
38
     removing  an  entry by deleting its definition. An attribute
 
39
     can only be removed, when it is not referenced in a host  or
 
40
     queue  object  anymore.  Also  does the system have a set of
 
41
     default resource attributes which are always attached  to  a
 
42
     host  or  queue.  They cannot be deleted nor can the type of
 
43
     such an attribute be changed.
 
44
 
 
45
  working with resource attributes
 
46
     Before a user can request a resource attribute it has to  be
 
47
     attached to the global, host, or cqueue object. The resource
 
48
     attribute exists only for the objects, it got  attached  to(
 
49
     if it is attached to the global object(qconf -me global), it
 
50
     exits sytem wide, host object: only on that host (qconf  -me
 
51
     NAME): cqueue object: only on that cqueue (qconf -mq NAME).
 
52
 
 
53
     When the user attached a resource attribute  to  an  object,
 
54
     one  also  has  to assign a value to it; the resource limit.
 
55
     Another way to get a resource attribute  value  is  done  by
 
56
     configuring a load sensor for that attribute.
 
57
 
 
58
  Default queue resource attributes
 
59
     In its default form it contains a selection of parameters in
 
60
     the  queue  configuration  as defined in <B><A HREF="../htmlman5/queue_conf.html">queue_conf(5)</A></B>.  The
 
61
     queue configuration parameters being requestable for  a  job
 
62
     by the user in principal are:
 
63
 
 
64
          qname
 
65
          hostname
 
66
          notify
 
67
          calendar
 
68
          min_cpu_interval
 
69
          tmpdir
 
70
          seq_no
 
71
          s_rt
 
72
          h_rt
 
73
          s_cpu
 
74
          h_cpu
 
75
          s_data
 
76
          h_data
 
77
          s_stack
 
78
          h_stack
 
79
          s_core
 
80
          h_core
 
81
          s_rss
 
82
          h_rss
 
83
 
 
84
  Default host resource attributes
 
85
     The standard set of host related attributes consists of  two
 
86
     categories. he first category is built by several queue con-
 
87
     figuration attributes which are particularly suitable to  be
 
88
     managed on a host basis. These attributes are:
 
89
 
 
90
          slots
 
91
          s_vmem
 
92
          h_vmem
 
93
          s_fsize
 
94
          h_fsize
 
95
     (please refer to <B><A HREF="../htmlman5/queue_conf.html">queue_conf(5)</A></B> for details).
 
96
 
 
97
     Note: Defining these attributes in the host  complex  is  no
 
98
     contradiction  to  having  them also in the queue configura-
 
99
     tion. It allows maintaining the corresponding resources on a
 
100
     host level and at the same time on a queue level. Total vir-
 
101
     tual free memory (h_vmem) can be managed  for  a  host,  for
 
102
     example,  and a subset of the total amount can be associated
 
103
     with a queue on that host.
 
104
 
 
105
     The second attribute category in the standard  host  complex
 
106
     are  the default load values Every <B><A HREF="../htmlman8/sge_execd.html">sge_execd(8)</A></B> periodically
 
107
     reports load to <B><A HREF="../htmlman8/sge_qmaster.html">sge_qmaster(8)</A></B>.  The  reported  load  values
 
108
     are  either the standard Grid Engine load values such as the
 
109
     CPU load average (see <B><A HREF="../htmlman1/uptime.html">uptime(1)</A></B>) or load values  defined  by
 
110
     the  Grid Engine administration (see the load_sensor parame-
 
111
     ter in the cluster configuration <B><A HREF="../htmlman5/sge_conf.html">sge_conf(5)</A></B>  and  the  <I>Grid</I>
 
112
     <I>Engine</I>  <I>Installation</I>  <I>and</I> <I>Administration</I> <I>Guide</I> for details).
 
113
     The characteristics definition for the standard load  values
 
114
     is  part  of  the  default host complex, while administrator
 
115
     defined load values require extension of the  host  complex.
 
116
     Please  refer to the file &lt;sge_root&gt;/doc/load_parameters.asc
 
117
     for detailed information on the standard set of load values.
 
118
 
 
119
  Overriding attributes
 
120
     One attribute can be assigned to  the  global  object,  host
 
121
     object, and queue object at the same time. On the host level
 
122
     it might get its value from the user defined resource  limit
 
123
     and  a  load sensor. In case that the attribute is a consum-
 
124
     able, we have in addition to the resource limit and its load
 
125
     report on host level also the internal usage, which the sys-
 
126
     tem keeps track of. The mergin is done as follows:
 
127
 
 
128
     In general an attribute can be overridden on a lower level
 
129
        - global by hosts and queues
 
130
        - hosts by queues and load values or resource  limits  on
 
131
     the same level.
 
132
 
 
133
     We have one limitation for overriding  attributes  based  on
 
134
     its relational operator:
 
135
 
 
136
     !=, == operators can only be overridden on the  same  level,
 
137
     but  not  on  a  lower  level. The user defined value always
 
138
     overrides the load value.
 
139
 
 
140
     &gt;=, &gt;, &lt;=, &lt; operators can only be overridden, when the  new
 
141
     value is more restrictive than the old one.
 
142
 
 
143
     In the case of a consumable on host level, which has also  a
 
144
     load sensor, the system checks for the current usage, and if
 
145
     the internal accounting is more restrictive  than  the  load
 
146
     sensor  report, the internal value is kept; if the load sen-
 
147
     sour report is more restrictive, that one is kept.
 
148
 
 
149
FORMAT
 
150
     The principal format of a <I>complex</I> configuration is that of a
 
151
     tabulated list. Each line starting with a '#' character is a
 
152
     comment line. Each line despite  comment  lines  define  one
 
153
     element  of  the complex. A element definition line consists
 
154
     of the following 8 column entries per line (in the order  of
 
155
     appearance):
 
156
 
 
157
  name
 
158
     The name of the complex element to be used to  request  this
 
159
     attribute  for  a job in the <B><A HREF="../htmlman1/qsub.html">qsub(1)</A></B> -l option. An attribute
 
160
     name may appear only once across  all  complexes,  i.e.  the
 
161
     complex attribute definition is unique.
 
162
 
 
163
  shortcut
 
164
     A shortcut for name which may also be used to  request  this
 
165
     attribute  for  a job in the <B><A HREF="../htmlman1/qsub.html">qsub(1)</A></B> -l option. An attribute
 
166
     shortcut may appear only once across all complexes, so as to
 
167
     avoid  the possibility of ambiguous complex attribute refer-
 
168
     ences.
 
169
 
 
170
  type
 
171
     This setting determines how the corresponding values are  to
 
172
     be  treated Grid Engine internally in case of comparisons or
 
173
     in case of load scaling for the load complex entries:
 
174
 
 
175
     <B>o</B>  With INT only raw integers are allowed.
 
176
 
 
177
     <B>o</B>  With DOUBLE floating point numbers  in  double  precision
 
178
        (decimal and scientific notation) can be specified.
 
179
 
 
180
     <B>o</B>  With  TIME  time  specifiers  are   allowed.   Refer   to
 
181
        <B><A HREF="../htmlman5/queue_conf.html">queue_conf(5)</A></B> for a format description.
 
182
 
 
183
     <B>o</B>  With MEMORY memory size specifiers are allowed. Refer  to
 
184
        <B><A HREF="../htmlman5/queue_conf.html">queue_conf(5)</A></B> for a format description.
 
185
 
 
186
     <B>o</B>  With BOOL the strings TRUE and FALSE  are  allowed.  When
 
187
        used in a load formula (refer to <B><A HREF="../htmlman5/sched_conf.html">sched_conf(5)</A></B> ) TRUE and
 
188
        FALSE get mapped into '1' and '0'.
 
189
 
 
190
     <B>o</B>  With STRING all strings are allowed and is used for wild-
 
191
        card  regular  boolean  expression  matching.  Please see
 
192
        <B><A HREF="../htmlman1/sge_types.html">sge_types(1)</A></B> manpage for expression definition.
 
193
 
 
194
        Examples:
 
195
         -l arch="*x24*|sol*"  :
 
196
              results in "arch=lx24-x86" OR "arch=lx24-amd64"
 
197
                 OR "arch=sol-sparc" OR "arch=sol-sparc64"
 
198
                 OR "arch=sol-x86" OR ...
 
199
         -l arch="sol-x??"  :
 
200
              results in "arch=sol-x86" OR "arch=sol-x64" OR ...
 
201
         -l arch="lx2[246]-x86"  :
 
202
              results in "arch=lx22-x86" OR "arch=lx24-x86"
 
203
                 OR "arch=lx26-x86"
 
204
         -l arch="lx2[4-6]-x86"  :
 
205
              results in "arch=lx24-x86" OR "arch=lx25-x86"
 
206
                 OR "arch=lx26-x86"
 
207
         -l arch="lx2[24-6]-x86"  :
 
208
              results in "arch=lx22-x86" OR "arch=lx24-x86"
 
209
                 OR "arch=lx25-x86" OR "arch=lx26-x86"
 
210
         -l arch="!lx24-x86&amp;!sol-sparc"  :
 
211
              results in NOT "arch=lx24-x86" NEITHER "arch=sol-sparc"
 
212
         -l arch="lx24-[^x]86"  :
 
213
              results in "arch=lx24-^86" OR "arch=lx24-x86"
 
214
         -l arch="lx2[4|6]-x86"  :
 
215
              results in "arch=lx2[4" OR "arch=6"
 
216
 
 
217
 
 
218
     <B>o</B>  CSTRING is like STRING except comparisons are case insen-
 
219
        sitive.
 
220
 
 
221
     <B>o</B>  RESTRING is like STRING and it will be deprecated in  the
 
222
        future.
 
223
 
 
224
     <B>o</B>  HOST is like CSTRING but  the  expression  must  match  a
 
225
        valid hostname.
 
226
 
 
227
  relop
 
228
     The relation operator. The relation operator  is  used  when
 
229
     the  value  requested by the user for this parameter is com-
 
230
     pared against the corresponding  value  configured  for  the
 
231
     considered queues. If the result of the comparison is false,
 
232
     the job cannot run in this queue. Possible  relation  opera-
 
233
     tors  are  "==",  "&lt;",  "&gt;",  "&lt;="  and "&gt;=". The only valid
 
234
     operator for string type attributes is "==".
 
235
 
 
236
  requestable
 
237
     The entry can be used in a <B><A HREF="../htmlman1/qsub.html">qsub(1)</A></B> resource request if  this
 
238
     field  is  set  to 'y' or 'yes'.  If set to 'n' or 'no' this
 
239
     entry cannot be used by a user in order to request  a  queue
 
240
     or  a  class  of queues.  If the entry is set to 'forced' or
 
241
     'f' the attribute has to be requested by  a  job  or  it  is
 
242
     rejected.
 
243
 
 
244
     To enable resource request enforcement the existence of  the
 
245
     resource  has  to  be defined. This can be done on a cluster
 
246
     global, per host and per  queue  basis.  The  definition  of
 
247
     resource  availability  is performed with the complex_values
 
248
     entry in <B><A HREF="../htmlman5/host_conf.html">host_conf(5)</A></B> and <B><A HREF="../htmlman5/queue_conf.html">queue_conf(5)</A></B>.
 
249
 
 
250
  consumable
 
251
     The consumable parameter can be set  to  either  'yes'  ('y'
 
252
     abbreviated)  or 'no' ('n'). It can be set to 'yes' only for
 
253
     numeric attributes (INT, DOUBLE, MEMORY,  TIME  -  see  type
 
254
     above). If set to 'yes' the consumption of the corresponding
 
255
     resource can be managed by Grid Engine internal bookkeeping.
 
256
     In  this  case  Grid  Engine accounts for the consumption of
 
257
     this resource for all running jobs and ensures that jobs are
 
258
     only  dispatched  if  the  Grid  Engine internal bookkeeping
 
259
     indicates enough available consumable resources. Consumables
 
260
     are  an  efficient  means to manage limited resources such a
 
261
     available memory, free  space  on  a  file  system,  network
 
262
     bandwidth or floating software licenses.
 
263
 
 
264
     Consumables can be combined with  default  or  user  defined
 
265
     load  parameters  (see  <B><A HREF="../htmlman5/sge_conf.html">sge_conf(5)</A></B>  and <B><A HREF="../htmlman5/host_conf.html">host_conf(5)</A></B>), i.e.
 
266
     load values can be reported for consumable attributes or the
 
267
     consumable  flag  can  be  set for load attributes. The Grid
 
268
     Engine consumable resource management takes  both  the  load
 
269
     (measuring  availability  of  the resource) and the internal
 
270
     bookkeeping into account in this case, and makes  sure  that
 
271
     neither of both exceeds a given limit.
 
272
 
 
273
     To enable consumable resource management the  basic  availa-
 
274
     bility  of a resource has to be defined. This can be done on
 
275
     a cluster global, per host and per queue basis  while  these
 
276
     categories may supersede each other in the given order (i.e.
 
277
     a host can restrict availability of a cluster resource and a
 
278
     queue  can restrict host and cluster resources). The defini-
 
279
     tion  of  resource  availability  is  performed   with   the
 
280
     complex_values entry in <B><A HREF="../htmlman5/host_conf.html">host_conf(5)</A></B> and <B><A HREF="../htmlman5/queue_conf.html">queue_conf(5)</A></B>.  The
 
281
     complex_values definition of  the  "global"  host  specifies
 
282
     cluster  global consumable settings. To each consumable com-
 
283
     plex attribute in a complex_values list a value is  assigned
 
284
     which   denotes   the  maximum  available  amount  for  that
 
285
     resource. The internal bookkeeping will subtract  from  this
 
286
     total  the  assumed resource consumption by all running jobs
 
287
     as expressed through the jobs' resource requests.
 
288
 
 
289
     Note: Jobs can be forced to request a resource and  thus  to
 
290
     specify  their  assumed consumption via the 'force' value of
 
291
     the requestable parameter (see above).
 
292
 
 
293
     Note also: A default resource consumption value can be  pre-
 
294
     defined  by  the administrator for consumable attributes not
 
295
     explicitly requested by the job (see the  default  parameter
 
296
     below).  This is meaningful only if requesting the attribute
 
297
     is not enforced as explained above.
 
298
 
 
299
     See the <I>Grid</I> <I>Engine</I> <I>Installation</I>  <I>and</I>  <I>Administration</I>  <I>Guide</I>
 
300
     for examples on the usage of the consumable resources facil-
 
301
     ity.
 
302
 
 
303
  default
 
304
     Meaningful only for consumable complex attributes (see  con-
 
305
     sumable  parameter  above). Grid Engine assumes the resource
 
306
     amount denoted in the default  parameter  implicitly  to  be
 
307
     consumed  by jobs being dispatched to a host or queue manag-
 
308
     ing the consumable attribute. Jobs explicitly requesting the
 
309
     attribute via the -<I>l</I> option to <B><A HREF="../htmlman1/qsub.html">qsub(1)</A></B> override this default
 
310
     value.
 
311
 
 
312
  urgency
 
313
     The urgency value allows influencing job priorities on a per
 
314
     resource base. The urgency value effects the addend for each
 
315
     resource  when  determining  the  resource  request  related
 
316
     urgency contribution. For numeric type resource requests the
 
317
     addend is the product of the urgency value, the jobs assumed
 
318
     slot allocation and the per slot request as specified via -<I>l</I>
 
319
     option to <B><A HREF="../htmlman1/qsub.html">qsub(1)</A></B>.  For string type requests  the  resources
 
320
     urgency value is directly used as addend. Urgency values are
 
321
     of type real. See under <B><A HREF="../htmlman5/sge_priority.html">sge_priority(5)</A></B> for an  overview  on
 
322
     job priorities.
 
323
 
 
324
SEE ALSO
 
325
     <B><A HREF="../htmlman1/sge_intro.html">sge_intro(1)</A></B>, <B><A HREF="../htmlman1/qconf.html">qconf(1)</A></B>,  <B><A HREF="../htmlman1/qsub.html">qsub(1)</A></B>,  <B><A HREF="../htmlman1/uptime.html">uptime(1)</A></B>,  <B><A HREF="../htmlman5/host_conf.html">host_conf(5)</A></B>,
 
326
     <B><A HREF="../htmlman5/queue_conf.html">queue_conf(5)</A></B>, <B><A HREF="../htmlman8/sge_execd.html">sge_execd(8)</A></B>, <B><A HREF="../htmlman8/sge_qmaster.html">sge_qmaster(8)</A></B>, <B><A HREF="../htmlman8/sge_schedd.html">sge_schedd(8)</A></B>,
 
327
     <I>Grid</I> <I>Engine</I> <I>Installation</I> <I>and</I> <I>Administration</I> <I>Guide</I>.
 
328
 
 
329
COPYRIGHT
 
330
     See <B><A HREF="../htmlman1/sge_intro.html">sge_intro(1)</A></B> for a full statement of rights and  permis-
 
331
     sions.
 
332
 
 
333
 
 
334
 
 
335
 
 
336
 
 
337
 
 
338
 
 
339
 
 
340
 
 
341
 
 
342
 
 
343
 
 
344
 
 
345
 
 
346
 
 
347
 
 
348
 
 
349
 
 
350
 
 
351
 
 
352
 
 
353
 
 
354
 
 
355
 
 
356
 
 
357
 
 
358
 
 
359
 
 
360
 
 
361
 
 
362
 
 
363
 
 
364
 
 
365
 
 
366
 
 
367
 
 
368
 
 
369
 
 
370
 
 
371
</PRE>
 
372
<HR>
 
373
<ADDRESS>
 
374
Man(1) output converted with
 
375
<a href="http://www.oac.uci.edu/indiv/ehood/man2html.html">man2html</a>
 
376
</ADDRESS>
 
377
</BODY>
 
378
</HTML>