~syleam/openobject-server/trunk-manage-tablespace

« back to all changes in this revision

Viewing changes to bin/tools/yaml_import.py

  • Committer: HDA(OpenERP)
  • Date: 2010-03-09 14:33:28 UTC
  • mfrom: (2111.1.5 trunk)
  • Revision ID: hda@tinyerp.com-20100309143328-g5g5wv6kgh38orqf
merged

Show diffs side-by-side

added added

removed removed

Lines of Context:
19
19
    pass
20
20
 
21
21
class YamlTag(object):
22
 
    """Superclass for constructors of custom tags defined in yaml file."""
23
 
 
 
22
    """
 
23
    Superclass for constructors of custom tags defined in yaml file.
 
24
    """
24
25
    def __init__(self, **kwargs):
25
26
        self.__dict__.update(kwargs)
26
27
    def __getitem__(self, key):
45
46
        super(Record, self).__init__(**kwargs)
46
47
    
47
48
class Python(YamlTag):
48
 
    def __init__(self, model, severity=logging.ERROR, name="NONAME", **kwargs):
 
49
    def __init__(self, model, severity=logging.ERROR, name="", **kwargs):
49
50
        self.model= model
50
51
        self.severity = severity
51
52
        self.name = name
228
229
        self._report = {}
229
230
 
230
231
    def record(self, success, severity):
231
 
        """Records the result of an assertion for the failed/success count.
232
 
           Returns success."""
233
 
 
 
232
        """
 
233
        Records the result of an assertion for the failed/success count.
 
234
        Returns success.
 
235
        """
234
236
        if severity in self._report:
235
237
            self._report[severity][success] += 1
236
238
        else:
249
251
        res.append("end of report (%s assertion(s) checked)" % success + failure)
250
252
        return "\n".join(res)
251
253
 
252
 
 
 
254
class RecordDictWrapper(dict):
 
255
    """
 
256
    Used to pass a record as locals in eval:
 
257
    records do not strictly behave like dict, so we force them to.
 
258
    """
 
259
    def __init__(self, record):
 
260
        self.record = record 
 
261
    def __getitem__(self, key):
 
262
        if key in self.record:
 
263
            return self.record[key]
 
264
        return dict.__getitem__(self, key)
 
265
 
253
266
class YamlInterpreter(object):
254
267
    def __init__(self, cr, module, id_map, mode, filename, noupdate=False):
255
268
        self.cr = cr
259
272
        self.filename = filename
260
273
        self.assert_report = TestReport()
261
274
        self.noupdate = noupdate
262
 
        self.logger = logging.getLogger(logger_channel)
 
275
        self.logger = logging.getLogger("%s.%s" % (logger_channel, self.module))
263
276
        self.pool = pooler.get_pool(cr.dbname)
264
277
        self.uid = 1
265
 
        self.context = {}
 
278
        self.context = {} # opererp context
 
279
        self.eval_context = {'ref': self._ref, '_ref': self._ref} # added '_ref' so that record['ref'] is possible
266
280
 
267
281
    def _ref(self):
268
282
        return lambda xml_id: self.get_id(xml_id)
282
296
            if module != self.module:
283
297
                module_count = self.pool.get('ir.module.module').search_count(self.cr, self.uid, \
284
298
                        ['&', ('name', '=', module), ('state', 'in', ['installed'])])
285
 
                assert module_count == 1, """The ID "%s" refers to an uninstalled module""" % (xml_id,)
 
299
                assert module_count == 1, 'The ID "%s" refers to an uninstalled module.' % (xml_id,)
286
300
        if len(id) > 64: # TODO where does 64 come from (DB is 128)? should be a constant or loaded form DB
287
301
            self.logger.log(logging.ERROR, 'id: %s is to long (max: 64)', id)
288
302
 
289
303
    def get_id(self, xml_id):
 
304
        if not xml_id:
 
305
            raise YamlImportException("The xml_id should be a non empty string.")
290
306
        if isinstance(xml_id, types.IntType):
291
307
            id = xml_id
292
308
        elif xml_id in self.id_map:
302
318
            self.id_map[xml_id] = id
303
319
        return id
304
320
    
305
 
    def get_context(self, node, locals_dict):
 
321
    def get_context(self, node, eval_dict):
306
322
        context = self.context.copy()
307
323
        if node.context:
308
 
            context.update(eval(node.context, locals_dict))
 
324
            context.update(eval(node.context, eval_dict))
309
325
        return context
310
326
 
311
327
    def isnoupdate(self, node):
318
334
        self.assert_report.record(False, severity)
319
335
        self.logger.log(severity, msg, *args)
320
336
        if severity >= config['assert_exit_level']:
321
 
            raise YamlImportAbortion('Severe assertion failure (%s), aborting.' % (severity,))
 
337
            raise YamlImportAbortion('Severe assertion failure (%s), aborting.' % logging.getLevelName(severity))
322
338
        return
323
339
 
324
340
    def _get_assertion_id(self, assertion):
325
341
        if assertion.id:
326
342
            ids = [self.get_id(assertion.id)]
327
343
        elif assertion.search:
328
 
            q = eval(assertion.search, {'ref': self._ref})
 
344
            q = eval(assertion.search, self.eval_context)
329
345
            ids = self.pool.get(assertion.model).search(self.cr, self.uid, q, context=assertion.context)
330
346
        if not ids:
331
347
            raise YamlImportException('Nothing to assert: you must give either an id or a search criteria.')
346
362
            args = (assertion.string, assertion.count, len(ids))
347
363
            self._log_assert_failure(assertion.severity, msg, *args)
348
364
        else:
349
 
            local_context = {'ref': self._ref, '_ref': self._ref} # added '_ref' so that record['ref'] is possible
350
 
            context = self.get_context(assertion, local_context)
 
365
            context = self.get_context(assertion, self.eval_context)
351
366
            for id in ids:
352
367
                record = model.browse(self.cr, self.uid, id, context)
353
368
                for test in expressions.get('test', ''):
354
 
                    success = eval(test, local_context, record)
 
369
                    try:
 
370
                        success = eval(test, self.eval_context, RecordDictWrapper(record))
 
371
                    except Exception, e:
 
372
                        raise YamlImportAbortion(e)
355
373
                    if not success:
356
374
                        msg = 'Assertion "%s" FAILED\ntest: %s\n'
357
375
                        args = (assertion.string, test)
367
385
        if self.isnoupdate(record) and self.mode != 'init':
368
386
            model = self.get_model(record.model)
369
387
            record_dict = self._create_record(model, fields)
 
388
            self.logger.debug("RECORD_DICT %s" % record_dict)
370
389
            id = self.pool.get('ir.model.data')._update(self.cr, self.uid, record.model, \
371
390
                    self.module, record_dict, record.id, noupdate=self.isnoupdate(record), mode=self.mode)
372
391
            self.id_map[record.id] = int(id)
412
431
        code_context = {'self': model, 'cr': self.cr, 'uid': self.uid, 'log': log, 'context': self.context}
413
432
        try:
414
433
            code = compile(statements, self.filename, 'exec')
415
 
            eval(code, code_context)
 
434
            eval(code, {'ref': self.get_id}, code_context)
416
435
        except AssertionError, e:
417
 
            self._log_assert_failure(python.severity, 'Assertion "%s" FAILED in Python code.', python.name)
 
436
            self._log_assert_failure(python.severity, 'AssertionError in Python code %s: %s', python.name, e)
418
437
            return
419
438
        except Exception, e:
420
439
            raise YamlImportAbortion(e)
437
456
            if not 'model' in value and (not 'eval' in value or not 'search' in value):
438
457
                raise YamlImportException('You must provide a "model" and an "eval" or "search" to evaluate.')
439
458
            value_model = self.get_model(value['model'])
440
 
            local_context = {'ref': self._ref, '_ref': self._ref}
441
 
            local_context['obj'] = lambda x: value_model.browse(self.cr, self.uid, x, context=self.context)
 
459
            local_context = {'obj': lambda x: value_model.browse(self.cr, self.uid, x, context=self.context)}
442
460
            local_context.update(self.id_map)
443
 
            id = eval(value['eval'], local_context)
 
461
            id = eval(value['eval'], self.eval_context, local_context)
444
462
        
445
463
        if workflow.uid is not None:
446
464
            uid = workflow.uid
453
471
        function, values = node.items()[0]
454
472
        if self.isnoupdate(function) and self.mode != 'init':
455
473
            return
456
 
        local_context = {'ref': self._ref, '_ref': self._ref}
457
 
        context = self.get_context(function, local_context)
 
474
        context = self.get_context(function, self.eval_context)
458
475
        args = []
459
476
        if function.eval:
460
 
            args = eval(function.eval, local_context)
 
477
            args = eval(function.eval, self.eval_context)
461
478
        for value in values:
462
479
            if not 'model' in value and (not 'eval' in value or not 'search' in value):
463
480
                raise YamlImportException('You must provide a "model" and an "eval" or "search" to evaluate.')
464
481
            value_model = self.get_model(value['model'])
465
 
            local_context = {'ref': self._ref, '_ref': self._ref}
466
 
            local_context['obj'] = lambda x: value_model.browse(self.cr, self.uid, x, context=context)
 
482
            local_context = {'obj': lambda x: value_model.browse(self.cr, self.uid, x, context=context)}
467
483
            local_context.update(self.id_map)
468
 
            id = eval(value['eval'], local_context)
 
484
            id = eval(value['eval'], self.eval_context, local_context)
469
485
            if id != None:
470
486
                args.append(id)
471
487
        model = self.get_model(function.model)
572
588
        view_id = False
573
589
        if node.view:
574
590
            view_id = self.get_id(node.view)
575
 
        context = eval(node.context, {'ref': self._ref, '_ref': self._ref})
 
591
        context = eval(node.context, self.eval_context)
576
592
 
577
593
        values = {
578
594
            'name': node.name,
608
624
    def process_delete(self, node):
609
625
        ids = []
610
626
        if len(node.search):
611
 
            ids = self.pool.get(node.model).search(self.cr, self.uid, eval(node.search))
 
627
            ids = self.pool.get(node.model).search(self.cr, self.uid, eval(node.search, self.eval_context))
612
628
        if len(node.id):
613
629
            try:
614
630
                ids.append(self.get_id(node.id))
642
658
        res = {}
643
659
        for fieldname, expression in fields.items():
644
660
            if isinstance(expression, Eval):
645
 
                value = eval(expression.expression, {'ref': self._ref, '_ref': self._ref})
 
661
                value = eval(expression.expression, self.eval_context)
646
662
            else:
647
663
                value = expression
648
664
            res[fieldname] = value
681
697
            replace = node.replace or True
682
698
            self.pool.get('ir.model.data').ir_set(self.cr, self.uid, 'action', \
683
699
                    keyword, values['name'], [values['model']], value, replace=replace, isobject=True, xml_id=xml_id)
 
700
            
 
701
    def process_none(self):
 
702
        """
 
703
        Empty node or commented node should not pass silently.
 
704
        """
 
705
        self._log_assert_failure(logging.WARNING, "You have an empty block in your tests.")
 
706
        
684
707
 
685
708
    def process(self, yaml_string):
686
 
        """Processes a Yaml string. Custom tags are interpreted by 'process_' instance methods."""
687
 
        
 
709
        """
 
710
        Processes a Yaml string. Custom tags are interpreted by 'process_' instance methods.
 
711
        """
688
712
        is_preceded_by_comment = False
689
713
        for node in yaml.load(yaml_string):
690
714
            is_preceded_by_comment = self._log(node, is_preceded_by_comment)
694
718
                self.logger.log(logging.ERROR, e)
695
719
            except YamlImportAbortion, e:
696
720
                self.logger.log(logging.ERROR, e)
 
721
                self.cr.rollback()
697
722
                return
 
723
            except Exception, e:
 
724
                self.cr.rollback()
 
725
                raise e
698
726
    
699
727
    def _process_node(self, node):
700
728
        if is_comment(node):
729
757
                self.process_function(node)
730
758
            else:
731
759
                self.process_function({node: []})
 
760
        elif node is None:
 
761
            self.process_none()
732
762
        else:
733
763
            raise YamlImportException("Can not process YAML block: %s" % node)
734
764