← Back to branch summary

~james-page/ubuntu/precise/nodejs/test-timeout

« back to all changes in this revision

Viewing changes to tools/closure_linter/closure_linter/common/tokens.py

  • Committer: Bazaar Package Importer
  • Author(s): Fabrice Coutadeur
  • Date: 2011-06-30 07:03:44 UTC
  • mfrom: (7.1.13 sid)
  • Revision ID: james.westby@ubuntu.com-20110630070344-5928xvhb3ddw5adb
Tags: 0.4.9-1ubuntu1
https://launchpad.net/bugs/786428
* Merge from Debian unstable (LP: #786428). Remaining changes:
  - debian/patches/2007_remove_internet_test.patch: Remove test which requires
    internet connection

Show diffs side-by-side

added added

removed removed

Lines of Context:
tools/closure_linter/closure_linter/common/tokens.py
 
1
#!/usr/bin/env python
 
2
#
 
3
# Copyright 2008 The Closure Linter Authors. All Rights Reserved.
 
4
#
 
5
# Licensed under the Apache License, Version 2.0 (the "License");
 
6
# you may not use this file except in compliance with the License.
 
7
# You may obtain a copy of the License at
 
8
#
 
9
#      http://www.apache.org/licenses/LICENSE-2.0
 
10
#
 
11
# Unless required by applicable law or agreed to in writing, software
 
12
# distributed under the License is distributed on an "AS-IS" BASIS,
 
13
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 
14
# See the License for the specific language governing permissions and
 
15
# limitations under the License.
 
16
 
 
17
"""Classes to represent tokens and positions within them."""
 
18
 
 
19
__author__ = ('robbyw@google.com (Robert Walker)',
 
20
              'ajp@google.com (Andy Perelson)')
 
21
 
 
22
 
 
23
class TokenType(object):
 
24
  """Token types common to all languages."""
 
25
  NORMAL = 'normal'
 
26
  WHITESPACE = 'whitespace'
 
27
  BLANK_LINE = 'blank line'
 
28
 
 
29
 
 
30
class Token(object):
 
31
  """Token class for intelligent text splitting.
 
32
 
 
33
  The token class represents a string of characters and an identifying type.
 
34
 
 
35
  Attributes:
 
36
    type: The type of token.
 
37
    string: The characters the token comprises.
 
38
    length: The length of the token.
 
39
    line: The text of the line the token is found in.
 
40
    line_number: The number of the line the token is found in.
 
41
    values: Dictionary of values returned from the tokens regex match.
 
42
    previous: The token before this one.
 
43
    next: The token after this one.
 
44
    start_index: The character index in the line where this token starts.
 
45
    attached_object: Object containing more information about this token.
 
46
    metadata: Object containing metadata about this token.  Must be added by
 
47
        a separate metadata pass.
 
48
  """
 
49
 
 
50
  def __init__(self, string, token_type, line, line_number, values=None):
 
51
    """Creates a new Token object.
 
52
 
 
53
    Args:
 
54
      string: The string of input the token contains.
 
55
      token_type: The type of token.
 
56
      line: The text of the line this token is in.
 
57
      line_number: The line number of the token.
 
58
      values: A dict of named values within the token.  For instance, a
 
59
        function declaration may have a value called 'name' which captures the
 
60
        name of the function.
 
61
    """
 
62
    self.type = token_type
 
63
    self.string = string
 
64
    self.length = len(string)
 
65
    self.line = line
 
66
    self.line_number = line_number
 
67
    self.values = values
 
68
 
 
69
    # These parts can only be computed when the file is fully tokenized
 
70
    self.previous = None
 
71
    self.next = None
 
72
    self.start_index = None
 
73
 
 
74
    # This part is set in statetracker.py
 
75
    # TODO(robbyw): Wrap this in to metadata
 
76
    self.attached_object = None
 
77
 
 
78
    # This part is set in *metadatapass.py
 
79
    self.metadata = None
 
80
 
 
81
  def IsFirstInLine(self):
 
82
    """Tests if this token is the first token in its line.
 
83
 
 
84
    Returns:
 
85
      Whether the token is the first token in its line.
 
86
    """
 
87
    return not self.previous or self.previous.line_number != self.line_number
 
88
 
 
89
  def IsLastInLine(self):
 
90
    """Tests if this token is the last token in its line.
 
91
 
 
92
    Returns:
 
93
      Whether the token is the last token in its line.
 
94
    """
 
95
    return not self.next or self.next.line_number != self.line_number
 
96
 
 
97
  def IsType(self, token_type):
 
98
    """Tests if this token is of the given type.
 
99
 
 
100
    Args:
 
101
      token_type: The type to test for.
 
102
 
 
103
    Returns:
 
104
      True if the type of this token matches the type passed in.
 
105
    """
 
106
    return self.type == token_type
 
107
 
 
108
  def IsAnyType(self, *token_types):
 
109
    """Tests if this token is any of the given types.
 
110
 
 
111
    Args:
 
112
      token_types: The types to check.  Also accepts a single array.
 
113
 
 
114
    Returns:
 
115
      True if the type of this token is any of the types passed in.
 
116
    """
 
117
    if not isinstance(token_types[0], basestring):
 
118
      return self.type in token_types[0]
 
119
    else:
 
120
      return self.type in token_types
 
121
 
 
122
  def __repr__(self):
 
123
    return '<Token: %s, "%s", %r, %d, %r>' % (self.type, self.string,
 
124
                                              self.values, self.line_number,
 
125
                                              self.metadata)