← Back to branch summary

~ubuntu-branches/ubuntu/gutsy/poco/gutsy

« back to all changes in this revision

Viewing changes to Foundation/src/StreamTokenizer.cpp

  • Committer: Bazaar Package Importer
  • Author(s): Krzysztof Burghardt
  • Date: 2007-04-27 18:33:48 UTC
  • Revision ID: james.westby@ubuntu.com-20070427183348-xgnpct0qd6a2ip34
Tags: upstream-1.2.9
Import upstream version 1.2.9

Show diffs side-by-side

added added

removed removed

Lines of Context:
Foundation/src/StreamTokenizer.cpp
 
1
//
 
2
// StreamTokenizer.cpp
 
3
//
 
4
// $Id: //poco/1.2/Foundation/src/StreamTokenizer.cpp#1 $
 
5
//
 
6
// Library: Foundation
 
7
// Package: Streams
 
8
// Module:  StreamTokenizer
 
9
//
 
10
// Copyright (c) 2004-2006, Applied Informatics Software Engineering GmbH.
 
11
// and Contributors.
 
12
//
 
13
// Permission is hereby granted, free of charge, to any person or organization
 
14
// obtaining a copy of the software and accompanying documentation covered by
 
15
// this license (the "Software") to use, reproduce, display, distribute,
 
16
// execute, and transmit the Software, and to prepare derivative works of the
 
17
// Software, and to permit third-parties to whom the Software is furnished to
 
18
// do so, all subject to the following:
 
19
// 
 
20
// The copyright notices in the Software and this entire statement, including
 
21
// the above license grant, this restriction and the following disclaimer,
 
22
// must be included in all copies of the Software, in whole or in part, and
 
23
// all derivative works of the Software, unless such copies or derivative
 
24
// works are solely in the form of machine-executable object code generated by
 
25
// a source language processor.
 
26
// 
 
27
// THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
 
28
// IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
 
29
// FITNESS FOR A PARTICULAR PURPOSE, TITLE AND NON-INFRINGEMENT. IN NO EVENT
 
30
// SHALL THE COPYRIGHT HOLDERS OR ANYONE DISTRIBUTING THE SOFTWARE BE LIABLE
 
31
// FOR ANY DAMAGES OR OTHER LIABILITY, WHETHER IN CONTRACT, TORT OR OTHERWISE,
 
32
// ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
 
33
// DEALINGS IN THE SOFTWARE.
 
34
//
 
35
 
 
36
 
 
37
#include "Poco/StreamTokenizer.h"
 
38
 
 
39
 
 
40
namespace Poco {
 
41
 
 
42
 
 
43
StreamTokenizer::StreamTokenizer():
 
44
        _pIstr(0)
 
45
{
 
46
}
 
47
 
 
48
 
 
49
StreamTokenizer::StreamTokenizer(std::istream& istr):
 
50
        _pIstr(&istr)
 
51
{
 
52
}
 
53
 
 
54
 
 
55
StreamTokenizer::~StreamTokenizer()
 
56
{
 
57
        for (TokenVec::iterator it = _tokens.begin(); it != _tokens.end(); ++it)
 
58
        {
 
59
                delete it->pToken;
 
60
        }
 
61
}
 
62
 
 
63
 
 
64
void StreamTokenizer::attachToStream(std::istream& istr)
 
65
{
 
66
        _pIstr = &istr;
 
67
}
 
68
 
 
69
 
 
70
void StreamTokenizer::addToken(Token* pToken)
 
71
{
 
72
        poco_check_ptr (pToken);
 
73
 
 
74
        TokenInfo ti;
 
75
        ti.pToken = pToken;
 
76
        ti.ignore = (pToken->tokenClass() == Token::COMMENT_TOKEN || pToken->tokenClass() == Token::WHITESPACE_TOKEN);
 
77
        _tokens.push_back(ti);
 
78
}
 
79
 
 
80
 
 
81
void StreamTokenizer::addToken(Token* pToken, bool ignore)
 
82
{
 
83
        poco_check_ptr (pToken);
 
84
 
 
85
        TokenInfo ti;
 
86
        ti.pToken = pToken;
 
87
        ti.ignore = ignore;
 
88
        _tokens.push_back(ti);
 
89
}
 
90
 
 
91
        
 
92
const Token* StreamTokenizer::next()
 
93
{
 
94
        poco_check_ptr (_pIstr);
 
95
        
 
96
        static const int eof = std::char_traits<char>::eof();
 
97
 
 
98
        int first = _pIstr->get();
 
99
        TokenVec::const_iterator it = _tokens.begin();
 
100
        while (first != eof && it != _tokens.end())
 
101
        {
 
102
                const TokenInfo& ti = *it;
 
103
                if (ti.pToken->start((char) first, *_pIstr))
 
104
                {
 
105
                        ti.pToken->finish(*_pIstr);
 
106
                        if (ti.ignore) 
 
107
                        {
 
108
                                first = _pIstr->get();
 
109
                                it = _tokens.begin();
 
110
                        }
 
111
                        else return ti.pToken;
 
112
                }
 
113
                else ++it;
 
114
        }
 
115
        if (first == eof)
 
116
        {
 
117
                return &_eofToken;
 
118
        }
 
119
        else
 
120
        {
 
121
                _invalidToken.start((char) first, *_pIstr);
 
122
                return &_invalidToken;
 
123
        }
 
124
}
 
125
 
 
126
 
 
127
} // namespace Poco