← Back to branch summary

~ubuntu-branches/ubuntu/quantal/sunpinyin/quantal

« back to all changes in this revision

Viewing changes to src/slm/sim_sen.h

  • Committer: Package Import Robot
  • Author(s): YunQiang Su
  • Date: 2012-03-30 15:31:55 UTC
  • mfrom: (1.1.3) (1.2.7 sid)
  • Revision ID: package-import@ubuntu.com-20120330153155-qgls77sogzgtg9zp
Tags: 2.0.3+git20120222-1
* Team upload: git snapshot 20120222.
   - fix breaks if LDFLAGS in environment contains
       multiple words (Closese #646001).
   - rm patches merged to upstream:
       append-os-environ-toenv.patch
       fix-ftbfs-on-sh.patch
       remove-10-candidate-words-limitation.patch
   - refresh disable-lm-dict-compile.patch.
* Bump stardard version to 3.9.3: no modify needed.
* add libsunpinyin3-dbg and python-sunpinyin packages.
* debian/compat to 9, multiarch it.
* rewrite debian/rules with dh 7 format.

Show diffs side-by-side

added added

removed removed

Lines of Context:
src/slm/sim_sen.h
1
1
/*
2
2
 * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS HEADER.
3
 
 * 
 
3
 *
4
4
 * Copyright (c) 2007 Sun Microsystems, Inc. All Rights Reserved.
5
 
 * 
 
5
 *
6
6
 * The contents of this file are subject to the terms of either the GNU Lesser
7
7
 * General Public License Version 2.1 only ("LGPL") or the Common Development and
8
8
 * Distribution License ("CDDL")(collectively, the "License"). You may not use this
9
9
 * file except in compliance with the License. You can obtain a copy of the CDDL at
10
10
 * http://www.opensource.org/licenses/cddl1.php and a copy of the LGPLv2.1 at
11
 
 * http://www.opensource.org/licenses/lgpl-license.php. See the License for the 
 
11
 * http://www.opensource.org/licenses/lgpl-license.php. See the License for the
12
12
 * specific language governing permissions and limitations under the License. When
13
13
 * distributing the software, include this License Header Notice in each file and
14
14
 * include the full text of the License in the License file as well as the
15
15
 * following notice:
16
 
 * 
 
16
 *
17
17
 * NOTICE PURSUANT TO SECTION 9 OF THE COMMON DEVELOPMENT AND DISTRIBUTION LICENSE
18
18
 * (CDDL)
19
19
 * For Covered Software in this distribution, this License shall be governed by the
21
21
 * Any litigation relating to this License shall be subject to the jurisdiction of
22
22
 * the Federal Courts of the Northern District of California and the state courts
23
23
 * of the State of California, with venue lying in Santa Clara County, California.
24
 
 * 
 
24
 *
25
25
 * Contributor(s):
26
 
 * 
 
26
 *
27
27
 * If you wish your version of this file to be governed by only the CDDL or only
28
28
 * the LGPL Version 2.1, indicate your decision by adding "[Contributor]" elects to
29
29
 * include this software in this distribution under the [CDDL or LGPL Version 2.1]
32
32
 * Version 2.1, or to extend the choice of license to its licensees as provided
33
33
 * above. However, if you add LGPL Version 2.1 code and therefore, elected the LGPL
34
34
 * Version 2 license, then the option applies only if the new code is made subject
35
 
 * to such option by the copyright holder. 
 
35
 * to such option by the copyright holder.
36
36
 */
37
37
 
38
38
#ifndef _SIM_SENTENCIZER_H
45
45
 
46
46
class CSIMCharReader;
47
47
 
48
 
class SIMCharReaderIterator{
 
48
class SIMCharReaderIterator {
49
49
public:
50
 
        SIMCharReaderIterator(CSIMCharReader* the_reader=NULL, int the_idx = 0)
51
 
                : reader(the_reader), idx(the_idx) { }
52
 
        SIMCharReaderIterator& operator++();
53
 
        SIMCharReaderIterator  operator+(int i);
54
 
        TWCHAR & operator*() const;
 
50
    SIMCharReaderIterator(CSIMCharReader* the_reader = NULL, int the_idx = 0)
 
51
        : reader(the_reader), idx(the_idx) { }
 
52
    SIMCharReaderIterator& operator++();
 
53
    SIMCharReaderIterator operator+(int i);
 
54
    TWCHAR & operator*() const;
55
55
 
56
56
private:
57
 
        int idx;
58
 
        CSIMCharReader* reader;
 
57
    CSIMCharReader* reader;
 
58
    int idx;
59
59
};
60
60
 
61
61
class CSIMCharReader {
62
 
        friend class SIMCharReaderIterator;
63
 
 
64
 
public:
65
 
        typedef SIMCharReaderIterator iterator;
66
 
 
67
 
public:
68
 
        CSIMCharReader(FILE* afp) : fp(afp), buf() { }
69
 
        iterator begin() { return iterator(this, 0); }
 
62
    friend class SIMCharReaderIterator;
 
63
 
 
64
public:
 
65
    typedef SIMCharReaderIterator iterator;
 
66
 
 
67
public:
 
68
    CSIMCharReader(FILE* afp) : fp(afp), buf() { }
 
69
    iterator begin() { return iterator(this, 0); }
70
70
 
71
71
private:
72
 
        FILE *fp;
73
 
        std::deque<TWCHAR> buf;
 
72
    FILE *fp;
 
73
    std::deque<TWCHAR> buf;
74
74
};
75
75
 
76
76
template <class iterator>
77
 
bool ReadSentence(wstring& wstr, iterator& first, bool bIgnoreCRLF=false)
78
 
{
 
77
bool ReadSentence(wstring& wstr, iterator& first, bool bIgnoreCRLF = false){
79
78
    wstr.clear();
80
79
    TWCHAR ch, chnext, ch2;
81
80
    int brk = 0;
82
 
    for (; (ch=*first) != WCH_NULL; ++first) {
83
 
        chnext = *(first+1);
84
 
        ch2 = *(first+2);
 
81
    for (; (ch = *first) != WCH_NULL; ++first) {
 
82
        chnext = *(first + 1);
 
83
        ch2 = *(first + 2);
85
84
        if ((ch == WCH_RETURN) && bIgnoreCRLF && (chnext != WCH_RETURN))
86
85
            continue;
87
86
        if (ch == WCH_JUHAO || ch == WCH_WENHAO || ch == WCH_TANHAO ||
88
 
                ch == WCH_TANHAO || ch == WCH_SHENGLUEHAO)
 
87
            ch == WCH_TANHAO || ch == WCH_SHENGLUEHAO)
89
88
            brk = 1;
90
89
        else if (ch == WCH_DOUHAO && chnext == WCH_DOUHAO)
91
90
            brk = 1;
106
105
        do {
107
106
            wstr.push_back(*first);
108
107
            ch = *(++first);
109
 
        }while (ch == WCH_SPACE || ch == WCH_TAB || ch == WCH_RETURN);
 
108
        } while (ch == WCH_SPACE || ch == WCH_TAB || ch == WCH_RETURN);
110
109
    } else if (brk == 1) {
111
110
        do {
112
111
            wstr.push_back(*first);
114
113
        } while (ch == WCH_JUHAO || ch == WCH_WENHAO || ch == WCH_TANHAO ||
115
114
                 ch == WCH_FENHAO || ch == WCH_MAOHAO || ch == WCH_SHENGLUEHAO);
116
115
    }
117
 
    return (wstr.size() > 0);
 
116
    return(wstr.size() > 0);
118
117
}
119
118
 
120
119
#endif