~ubuntu-branches/ubuntu/raring/sunpinyin/raring

« back to all changes in this revision

Viewing changes to src/slm/sim_fmerge.h

  • Committer: Package Import Robot
  • Author(s): YunQiang Su
  • Date: 2012-03-30 15:31:55 UTC
  • mfrom: (1.1.3) (1.2.7 sid)
  • Revision ID: package-import@ubuntu.com-20120330153155-qgls77sogzgtg9zp
Tags: 2.0.3+git20120222-1
* Team upload: git snapshot 20120222.
   - fix breaks if LDFLAGS in environment contains
       multiple words (Closese #646001).
   - rm patches merged to upstream:
       append-os-environ-toenv.patch
       fix-ftbfs-on-sh.patch
       remove-10-candidate-words-limitation.patch
   - refresh disable-lm-dict-compile.patch.
* Bump stardard version to 3.9.3: no modify needed.
* add libsunpinyin3-dbg and python-sunpinyin packages.
* debian/compat to 9, multiarch it.
* rewrite debian/rules with dh 7 format.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
/*
2
2
 * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS HEADER.
3
 
 * 
 
3
 *
4
4
 * Copyright (c) 2007 Sun Microsystems, Inc. All Rights Reserved.
5
 
 * 
 
5
 *
6
6
 * The contents of this file are subject to the terms of either the GNU Lesser
7
7
 * General Public License Version 2.1 only ("LGPL") or the Common Development and
8
8
 * Distribution License ("CDDL")(collectively, the "License"). You may not use this
9
9
 * file except in compliance with the License. You can obtain a copy of the CDDL at
10
10
 * http://www.opensource.org/licenses/cddl1.php and a copy of the LGPLv2.1 at
11
 
 * http://www.opensource.org/licenses/lgpl-license.php. See the License for the 
 
11
 * http://www.opensource.org/licenses/lgpl-license.php. See the License for the
12
12
 * specific language governing permissions and limitations under the License. When
13
13
 * distributing the software, include this License Header Notice in each file and
14
14
 * include the full text of the License in the License file as well as the
15
15
 * following notice:
16
 
 * 
 
16
 *
17
17
 * NOTICE PURSUANT TO SECTION 9 OF THE COMMON DEVELOPMENT AND DISTRIBUTION LICENSE
18
18
 * (CDDL)
19
19
 * For Covered Software in this distribution, this License shall be governed by the
21
21
 * Any litigation relating to this License shall be subject to the jurisdiction of
22
22
 * the Federal Courts of the Northern District of California and the state courts
23
23
 * of the State of California, with venue lying in Santa Clara County, California.
24
 
 * 
 
24
 *
25
25
 * Contributor(s):
26
 
 * 
 
26
 *
27
27
 * If you wish your version of this file to be governed by only the CDDL or only
28
28
 * the LGPL Version 2.1, indicate your decision by adding "[Contributor]" elects to
29
29
 * include this software in this distribution under the [CDDL or LGPL Version 2.1]
32
32
 * Version 2.1, or to extend the choice of license to its licensees as provided
33
33
 * above. However, if you add LGPL Version 2.1 code and therefore, elected the LGPL
34
34
 * Version 2 license, then the option applies only if the new code is made subject
35
 
 * to such option by the copyright holder. 
 
35
 * to such option by the copyright holder.
36
36
 */
37
37
 
38
38
#ifndef _SIM_FILE_MERGE_H
66
66
    typedef typename TItemBuf::const_iterator TIBConstIterator;
67
67
 
68
68
    file_para(FILE* p_file, size_t start, size_t end)
69
 
        : fp(p_file), cur_offset(start), last_offset(end), runOut(false), buf() {}
70
 
 
71
 
    UnitAndParaInfo& operator*()
72
 
        {
73
 
            if (buf.size() == 0) {
74
 
                for (int i=0; i < BUF_SIZE; ++i)
75
 
                {
76
 
                    buf.push_back(UnitAndParaInfo());
77
 
                    UnitAndParaInfo& e = buf.back();
78
 
                    e.runOut = runOut = !(e.unit.read(fp, cur_offset, last_offset));
79
 
                    if (runOut) break;
80
 
                }
81
 
            }
82
 
            return buf.front();
83
 
        }
84
 
 
85
 
    file_para& operator++()
86
 
        {
87
 
            if (buf.size() == 0)
88
 
                this->operator*();
89
 
            buf.pop_front();
90
 
            return *this;
91
 
        }
92
 
 
93
 
    bool operator< (file_para& another)
94
 
        {
95
 
            const UnitAndParaInfo& me = this->operator*();
96
 
            const UnitAndParaInfo& you = *another;
97
 
            if (me.runOut){
98
 
                if (you.runOut)
99
 
                    return ((char*)&me < (char*)&you);
100
 
                else
101
 
                    return true;
102
 
            } else {
103
 
                if (you.runOut)
104
 
                    return false;
105
 
                else {
106
 
                    if (me.unit > you.unit) return true;
107
 
                    if (me.unit == you.unit) return ((char*)&me < (char*)&you);
108
 
                    return false;
109
 
                }
110
 
            }
111
 
        }
 
69
        : fp(p_file), runOut(false), cur_offset(start), last_offset(end),
 
70
          buf() {}
 
71
 
 
72
    UnitAndParaInfo& operator*(){
 
73
        if (buf.size() == 0) {
 
74
            for (int i = 0; i < BUF_SIZE; ++i) {
 
75
                buf.push_back(UnitAndParaInfo());
 
76
                UnitAndParaInfo& e = buf.back();
 
77
                e.runOut = runOut = !(e.unit.read(fp, cur_offset, last_offset));
 
78
                if (runOut) break;
 
79
            }
 
80
        }
 
81
        return buf.front();
 
82
    }
 
83
 
 
84
    file_para& operator++(){
 
85
        if (buf.size() == 0)
 
86
            this->operator*();
 
87
        buf.pop_front();
 
88
        return *this;
 
89
    }
 
90
 
 
91
    bool operator<(file_para& another){
 
92
        const UnitAndParaInfo& me = this->operator*();
 
93
        const UnitAndParaInfo& you = *another;
 
94
        if (me.runOut) {
 
95
            if (you.runOut)
 
96
                return((char *) &me < (char *) &you);
 
97
            else
 
98
                return true;
 
99
        } else {
 
100
            if (you.runOut)
 
101
                return false;
 
102
            else {
 
103
                if (me.unit > you.unit) return true;
 
104
                if (me.unit == you.unit) return((char *) &me < (char *) &you);
 
105
                return false;
 
106
            }
 
107
        }
 
108
    }
112
109
 
113
110
private:
114
 
    static const int BUF_SIZE=1024;
 
111
    static const int BUF_SIZE = 1024;
115
112
    FILE * fp;
116
113
    bool runOut;
117
114
    size_t cur_offset, last_offset;
122
119
class PtrCompare {
123
120
public:
124
121
    bool operator()(const PPara& p1, const PPara& p2)
125
 
        { return (*p1 < *p2); }
 
122
    { return(*p1 < *p2); }
126
123
};
127
124
 
128
125
template<class unit_type>
132
129
    typedef file_para<unit_type> TPara;
133
130
    typedef std::vector<TPara*> TParaVec;
134
131
 
135
 
    void addPara(FILE *fp, size_t first_offset, size_t last_offset)
136
 
        {
137
 
            paras.push_back(new TPara(fp, first_offset, last_offset));
138
 
        }
139
 
    void start()
140
 
        {
141
 
            std::make_heap(paras.begin(), paras.end(), PtrCompare<TPara*>());
142
 
        }
143
 
    TPara* getBest() //You then have to deal same items form different part
144
 
        {
145
 
            std::pop_heap(paras.begin(), paras.end(), PtrCompare<TPara*>());
146
 
            return paras.back();
147
 
        }
148
 
    void next()
149
 
        {
150
 
            ++(*(paras.back()));
151
 
            std::push_heap(paras.begin(), paras.end(), PtrCompare<TPara*>());
152
 
        }
153
 
    ~CMultiWayFileMerger() { for (int i=0; i < paras.size(); ++i) delete paras[i]; }
 
132
    void addPara(FILE *fp, size_t first_offset, size_t last_offset) {
 
133
        paras.push_back(new TPara(fp, first_offset, last_offset));
 
134
    }
 
135
 
 
136
    void start() {
 
137
        std::make_heap(paras.begin(), paras.end(), PtrCompare<TPara*>());
 
138
    }
 
139
    TPara* getBest(){ //You then have to deal same items form different part
 
140
        std::pop_heap(paras.begin(), paras.end(), PtrCompare<TPara*>());
 
141
        return paras.back();
 
142
    }
 
143
    void next(){
 
144
        ++(*(paras.back()));
 
145
        std::push_heap(paras.begin(), paras.end(), PtrCompare<TPara*>());
 
146
    }
 
147
    ~CMultiWayFileMerger() {
 
148
        for (size_t i = 0; i < paras.size(); i++) {
 
149
            delete paras[i];
 
150
        }
 
151
    }
154
152
private:
155
153
    TParaVec paras;
156
154
};