~snowball-yiddish-dev/snowball-yiddish/trunk

« back to all changes in this revision

Viewing changes to snowball/runtime/utilities.c

  • Committer: richard
  • Date: 2003-03-30 12:08:09 UTC
  • Revision ID: svn-v4:633ccae0-01f4-0310-8c99-d3591da6f01f:trunk:216
This module will contain only the code and build system, and documentation
for building and running the stemming library.
All sample data will be in a separate module, and the website will be in
its own module too.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
 
 
2
#include <stdio.h>
 
3
#include <stdlib.h>
 
4
#include <string.h>
 
5
 
 
6
#include "header.h"
 
7
 
 
8
#define unless(C) if(!(C))
 
9
 
 
10
#define CREATE_SIZE 1
 
11
 
 
12
extern symbol * create_s(void)
 
13
{   symbol * p = (symbol *) (HEAD + (char *) malloc(HEAD + (CREATE_SIZE + 1) * sizeof(symbol)));
 
14
    CAPACITY(p) = CREATE_SIZE;
 
15
    SET_SIZE(p, CREATE_SIZE);
 
16
    return p;
 
17
}
 
18
 
 
19
extern void lose_s(symbol * p) { free((char *) p - HEAD); }
 
20
 
 
21
extern int in_grouping(struct SN_env * z, unsigned char * s, int min, int max)
 
22
{   if (z->c >= z->l) return 0;
 
23
    {   int ch = z->p[z->c];
 
24
        if
 
25
        (ch > max || (ch -= min) < 0 ||
 
26
         (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0) return 0;
 
27
    }
 
28
    z->c++; return 1;
 
29
}
 
30
 
 
31
extern int in_grouping_b(struct SN_env * z, unsigned char * s, int min, int max)
 
32
{   if (z->c <= z->lb) return 0;
 
33
    {   int ch = z->p[z->c - 1];
 
34
        if
 
35
        (ch > max || (ch -= min) < 0 ||
 
36
         (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0) return 0;
 
37
    }
 
38
    z->c--; return 1;
 
39
}
 
40
 
 
41
extern int out_grouping(struct SN_env * z, unsigned char * s, int min, int max)
 
42
{   if (z->c >= z->l) return 0;
 
43
    {   int ch = z->p[z->c];
 
44
        unless
 
45
        (ch > max || (ch -= min) < 0 ||
 
46
         (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0) return 0;
 
47
    }
 
48
    z->c++; return 1;
 
49
}
 
50
 
 
51
extern int out_grouping_b(struct SN_env * z, unsigned char * s, int min, int max)
 
52
{   if (z->c <= z->lb) return 0;
 
53
    {   int ch = z->p[z->c - 1];
 
54
        unless
 
55
        (ch > max || (ch -= min) < 0 ||
 
56
         (s[ch >> 3] & (0X1 << (ch & 0X7))) == 0) return 0;
 
57
    }
 
58
    z->c--; return 1;
 
59
}
 
60
 
 
61
 
 
62
extern int in_range(struct SN_env * z, int min, int max)
 
63
{   if (z->c >= z->l) return 0;
 
64
    {   int ch = z->p[z->c];
 
65
        if
 
66
        (ch > max || ch < min) return 0;
 
67
    }
 
68
    z->c++; return 1;
 
69
}
 
70
 
 
71
extern int in_range_b(struct SN_env * z, int min, int max)
 
72
{   if (z->c <= z->lb) return 0;
 
73
    {   int ch = z->p[z->c - 1];
 
74
        if
 
75
        (ch > max || ch < min) return 0;
 
76
    }
 
77
    z->c--; return 1;
 
78
}
 
79
 
 
80
extern int out_range(struct SN_env * z, int min, int max)
 
81
{   if (z->c >= z->l) return 0;
 
82
    {   int ch = z->p[z->c];
 
83
        unless
 
84
        (ch > max || ch < min) return 0;
 
85
    }
 
86
    z->c++; return 1;
 
87
}
 
88
 
 
89
extern int out_range_b(struct SN_env * z, int min, int max)
 
90
{   if (z->c <= z->lb) return 0;
 
91
    {   int ch = z->p[z->c - 1];
 
92
        unless
 
93
        (ch > max || ch < min) return 0;
 
94
    }
 
95
    z->c--; return 1;
 
96
}
 
97
 
 
98
extern int eq_s(struct SN_env * z, int s_size, symbol * s)
 
99
{   if (z->l - z->c < s_size ||
 
100
        memcmp(z->p + z->c, s, s_size * sizeof(symbol)) != 0) return 0;
 
101
    z->c += s_size; return 1;
 
102
}
 
103
 
 
104
extern int eq_s_b(struct SN_env * z, int s_size, symbol * s)
 
105
{   if (z->c - z->lb < s_size ||
 
106
        memcmp(z->p + z->c - s_size, s, s_size * sizeof(symbol)) != 0) return 0;
 
107
    z->c -= s_size; return 1;
 
108
}
 
109
 
 
110
extern int eq_v(struct SN_env * z, symbol * p)
 
111
{   return eq_s(z, SIZE(p), p);
 
112
}
 
113
 
 
114
extern int eq_v_b(struct SN_env * z, symbol * p)
 
115
{   return eq_s_b(z, SIZE(p), p);
 
116
}
 
117
 
 
118
extern int find_among(struct SN_env * z, struct among * v, int v_size)
 
119
{
 
120
    int i = 0;
 
121
    int j = v_size;
 
122
 
 
123
    int c = z->c; int l = z->l;
 
124
    symbol * q = z->p + c;
 
125
 
 
126
    struct among * w;
 
127
 
 
128
    int common_i = 0;
 
129
    int common_j = 0;
 
130
 
 
131
    int first_key_inspected = 0;
 
132
 
 
133
    while(1)
 
134
    {   int k = i + ((j - i) >> 1);
 
135
        int diff = 0;
 
136
        int common = common_i < common_j ? common_i : common_j; /* smaller */
 
137
        w = v + k;
 
138
        {   int i; for (i = common; i < w->s_size; i++)
 
139
            {   if (c + common == l) { diff = -1; break; }
 
140
                diff = q[common] - w->s[i];
 
141
                if (diff != 0) break;
 
142
                common++;
 
143
            }
 
144
        }
 
145
        if (diff < 0) { j = k; common_j = common; }
 
146
                 else { i = k; common_i = common; }
 
147
        if (j - i <= 1)
 
148
        {   if (i > 0) break; /* v->s has been inspected */
 
149
            if (j == i) break; /* only one item in v */
 
150
 
 
151
            /* - but now we need to go round once more to get
 
152
               v->s inspected. This looks messy, but is actually
 
153
               the optimal approach.  */
 
154
 
 
155
            if (first_key_inspected) break;
 
156
            first_key_inspected = 1;
 
157
        }
 
158
    }
 
159
    while(1)
 
160
    {   w = v + i;
 
161
        if (common_i >= w->s_size)
 
162
        {   z->c = c + w->s_size;
 
163
            if (w->function == 0) return w->result;
 
164
            {   int res = w->function(z);
 
165
                z->c = c + w->s_size;
 
166
                if (res) return w->result;
 
167
            }
 
168
        }
 
169
        i = w->substring_i;
 
170
        if (i < 0) return 0;
 
171
    }
 
172
}
 
173
 
 
174
/* find_among_b is for backwards processing. Same comments apply */
 
175
 
 
176
extern int find_among_b(struct SN_env * z, struct among * v, int v_size)
 
177
{
 
178
    int i = 0;
 
179
    int j = v_size;
 
180
 
 
181
    int c = z->c; int lb = z->lb;
 
182
    symbol * q = z->p + c - 1;
 
183
 
 
184
    struct among * w;
 
185
 
 
186
    int common_i = 0;
 
187
    int common_j = 0;
 
188
 
 
189
    int first_key_inspected = 0;
 
190
 
 
191
    while(1)
 
192
    {   int k = i + ((j - i) >> 1);
 
193
        int diff = 0;
 
194
        int common = common_i < common_j ? common_i : common_j;
 
195
        w = v + k;
 
196
        {   int i; for (i = w->s_size - 1 - common; i >= 0; i--)
 
197
            {   if (c - common == lb) { diff = -1; break; }
 
198
                diff = q[- common] - w->s[i];
 
199
                if (diff != 0) break;
 
200
                common++;
 
201
            }
 
202
        }
 
203
        if (diff < 0) { j = k; common_j = common; }
 
204
                 else { i = k; common_i = common; }
 
205
        if (j - i <= 1)
 
206
        {   if (i > 0) break;
 
207
            if (j == i) break;
 
208
            if (first_key_inspected) break;
 
209
            first_key_inspected = 1;
 
210
        }
 
211
    }
 
212
    while(1)
 
213
    {   w = v + i;
 
214
        if (common_i >= w->s_size)
 
215
        {   z->c = c - w->s_size;
 
216
            if (w->function == 0) return w->result;
 
217
            {   int res = w->function(z);
 
218
                z->c = c - w->s_size;
 
219
                if (res) return w->result;
 
220
            }
 
221
        }
 
222
        i = w->substring_i;
 
223
        if (i < 0) return 0;
 
224
    }
 
225
}
 
226
 
 
227
 
 
228
extern symbol * increase_size(symbol * p, int n)
 
229
{   int new_size = n + 20;
 
230
    symbol * q = (symbol *) (HEAD + (char *) malloc(HEAD + (new_size + 1) * sizeof(symbol)));
 
231
    CAPACITY(q) = new_size;
 
232
    memmove(q, p, CAPACITY(p) * sizeof(symbol)); lose_s(p); return q;
 
233
}
 
234
 
 
235
/* to replace symbols between c_bra and c_ket in z->p by the
 
236
   s_size symbols at s
 
237
*/
 
238
 
 
239
extern int replace_s(struct SN_env * z, int c_bra, int c_ket, int s_size, const symbol * s)
 
240
{   int adjustment = s_size - (c_ket - c_bra);
 
241
    int len = SIZE(z->p);
 
242
    if (adjustment != 0)
 
243
    {   if (adjustment + len > CAPACITY(z->p)) z->p = increase_size(z->p, adjustment + len);
 
244
        memmove(z->p + c_ket + adjustment, z->p + c_ket, (len - c_ket) * sizeof(symbol));
 
245
        SET_SIZE(z->p, adjustment + len);
 
246
        z->l += adjustment;
 
247
        if (z->c >= c_ket) z->c += adjustment; else
 
248
            if (z->c > c_bra) z->c = c_bra;
 
249
    }
 
250
    unless (s_size == 0) memmove(z->p + c_bra, s, s_size * sizeof(symbol));
 
251
    return adjustment;
 
252
}
 
253
 
 
254
static void slice_check(struct SN_env * z)
 
255
{
 
256
    if (!(0 <= z->bra &&
 
257
          z->bra <= z->ket &&
 
258
          z->ket <= z->l &&
 
259
          z->l <= SIZE(z->p)))   /* this line could be removed */
 
260
    {
 
261
        fprintf(stderr, "faulty slice operation:\n");
 
262
        debug(z, -1, 0);
 
263
        exit(1);
 
264
    }
 
265
}
 
266
 
 
267
extern void slice_from_s(struct SN_env * z, int s_size, symbol * s)
 
268
{   slice_check(z);
 
269
    replace_s(z, z->bra, z->ket, s_size, s);
 
270
}
 
271
 
 
272
extern void slice_from_v(struct SN_env * z, symbol * p)
 
273
{   slice_from_s(z, SIZE(p), p);
 
274
}
 
275
 
 
276
extern void slice_del(struct SN_env * z)
 
277
{   slice_from_s(z, 0, 0);
 
278
}
 
279
 
 
280
extern void insert_s(struct SN_env * z, int bra, int ket, int s_size, symbol * s)
 
281
{   int adjustment = replace_s(z, bra, ket, s_size, s);
 
282
    if (bra <= z->bra) z->bra += adjustment;
 
283
    if (bra <= z->ket) z->ket += adjustment;
 
284
}
 
285
 
 
286
extern void insert_v(struct SN_env * z, int bra, int ket, symbol * p)
 
287
{   int adjustment = replace_s(z, bra, ket, SIZE(p), p);
 
288
    if (bra <= z->bra) z->bra += adjustment;
 
289
    if (bra <= z->ket) z->ket += adjustment;
 
290
}
 
291
 
 
292
extern symbol * slice_to(struct SN_env * z, symbol * p)
 
293
{   slice_check(z);
 
294
    {   int len = z->ket - z->bra;
 
295
        if (CAPACITY(p) < len) p = increase_size(p, len);
 
296
        memmove(p, z->p + z->bra, len * sizeof(symbol));
 
297
        SET_SIZE(p, len);
 
298
    }
 
299
    return p;
 
300
}
 
301
 
 
302
extern symbol * assign_to(struct SN_env * z, symbol * p)
 
303
{   int len = z->l;
 
304
    if (CAPACITY(p) < len) p = increase_size(p, len);
 
305
    memmove(p, z->p, len * sizeof(symbol));
 
306
    SET_SIZE(p, len);
 
307
    return p;
 
308
}
 
309
 
 
310
extern void debug(struct SN_env * z, int number, int line_count)
 
311
{   int i;
 
312
    int limit = SIZE(z->p);
 
313
    /*if (number >= 0) printf("%3d (line %4d): '", number, line_count);*/
 
314
    if (number >= 0) printf("%3d (line %4d): [%d]'", number, line_count,limit);
 
315
    for (i = 0; i <= limit; i++)
 
316
    {   if (z->lb == i) printf("{");
 
317
        if (z->bra == i) printf("[");
 
318
        if (z->c == i) printf("|");
 
319
        if (z->ket == i) printf("]");
 
320
        if (z->l == i) printf("}");
 
321
        if (i < limit)
 
322
        {   int ch = z->p[i];
 
323
            if (ch == 0) ch = '#';
 
324
            printf("%c", ch);
 
325
        }
 
326
    }
 
327
    printf("'\n");
 
328
}