← Back to branch summary

~slub.team/goobi-indexserver/3.x

« back to all changes in this revision

Viewing changes to lucene/backwards/src/test/org/apache/lucene/index/TestMultiLevelSkipList.java

  • Committer: Sebastian Meyer
  • Date: 2012-08-03 09:12:40 UTC
  • Revision ID: sebastian.meyer@slub-dresden.de-20120803091240-x6861b0vabq1xror
https://launchpad.net/bugs/985487
Remove Lucene and Solr source code and add patches instead
Fix Bug #985487: Auto-suggestion for the search interface

Show diffs side-by-side

added added

removed removed

Lines of Context:
lucene/backwards/src/test/org/apache/lucene/index/TestMultiLevelSkipList.java
1
 
package org.apache.lucene.index;
2
 
 
3
 
/**
4
 
 * Licensed to the Apache Software Foundation (ASF) under one or more
5
 
 * contributor license agreements.  See the NOTICE file distributed with
6
 
 * this work for additional information regarding copyright ownership.
7
 
 * The ASF licenses this file to You under the Apache License, Version 2.0
8
 
 * (the "License"); you may not use this file except in compliance with
9
 
 * the License.  You may obtain a copy of the License at
10
 
 *
11
 
 *     http://www.apache.org/licenses/LICENSE-2.0
12
 
 *
13
 
 * Unless required by applicable law or agreed to in writing, software
14
 
 * distributed under the License is distributed on an "AS IS" BASIS,
15
 
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16
 
 * See the License for the specific language governing permissions and
17
 
 * limitations under the License.
18
 
 */
19
 
 
20
 
import java.io.IOException;
21
 
import java.io.Reader;
22
 
 
23
 
import org.apache.lucene.analysis.Analyzer;
24
 
import org.apache.lucene.analysis.LowerCaseTokenizer;
25
 
import org.apache.lucene.analysis.TokenFilter;
26
 
import org.apache.lucene.analysis.TokenStream;
27
 
import org.apache.lucene.analysis.tokenattributes.PayloadAttribute;
28
 
import org.apache.lucene.document.Document;
29
 
import org.apache.lucene.document.Field.Index;
30
 
import org.apache.lucene.document.Field.Store;
31
 
import org.apache.lucene.store.IndexInput;
32
 
import org.apache.lucene.store.RAMDirectory;
33
 
import org.apache.lucene.util.LuceneTestCase;
34
 
 
35
 
/**
36
 
 * This testcase tests whether multi-level skipping is being used
37
 
 * to reduce I/O while skipping through posting lists.
38
 
 * 
39
 
 * Skipping in general is already covered by several other
40
 
 * testcases.
41
 
 * 
42
 
 */
43
 
public class TestMultiLevelSkipList extends LuceneTestCase {
44
 
  @Override
45
 
  public void setUp() throws Exception {
46
 
    super.setUp();
47
 
    PayloadFilter.count = 0;
48
 
  }
49
 
 
50
 
  public void testSimpleSkip() throws IOException {
51
 
    RAMDirectory dir = new RAMDirectory();
52
 
    IndexWriter writer = new IndexWriter(dir, newIndexWriterConfig(TEST_VERSION_CURRENT, new PayloadAnalyzer()).setMergePolicy(newLogMergePolicy()));
53
 
    Term term = new Term("test", "a");
54
 
    for (int i = 0; i < 5000; i++) {
55
 
      Document d1 = new Document();
56
 
      d1.add(newField(term.field(), term.text(), Store.NO, Index.ANALYZED));
57
 
      writer.addDocument(d1);
58
 
    }
59
 
    writer.commit();
60
 
    writer.optimize();
61
 
    writer.close();
62
 
 
63
 
    IndexReader reader = SegmentReader.getOnlySegmentReader(dir);
64
 
    SegmentTermPositions tp = (SegmentTermPositions) reader.termPositions();
65
 
    tp.freqStream = new CountingStream(tp.freqStream);
66
 
 
67
 
    for (int i = 0; i < 2; i++) {
68
 
      counter = 0;
69
 
      tp.seek(term);
70
 
 
71
 
      checkSkipTo(tp, 14, 185); // no skips
72
 
      checkSkipTo(tp, 17, 190); // one skip on level 0
73
 
      checkSkipTo(tp, 287, 200); // one skip on level 1, two on level 0
74
 
    
75
 
      // this test would fail if we had only one skip level,
76
 
      // because than more bytes would be read from the freqStream
77
 
      checkSkipTo(tp, 4800, 250);// one skip on level 2
78
 
    }
79
 
  }
80
 
 
81
 
  public void checkSkipTo(TermPositions tp, int target, int maxCounter) throws IOException {
82
 
    tp.skipTo(target);
83
 
    if (maxCounter < counter) {
84
 
      fail("Too many bytes read: " + counter + " vs " + maxCounter);
85
 
    }
86
 
 
87
 
    assertEquals("Wrong document " + tp.doc() + " after skipTo target " + target, target, tp.doc());
88
 
    assertEquals("Frequency is not 1: " + tp.freq(), 1,tp.freq());
89
 
    tp.nextPosition();
90
 
    byte[] b = new byte[1];
91
 
    tp.getPayload(b, 0);
92
 
    assertEquals("Wrong payload for the target " + target + ": " + b[0], (byte) target, b[0]);
93
 
  }
94
 
 
95
 
  private static class PayloadAnalyzer extends Analyzer {
96
 
    @Override
97
 
    public TokenStream tokenStream(String fieldName, Reader reader) {
98
 
      return new PayloadFilter(new LowerCaseTokenizer(TEST_VERSION_CURRENT, reader));
99
 
    }
100
 
 
101
 
  }
102
 
 
103
 
  private static class PayloadFilter extends TokenFilter {
104
 
    static int count = 0;
105
 
    
106
 
    PayloadAttribute payloadAtt;
107
 
    
108
 
    protected PayloadFilter(TokenStream input) {
109
 
      super(input);
110
 
      payloadAtt = addAttribute(PayloadAttribute.class);
111
 
    }
112
 
 
113
 
    @Override
114
 
    public boolean incrementToken() throws IOException {
115
 
      boolean hasNext = input.incrementToken();
116
 
      if (hasNext) {
117
 
        payloadAtt.setPayload(new Payload(new byte[] { (byte) count++ }));
118
 
      } 
119
 
      return hasNext;
120
 
    }
121
 
 
122
 
  }
123
 
 
124
 
  private int counter = 0;
125
 
 
126
 
  // Simply extends IndexInput in a way that we are able to count the number
127
 
  // of bytes read
128
 
  class CountingStream extends IndexInput {
129
 
    private IndexInput input;
130
 
 
131
 
    CountingStream(IndexInput input) {
132
 
      this.input = input;
133
 
    }
134
 
 
135
 
    @Override
136
 
    public byte readByte() throws IOException {
137
 
      TestMultiLevelSkipList.this.counter++;
138
 
      return this.input.readByte();
139
 
    }
140
 
 
141
 
    @Override
142
 
    public void readBytes(byte[] b, int offset, int len) throws IOException {
143
 
      TestMultiLevelSkipList.this.counter += len;
144
 
      this.input.readBytes(b, offset, len);
145
 
    }
146
 
 
147
 
    @Override
148
 
    public void close() throws IOException {
149
 
      this.input.close();
150
 
    }
151
 
 
152
 
    @Override
153
 
    public long getFilePointer() {
154
 
      return this.input.getFilePointer();
155
 
    }
156
 
 
157
 
    @Override
158
 
    public void seek(long pos) throws IOException {
159
 
      this.input.seek(pos);
160
 
    }
161
 
 
162
 
    @Override
163
 
    public long length() {
164
 
      return this.input.length();
165
 
    }
166
 
 
167
 
    @Override
168
 
    public Object clone() {
169
 
      return new CountingStream((IndexInput) this.input.clone());
170
 
    }
171
 
 
172
 
  }
173
 
}