← Back to branch summary

~slub.team/goobi-indexserver/3.x

« back to all changes in this revision

Viewing changes to lucene/src/test/org/apache/lucene/store/TestRAMDirectory.java

  • Committer: Sebastian Meyer
  • Date: 2012-08-03 09:12:40 UTC
  • Revision ID: sebastian.meyer@slub-dresden.de-20120803091240-x6861b0vabq1xror
https://launchpad.net/bugs/985487
Remove Lucene and Solr source code and add patches instead
Fix Bug #985487: Auto-suggestion for the search interface

Show diffs side-by-side

added added

removed removed

Lines of Context:
lucene/src/test/org/apache/lucene/store/TestRAMDirectory.java
1
 
package org.apache.lucene.store;
2
 
 
3
 
/**
4
 
 * Licensed to the Apache Software Foundation (ASF) under one or more
5
 
 * contributor license agreements.  See the NOTICE file distributed with
6
 
 * this work for additional information regarding copyright ownership.
7
 
 * The ASF licenses this file to You under the Apache License, Version 2.0
8
 
 * (the "License"); you may not use this file except in compliance with
9
 
 * the License.  You may obtain a copy of the License at
10
 
 *
11
 
 *     http://www.apache.org/licenses/LICENSE-2.0
12
 
 *
13
 
 * Unless required by applicable law or agreed to in writing, software
14
 
 * distributed under the License is distributed on an "AS IS" BASIS,
15
 
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16
 
 * See the License for the specific language governing permissions and
17
 
 * limitations under the License.
18
 
 */
19
 
 
20
 
import java.io.File;
21
 
import java.io.IOException;
22
 
import java.io.ObjectOutput;
23
 
import java.io.ObjectOutputStream;
24
 
import java.io.ByteArrayOutputStream;
25
 
 
26
 
import org.apache.lucene.util.LuceneTestCase;
27
 
import org.apache.lucene.util._TestUtil;
28
 
import org.apache.lucene.analysis.MockAnalyzer;
29
 
import org.apache.lucene.document.Document;
30
 
import org.apache.lucene.document.Field;
31
 
import org.apache.lucene.index.IndexReader;
32
 
import org.apache.lucene.index.IndexWriter;
33
 
import org.apache.lucene.index.IndexWriterConfig;
34
 
import org.apache.lucene.index.IndexWriterConfig.OpenMode;
35
 
import org.apache.lucene.search.IndexSearcher;
36
 
import org.apache.lucene.util.English;
37
 
 
38
 
/**
39
 
 * JUnit testcase to test RAMDirectory. RAMDirectory itself is used in many testcases,
40
 
 * but not one of them uses an different constructor other than the default constructor.
41
 
 */
42
 
public class TestRAMDirectory extends LuceneTestCase {
43
 
  
44
 
  private File indexDir = null;
45
 
  
46
 
  // add enough document so that the index will be larger than RAMDirectory.READ_BUFFER_SIZE
47
 
  private final int docsToAdd = 500;
48
 
  
49
 
  // setup the index
50
 
  @Override
51
 
  public void setUp() throws Exception {
52
 
    super.setUp();
53
 
    indexDir = _TestUtil.getTempDir("RAMDirIndex");
54
 
    
55
 
    Directory dir = newFSDirectory(indexDir);
56
 
    IndexWriter writer = new IndexWriter(dir, new IndexWriterConfig(
57
 
        TEST_VERSION_CURRENT, new MockAnalyzer(random)).setOpenMode(OpenMode.CREATE));
58
 
    // add some documents
59
 
    Document doc = null;
60
 
    for (int i = 0; i < docsToAdd; i++) {
61
 
      doc = new Document();
62
 
      doc.add(newField("content", English.intToEnglish(i).trim(), Field.Store.YES, Field.Index.NOT_ANALYZED));
63
 
      writer.addDocument(doc);
64
 
    }
65
 
    assertEquals(docsToAdd, writer.maxDoc());
66
 
    writer.close();
67
 
    dir.close();
68
 
  }
69
 
  
70
 
  public void testRAMDirectory () throws IOException {
71
 
    
72
 
    Directory dir = newFSDirectory(indexDir);
73
 
    MockDirectoryWrapper ramDir = new MockDirectoryWrapper(random, new RAMDirectory(dir));
74
 
    
75
 
    // close the underlaying directory
76
 
    dir.close();
77
 
    
78
 
    // Check size
79
 
    assertEquals(ramDir.sizeInBytes(), ramDir.getRecomputedSizeInBytes());
80
 
    
81
 
    // open reader to test document count
82
 
    IndexReader reader = IndexReader.open(ramDir, true);
83
 
    assertEquals(docsToAdd, reader.numDocs());
84
 
    
85
 
    // open search zo check if all doc's are there
86
 
    IndexSearcher searcher = newSearcher(reader);
87
 
    
88
 
    // search for all documents
89
 
    for (int i = 0; i < docsToAdd; i++) {
90
 
      Document doc = searcher.doc(i);
91
 
      assertTrue(doc.getField("content") != null);
92
 
    }
93
 
 
94
 
    // cleanup
95
 
    reader.close();
96
 
    searcher.close();
97
 
  }
98
 
  
99
 
  private final int numThreads = 10;
100
 
  private final int docsPerThread = 40;
101
 
  
102
 
  public void testRAMDirectorySize() throws IOException, InterruptedException {
103
 
      
104
 
    Directory dir = newFSDirectory(indexDir);
105
 
    final MockDirectoryWrapper ramDir = new MockDirectoryWrapper(random, new RAMDirectory(dir));
106
 
    dir.close();
107
 
    
108
 
    final IndexWriter writer = new IndexWriter(ramDir, new IndexWriterConfig(
109
 
        TEST_VERSION_CURRENT, new MockAnalyzer(random)).setOpenMode(OpenMode.APPEND));
110
 
    writer.forceMerge(1);
111
 
    
112
 
    assertEquals(ramDir.sizeInBytes(), ramDir.getRecomputedSizeInBytes());
113
 
    
114
 
    Thread[] threads = new Thread[numThreads];
115
 
    for (int i=0; i<numThreads; i++) {
116
 
      final int num = i;
117
 
      threads[i] = new Thread(){
118
 
        @Override
119
 
        public void run() {
120
 
          for (int j=1; j<docsPerThread; j++) {
121
 
            Document doc = new Document();
122
 
            doc.add(newField("sizeContent", English.intToEnglish(num*docsPerThread+j).trim(), Field.Store.YES, Field.Index.NOT_ANALYZED));
123
 
            try {
124
 
              writer.addDocument(doc);
125
 
            } catch (IOException e) {
126
 
              throw new RuntimeException(e);
127
 
            }
128
 
          }
129
 
        }
130
 
      };
131
 
    }
132
 
    for (int i=0; i<numThreads; i++)
133
 
      threads[i].start();
134
 
    for (int i=0; i<numThreads; i++)
135
 
      threads[i].join();
136
 
 
137
 
    writer.forceMerge(1);
138
 
    assertEquals(ramDir.sizeInBytes(), ramDir.getRecomputedSizeInBytes());
139
 
    
140
 
    writer.close();
141
 
  }
142
 
 
143
 
 
144
 
  public void testSerializable() throws IOException {
145
 
    Directory dir = new RAMDirectory();
146
 
    ByteArrayOutputStream bos = new ByteArrayOutputStream(1024);
147
 
    assertEquals("initially empty", 0, bos.size());
148
 
    ObjectOutput out = new ObjectOutputStream(bos);
149
 
    int headerSize = bos.size();
150
 
    out.writeObject(dir);
151
 
    out.close();
152
 
    assertTrue("contains more then just header", headerSize < bos.size());
153
 
  } 
154
 
 
155
 
  @Override
156
 
  public void tearDown() throws Exception {
157
 
    // cleanup 
158
 
    if (indexDir != null && indexDir.exists()) {
159
 
      rmDir (indexDir);
160
 
    }
161
 
    super.tearDown();
162
 
  }
163
 
 
164
 
  // LUCENE-1196
165
 
  public void testIllegalEOF() throws Exception {
166
 
    RAMDirectory dir = new RAMDirectory();
167
 
    IndexOutput o = dir.createOutput("out");
168
 
    byte[] b = new byte[1024];
169
 
    o.writeBytes(b, 0, 1024);
170
 
    o.close();
171
 
    IndexInput i = dir.openInput("out");
172
 
    i.seek(1024);
173
 
    i.close();
174
 
    dir.close();
175
 
  }
176
 
  
177
 
  private void rmDir(File dir) {
178
 
    File[] files = dir.listFiles();
179
 
    for (int i = 0; i < files.length; i++) {
180
 
      files[i].delete();
181
 
    }
182
 
    dir.delete();
183
 
  }
184
 
 
185
 
  // LUCENE-2852
186
 
  public void testSeekToEOFThenBack() throws Exception {
187
 
    RAMDirectory dir = new RAMDirectory();
188
 
 
189
 
    IndexOutput o = dir.createOutput("out");
190
 
    byte[] bytes = new byte[3*RAMInputStream.BUFFER_SIZE];
191
 
    o.writeBytes(bytes, 0, bytes.length);
192
 
    o.close();
193
 
 
194
 
    IndexInput i = dir.openInput("out");
195
 
    i.seek(2*RAMInputStream.BUFFER_SIZE-1);
196
 
    i.seek(3*RAMInputStream.BUFFER_SIZE);
197
 
    i.seek(RAMInputStream.BUFFER_SIZE);
198
 
    i.readBytes(bytes, 0, 2*RAMInputStream.BUFFER_SIZE);
199
 
    i.close();
200
 
    dir.close();
201
 
  }
202
 
}