← Back to branch summary

~slub.team/goobi-indexserver/3.x

« back to all changes in this revision

Viewing changes to lucene/src/test/org/apache/lucene/store/TestMultiMMap.java

  • Committer: Sebastian Meyer
  • Date: 2012-08-03 09:12:40 UTC
  • Revision ID: sebastian.meyer@slub-dresden.de-20120803091240-x6861b0vabq1xror
https://launchpad.net/bugs/985487
Remove Lucene and Solr source code and add patches instead
Fix Bug #985487: Auto-suggestion for the search interface

Show diffs side-by-side

added added

removed removed

Lines of Context:
lucene/src/test/org/apache/lucene/store/TestMultiMMap.java
1
 
package org.apache.lucene.store;
2
 
 
3
 
/**
4
 
 * Licensed to the Apache Software Foundation (ASF) under one or more
5
 
 * contributor license agreements.  See the NOTICE file distributed with
6
 
 * this work for additional information regarding copyright ownership.
7
 
 * The ASF licenses this file to You under the Apache License, Version 2.0
8
 
 * (the "License"); you may not use this file except in compliance with
9
 
 * the License.  You may obtain a copy of the License at
10
 
 *
11
 
 *     http://www.apache.org/licenses/LICENSE-2.0
12
 
 *
13
 
 * Unless required by applicable law or agreed to in writing, software
14
 
 * distributed under the License is distributed on an "AS IS" BASIS,
15
 
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16
 
 * See the License for the specific language governing permissions and
17
 
 * limitations under the License.
18
 
 */
19
 
 
20
 
import java.io.File;
21
 
import java.util.Random;
22
 
 
23
 
import org.apache.lucene.analysis.MockAnalyzer;
24
 
import org.apache.lucene.document.Document;
25
 
import org.apache.lucene.document.Field;
26
 
import org.apache.lucene.index.IndexReader;
27
 
import org.apache.lucene.index.RandomIndexWriter;
28
 
import org.apache.lucene.util.BytesRef;
29
 
import org.apache.lucene.util.LuceneTestCase;
30
 
import org.apache.lucene.util._TestUtil;
31
 
 
32
 
/**
33
 
 * Tests MMapDirectory's MultiMMapIndexInput
34
 
 * <p>
35
 
 * Because Java's ByteBuffer uses an int to address the
36
 
 * values, it's necessary to access a file >
37
 
 * Integer.MAX_VALUE in size using multiple byte buffers.
38
 
 */
39
 
public class TestMultiMMap extends LuceneTestCase {
40
 
  File workDir;
41
 
  
42
 
  @Override
43
 
  public void setUp() throws Exception {
44
 
    super.setUp();
45
 
    assumeTrue("test requires a jre that supports unmapping", MMapDirectory.UNMAP_SUPPORTED);
46
 
    workDir = _TestUtil.getTempDir("TestMultiMMap");
47
 
    workDir.mkdirs();
48
 
  }
49
 
 
50
 
  public void testSeekZero() throws Exception {
51
 
    for (int i = 0; i < 31; i++) {
52
 
      MMapDirectory mmapDir = new MMapDirectory(_TestUtil.getTempDir("testSeekZero"));
53
 
      mmapDir.setMaxChunkSize(1<<i);
54
 
      IndexOutput io = mmapDir.createOutput("zeroBytes");
55
 
      io.close();
56
 
      IndexInput ii = mmapDir.openInput("zeroBytes");
57
 
      ii.seek(0L);
58
 
      ii.close();
59
 
      mmapDir.close();
60
 
    }
61
 
  }
62
 
  
63
 
  public void testSeekEnd() throws Exception {
64
 
    for (int i = 0; i < 17; i++) {
65
 
      MMapDirectory mmapDir = new MMapDirectory(_TestUtil.getTempDir("testSeekEnd"));
66
 
      mmapDir.setMaxChunkSize(1<<i);
67
 
      IndexOutput io = mmapDir.createOutput("bytes");
68
 
      byte bytes[] = new byte[1<<i];
69
 
      random.nextBytes(bytes);
70
 
      io.writeBytes(bytes, bytes.length);
71
 
      io.close();
72
 
      IndexInput ii = mmapDir.openInput("bytes");
73
 
      byte actual[] = new byte[1<<i];
74
 
      ii.readBytes(actual, 0, actual.length);
75
 
      assertEquals(new BytesRef(bytes), new BytesRef(actual));
76
 
      ii.seek(1<<i);
77
 
      ii.close();
78
 
      mmapDir.close();
79
 
    }
80
 
  }
81
 
  
82
 
  public void testSeeking() throws Exception {
83
 
    for (int i = 0; i < 10; i++) {
84
 
      MMapDirectory mmapDir = new MMapDirectory(_TestUtil.getTempDir("testSeeking"));
85
 
      mmapDir.setMaxChunkSize(1<<i);
86
 
      IndexOutput io = mmapDir.createOutput("bytes");
87
 
      byte bytes[] = new byte[1<<(i+1)]; // make sure we switch buffers
88
 
      random.nextBytes(bytes);
89
 
      io.writeBytes(bytes, bytes.length);
90
 
      io.close();
91
 
      IndexInput ii = mmapDir.openInput("bytes");
92
 
      byte actual[] = new byte[1<<(i+1)]; // first read all bytes
93
 
      ii.readBytes(actual, 0, actual.length);
94
 
      assertEquals(new BytesRef(bytes), new BytesRef(actual));
95
 
      for (int sliceStart = 0; sliceStart < bytes.length; sliceStart++) {
96
 
        for (int sliceLength = 0; sliceLength < bytes.length - sliceStart; sliceLength++) {
97
 
          byte slice[] = new byte[sliceLength];
98
 
          ii.seek(sliceStart);
99
 
          ii.readBytes(slice, 0, slice.length);
100
 
          assertEquals(new BytesRef(bytes, sliceStart, sliceLength), new BytesRef(slice));
101
 
        }
102
 
      }
103
 
      ii.close();
104
 
      mmapDir.close();
105
 
    }
106
 
  }
107
 
  
108
 
  public void testRandomChunkSizes() throws Exception {
109
 
    int num = atLeast(10);
110
 
    for (int i = 0; i < num; i++)
111
 
      assertChunking(random, _TestUtil.nextInt(random, 20, 100));
112
 
  }
113
 
  
114
 
  private void assertChunking(Random random, int chunkSize) throws Exception {
115
 
    File path = _TestUtil.createTempFile("mmap" + chunkSize, "tmp", workDir);
116
 
    path.delete();
117
 
    path.mkdirs();
118
 
    MMapDirectory mmapDir = new MMapDirectory(path);
119
 
    mmapDir.setMaxChunkSize(chunkSize);
120
 
    // we will map a lot, try to turn on the unmap hack
121
 
    if (MMapDirectory.UNMAP_SUPPORTED)
122
 
      mmapDir.setUseUnmap(true);
123
 
    MockDirectoryWrapper dir = new MockDirectoryWrapper(random, mmapDir);
124
 
    RandomIndexWriter writer = new RandomIndexWriter(random, dir, newIndexWriterConfig(TEST_VERSION_CURRENT, new MockAnalyzer(random)).setMergePolicy(newLogMergePolicy()));
125
 
    Document doc = new Document();
126
 
    Field docid = newField("docid", "0", Field.Store.YES, Field.Index.NOT_ANALYZED);
127
 
    Field junk = newField("junk", "", Field.Store.YES, Field.Index.NOT_ANALYZED);
128
 
    doc.add(docid);
129
 
    doc.add(junk);
130
 
    
131
 
    int numDocs = 100;
132
 
    for (int i = 0; i < numDocs; i++) {
133
 
      docid.setValue("" + i);
134
 
      junk.setValue(_TestUtil.randomUnicodeString(random));
135
 
      writer.addDocument(doc);
136
 
    }
137
 
    IndexReader reader = writer.getReader();
138
 
    writer.close();
139
 
    
140
 
    int numAsserts = atLeast(100);
141
 
    for (int i = 0; i < numAsserts; i++) {
142
 
      int docID = random.nextInt(numDocs);
143
 
      assertEquals("" + docID, reader.document(docID).get("docid"));
144
 
    }
145
 
    reader.close();
146
 
    dir.close();
147
 
  }
148
 
}