← Back to branch summary

~slub.team/goobi-indexserver/3.x

« back to all changes in this revision

Viewing changes to lucene/backwards/src/test/org/apache/lucene/index/TestTransactionRollback.java

  • Committer: Sebastian Meyer
  • Date: 2012-08-03 09:12:40 UTC
  • Revision ID: sebastian.meyer@slub-dresden.de-20120803091240-x6861b0vabq1xror
https://launchpad.net/bugs/985487
Remove Lucene and Solr source code and add patches instead
Fix Bug #985487: Auto-suggestion for the search interface

Show diffs side-by-side

added added

removed removed

Lines of Context:
lucene/backwards/src/test/org/apache/lucene/index/TestTransactionRollback.java
1
 
package org.apache.lucene.index;
2
 
 
3
 
/**
4
 
 * Licensed to the Apache Software Foundation (ASF) under one or more
5
 
 * contributor license agreements.  See the NOTICE file distributed with
6
 
 * this work for additional information regarding copyright ownership.
7
 
 * The ASF licenses this file to You under the Apache License, Version 2.0
8
 
 * (the "License"); you may not use this file except in compliance with
9
 
 * the License.  You may obtain a copy of the License at
10
 
 *
11
 
 *     http://www.apache.org/licenses/LICENSE-2.0
12
 
 *
13
 
 * Unless required by applicable law or agreed to in writing, software
14
 
 * distributed under the License is distributed on an "AS IS" BASIS,
15
 
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16
 
 * See the License for the specific language governing permissions and
17
 
 * limitations under the License.
18
 
 */
19
 
 
20
 
 
21
 
import java.io.IOException;
22
 
import java.util.BitSet;
23
 
import java.util.Collection;
24
 
import java.util.Iterator;
25
 
import java.util.List;
26
 
import java.util.Map;
27
 
import java.util.HashMap;
28
 
 
29
 
import org.apache.lucene.util.LuceneTestCase;
30
 
import org.apache.lucene.analysis.MockAnalyzer;
31
 
import org.apache.lucene.document.Document;
32
 
import org.apache.lucene.document.Field;
33
 
import org.apache.lucene.store.Directory;
34
 
 
35
 
/**
36
 
 * Test class to illustrate using IndexDeletionPolicy to provide multi-level rollback capability.
37
 
 * This test case creates an index of records 1 to 100, introducing a commit point every 10 records.
38
 
 * 
39
 
 * A "keep all" deletion policy is used to ensure we keep all commit points for testing purposes
40
 
 */
41
 
 
42
 
public class TestTransactionRollback extends LuceneTestCase {
43
 
        
44
 
  private static final String FIELD_RECORD_ID = "record_id";
45
 
  private Directory dir;
46
 
        
47
 
  //Rolls back index to a chosen ID
48
 
  private void rollBackLast(int id) throws Exception {
49
 
                
50
 
    // System.out.println("Attempting to rollback to "+id);
51
 
    String ids="-"+id;
52
 
    IndexCommit last=null;
53
 
    Collection<IndexCommit> commits = IndexReader.listCommits(dir);
54
 
    for (Iterator<IndexCommit> iterator = commits.iterator(); iterator.hasNext();) {
55
 
      IndexCommit commit =  iterator.next();
56
 
      Map<String,String> ud=commit.getUserData();
57
 
      if (ud.size() > 0)
58
 
        if (ud.get("index").endsWith(ids))
59
 
          last=commit;
60
 
    }
61
 
 
62
 
    if (last==null)
63
 
      throw new RuntimeException("Couldn't find commit point "+id);
64
 
                
65
 
    IndexWriter w = new IndexWriter(dir, newIndexWriterConfig(
66
 
        TEST_VERSION_CURRENT, new MockAnalyzer(random)).setIndexDeletionPolicy(
67
 
        new RollbackDeletionPolicy(id)).setIndexCommit(last));
68
 
    Map<String,String> data = new HashMap<String,String>();
69
 
    data.put("index", "Rolled back to 1-"+id);
70
 
    w.commit(data);
71
 
    w.close();
72
 
  }
73
 
 
74
 
  public void testRepeatedRollBacks() throws Exception {                
75
 
 
76
 
    int expectedLastRecordId=100;
77
 
    while (expectedLastRecordId>10) {
78
 
      expectedLastRecordId -=10;                        
79
 
      rollBackLast(expectedLastRecordId);
80
 
      
81
 
      BitSet expecteds = new BitSet(100);
82
 
      expecteds.set(1,(expectedLastRecordId+1),true);
83
 
      checkExpecteds(expecteds);                        
84
 
    }
85
 
  }
86
 
        
87
 
  private void checkExpecteds(BitSet expecteds) throws Exception {
88
 
    IndexReader r = IndexReader.open(dir, true);
89
 
                
90
 
    //Perhaps not the most efficient approach but meets our needs here.
91
 
    for (int i = 0; i < r.maxDoc(); i++) {
92
 
      if(!r.isDeleted(i)) {
93
 
        String sval=r.document(i).get(FIELD_RECORD_ID);
94
 
        if(sval!=null) {
95
 
          int val=Integer.parseInt(sval);
96
 
          assertTrue("Did not expect document #"+val, expecteds.get(val));
97
 
          expecteds.set(val,false);
98
 
        }
99
 
      }
100
 
    }
101
 
    r.close();
102
 
    assertEquals("Should have 0 docs remaining ", 0 ,expecteds.cardinality());
103
 
  }
104
 
 
105
 
  /*
106
 
  private void showAvailableCommitPoints() throws Exception {
107
 
    Collection commits = IndexReader.listCommits(dir);
108
 
    for (Iterator iterator = commits.iterator(); iterator.hasNext();) {
109
 
      IndexCommit comm = (IndexCommit) iterator.next();
110
 
      System.out.print("\t Available commit point:["+comm.getUserData()+"] files=");
111
 
      Collection files = comm.getFileNames();
112
 
      for (Iterator iterator2 = files.iterator(); iterator2.hasNext();) {
113
 
        String filename = (String) iterator2.next();
114
 
        System.out.print(filename+", ");                                
115
 
      }
116
 
      System.out.println();
117
 
    }
118
 
  }
119
 
  */
120
 
 
121
 
  @Override
122
 
  public void setUp() throws Exception {
123
 
    super.setUp();
124
 
    dir = newDirectory();
125
 
    //Build index, of records 1 to 100, committing after each batch of 10
126
 
    IndexDeletionPolicy sdp=new KeepAllDeletionPolicy();
127
 
    IndexWriter w=new IndexWriter(dir, newIndexWriterConfig( TEST_VERSION_CURRENT, new MockAnalyzer(random)).setIndexDeletionPolicy(sdp));
128
 
    for(int currentRecordId=1;currentRecordId<=100;currentRecordId++) {
129
 
      Document doc=new Document();
130
 
      doc.add(newField(FIELD_RECORD_ID,""+currentRecordId,Field.Store.YES,Field.Index.ANALYZED));
131
 
      w.addDocument(doc);
132
 
                        
133
 
      if (currentRecordId%10 == 0) {
134
 
        Map<String,String> data = new HashMap<String,String>();
135
 
        data.put("index", "records 1-"+currentRecordId);
136
 
        w.commit(data);
137
 
      }
138
 
    }
139
 
 
140
 
    w.close();
141
 
  }
142
 
  
143
 
  @Override
144
 
  public void tearDown() throws Exception {
145
 
    dir.close();
146
 
    super.tearDown();
147
 
  }
148
 
 
149
 
  // Rolls back to previous commit point
150
 
  class RollbackDeletionPolicy implements IndexDeletionPolicy {
151
 
    private int rollbackPoint;
152
 
 
153
 
    public RollbackDeletionPolicy(int rollbackPoint) {
154
 
      this.rollbackPoint = rollbackPoint;
155
 
    }
156
 
 
157
 
    public void onCommit(List<? extends IndexCommit> commits) throws IOException {
158
 
    }
159
 
 
160
 
    public void onInit(List<? extends IndexCommit> commits) throws IOException {
161
 
      for (final IndexCommit commit : commits) {
162
 
        Map<String,String> userData=commit.getUserData();
163
 
        if (userData.size() > 0) {
164
 
          // Label for a commit point is "Records 1-30"
165
 
          // This code reads the last id ("30" in this example) and deletes it
166
 
          // if it is after the desired rollback point
167
 
          String x = userData.get("index");
168
 
          String lastVal = x.substring(x.lastIndexOf("-")+1);
169
 
          int last = Integer.parseInt(lastVal);
170
 
          if (last>rollbackPoint) {
171
 
            /*
172
 
            System.out.print("\tRolling back commit point:" +
173
 
                             " UserData="+commit.getUserData() +")  ("+(commits.size()-1)+" commit points left) files=");
174
 
            Collection files = commit.getFileNames();
175
 
            for (Iterator iterator2 = files.iterator(); iterator2.hasNext();) {
176
 
              System.out.print(" "+iterator2.next());                           
177
 
            }
178
 
            System.out.println();
179
 
            */
180
 
                                                
181
 
            commit.delete();                                                                    
182
 
          }
183
 
        }
184
 
      }
185
 
    }           
186
 
  }
187
 
 
188
 
  class DeleteLastCommitPolicy implements IndexDeletionPolicy {
189
 
 
190
 
    public void onCommit(List<? extends IndexCommit> commits) throws IOException {}
191
 
 
192
 
    public void onInit(List<? extends IndexCommit> commits) throws IOException {
193
 
      commits.get(commits.size()-1).delete();
194
 
    }
195
 
  }
196
 
 
197
 
  public void testRollbackDeletionPolicy() throws Exception {           
198
 
    for(int i=0;i<2;i++) {
199
 
      // Unless you specify a prior commit point, rollback
200
 
      // should not work:
201
 
      new IndexWriter(dir, newIndexWriterConfig( TEST_VERSION_CURRENT, new MockAnalyzer(random))
202
 
          .setIndexDeletionPolicy(new DeleteLastCommitPolicy())).close();
203
 
      IndexReader r = IndexReader.open(dir, true);
204
 
      assertEquals(100, r.numDocs());
205
 
      r.close();
206
 
    }
207
 
  }
208
 
        
209
 
  // Keeps all commit points (used to build index)
210
 
  class KeepAllDeletionPolicy implements IndexDeletionPolicy {
211
 
    public void onCommit(List<? extends IndexCommit> commits) throws IOException {}
212
 
    public void onInit(List<? extends IndexCommit> commits) throws IOException {}
213
 
  }
214
 
}