← Back to branch summary

~slub.team/goobi-indexserver/3.x

« back to all changes in this revision

Viewing changes to lucene/contrib/analyzers/common/src/java/org/apache/lucene/analysis/miscellaneous/StemmerOverrideFilter.java

  • Committer: Sebastian Meyer
  • Date: 2012-08-03 09:12:40 UTC
  • Revision ID: sebastian.meyer@slub-dresden.de-20120803091240-x6861b0vabq1xror
https://launchpad.net/bugs/985487
Remove Lucene and Solr source code and add patches instead
Fix Bug #985487: Auto-suggestion for the search interface

Show diffs side-by-side

added added

removed removed

Lines of Context:
lucene/contrib/analyzers/common/src/java/org/apache/lucene/analysis/miscellaneous/StemmerOverrideFilter.java
1
 
package org.apache.lucene.analysis.miscellaneous;
2
 
 
3
 
/**
4
 
 * Licensed to the Apache Software Foundation (ASF) under one or more
5
 
 * contributor license agreements.  See the NOTICE file distributed with
6
 
 * this work for additional information regarding copyright ownership.
7
 
 * The ASF licenses this file to You under the Apache License, Version 2.0
8
 
 * (the "License"); you may not use this file except in compliance with
9
 
 * the License.  You may obtain a copy of the License at
10
 
 *
11
 
 *     http://www.apache.org/licenses/LICENSE-2.0
12
 
 *
13
 
 * Unless required by applicable law or agreed to in writing, software
14
 
 * distributed under the License is distributed on an "AS IS" BASIS,
15
 
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16
 
 * See the License for the specific language governing permissions and
17
 
 * limitations under the License.
18
 
 */
19
 
 
20
 
import java.io.IOException;
21
 
import java.util.Map;
22
 
 
23
 
import org.apache.lucene.analysis.CharArrayMap;
24
 
import org.apache.lucene.analysis.TokenFilter;
25
 
import org.apache.lucene.analysis.TokenStream;
26
 
import org.apache.lucene.analysis.tokenattributes.KeywordAttribute;
27
 
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
28
 
import org.apache.lucene.util.Version;
29
 
 
30
 
/**
31
 
 * Provides the ability to override any {@link KeywordAttribute} aware stemmer
32
 
 * with custom dictionary-based stemming.
33
 
 */
34
 
public final class StemmerOverrideFilter extends TokenFilter {
35
 
  private final CharArrayMap<String> dictionary;
36
 
  
37
 
  private final CharTermAttribute termAtt = addAttribute(CharTermAttribute.class);
38
 
  private final KeywordAttribute keywordAtt = addAttribute(KeywordAttribute.class);
39
 
  
40
 
  /**
41
 
   * Create a new StemmerOverrideFilter, performing dictionary-based stemming
42
 
   * with the provided <code>dictionary</code>.
43
 
   * <p>
44
 
   * Any dictionary-stemmed terms will be marked with {@link KeywordAttribute}
45
 
   * so that they will not be stemmed with stemmers down the chain.
46
 
   * </p>
47
 
   */
48
 
  public StemmerOverrideFilter(Version matchVersion, TokenStream input,
49
 
      Map<?,String> dictionary) {
50
 
    super(input);
51
 
    this.dictionary = dictionary instanceof CharArrayMap ? 
52
 
        (CharArrayMap<String>) dictionary : CharArrayMap.copy(matchVersion, dictionary);
53
 
  }
54
 
 
55
 
  @Override
56
 
  public boolean incrementToken() throws IOException {
57
 
    if (input.incrementToken()) {
58
 
      if (!keywordAtt.isKeyword()) { // don't muck with already-keyworded terms
59
 
        String stem = dictionary.get(termAtt.buffer(), 0, termAtt.length());
60
 
        if (stem != null) {
61
 
          termAtt.setEmpty().append(stem);
62
 
          keywordAtt.setKeyword(true);
63
 
        }
64
 
      }
65
 
      return true;
66
 
    } else {
67
 
      return false;
68
 
    }
69
 
  }
70
 
}