← Back to branch summary

~slub.team/goobi-indexserver/3.x

« back to all changes in this revision

Viewing changes to solr/core/src/java/org/apache/solr/analysis/TokenizerChain.java

  • Committer: Sebastian Meyer
  • Date: 2012-08-03 09:12:40 UTC
  • Revision ID: sebastian.meyer@slub-dresden.de-20120803091240-x6861b0vabq1xror
https://launchpad.net/bugs/985487
Remove Lucene and Solr source code and add patches instead
Fix Bug #985487: Auto-suggestion for the search interface

Show diffs side-by-side

added added

removed removed

Lines of Context:
solr/core/src/java/org/apache/solr/analysis/TokenizerChain.java
1
 
/**
2
 
 * Licensed to the Apache Software Foundation (ASF) under one or more
3
 
 * contributor license agreements.  See the NOTICE file distributed with
4
 
 * this work for additional information regarding copyright ownership.
5
 
 * The ASF licenses this file to You under the Apache License, Version 2.0
6
 
 * (the "License"); you may not use this file except in compliance with
7
 
 * the License.  You may obtain a copy of the License at
8
 
 *
9
 
 *     http://www.apache.org/licenses/LICENSE-2.0
10
 
 *
11
 
 * Unless required by applicable law or agreed to in writing, software
12
 
 * distributed under the License is distributed on an "AS IS" BASIS,
13
 
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14
 
 * See the License for the specific language governing permissions and
15
 
 * limitations under the License.
16
 
 */
17
 
 
18
 
package org.apache.solr.analysis;
19
 
 
20
 
import org.apache.lucene.analysis.TokenStream;
21
 
import org.apache.lucene.analysis.CharStream;
22
 
import org.apache.lucene.analysis.CharReader;
23
 
import org.apache.lucene.analysis.Tokenizer;
24
 
 
25
 
import java.io.Reader;
26
 
 
27
 
/**
28
 
 * @version $Id: TokenizerChain.java 1065312 2011-01-30 16:08:25Z rmuir $
29
 
 */
30
 
 
31
 
//
32
 
// An analyzer that uses a tokenizer and a list of token filters to
33
 
// create a TokenStream.
34
 
//
35
 
public final class TokenizerChain extends SolrAnalyzer {
36
 
  final private CharFilterFactory[] charFilters;
37
 
  final private TokenizerFactory tokenizer;
38
 
  final private TokenFilterFactory[] filters;
39
 
 
40
 
  public TokenizerChain(TokenizerFactory tokenizer, TokenFilterFactory[] filters) {
41
 
    this(null,tokenizer,filters);
42
 
  }
43
 
 
44
 
  public TokenizerChain(CharFilterFactory[] charFilters, TokenizerFactory tokenizer, TokenFilterFactory[] filters) {
45
 
    this.charFilters = charFilters;
46
 
    this.tokenizer = tokenizer;
47
 
    this.filters = filters;
48
 
  }
49
 
 
50
 
  public CharFilterFactory[] getCharFilterFactories() { return charFilters; }
51
 
  public TokenizerFactory getTokenizerFactory() { return tokenizer; }
52
 
  public TokenFilterFactory[] getTokenFilterFactories() { return filters; }
53
 
 
54
 
  @Override
55
 
  public Reader charStream(Reader reader){
56
 
    if( charFilters != null && charFilters.length > 0 ){
57
 
      CharStream cs = CharReader.get( reader );
58
 
      for (int i=0; i<charFilters.length; i++) {
59
 
        cs = charFilters[i].create(cs);
60
 
      }
61
 
      reader = cs;
62
 
    }
63
 
    return reader;
64
 
  }
65
 
 
66
 
  @Override
67
 
  public TokenStreamInfo getStream(String fieldName, Reader reader) {
68
 
    Tokenizer tk = tokenizer.create(charStream(reader));
69
 
    TokenStream ts = tk;
70
 
    for (int i=0; i<filters.length; i++) {
71
 
      ts = filters[i].create(ts);
72
 
    }
73
 
    return new TokenStreamInfo(tk,ts);
74
 
  }
75
 
 
76
 
  @Override
77
 
  public String toString() {
78
 
    StringBuilder sb = new StringBuilder("TokenizerChain(");
79
 
    for (CharFilterFactory filter: charFilters) {
80
 
      sb.append(filter);
81
 
      sb.append(", ");
82
 
    }
83
 
    sb.append(tokenizer);
84
 
    for (TokenFilterFactory filter: filters) {
85
 
      sb.append(", ");
86
 
      sb.append(filter);
87
 
    }
88
 
    sb.append(')');
89
 
    return sb.toString();
90
 
  }
91
 
 
92
 
}