← Back to branch summary

~ubuntu-branches/ubuntu/trusty/pylucene/trusty

« back to all changes in this revision

Viewing changes to lucene-java-3.5.0/lucene/backwards/src/test/org/apache/lucene/analysis/TestPorterStemFilter.java

  • Committer: Package Import Robot
  • Author(s): Dmitry Nezhevenko
  • Date: 2012-04-23 16:43:55 UTC
  • mfrom: (1.1.1)
  • Revision ID: package-import@ubuntu.com-20120423164355-grqtepnwtecdjfk2
Tags: 3.5.0-1
http://bugs.debian.org/670179
http://bugs.debian.org/581198
http://bugs.debian.org/632240
http://bugs.debian.org/581197
* New maintainer (closes: 670179)
* New upstream release
* Switch to dpkg-source 3.0 (quilt) format
* Switch to machine-readable debian/copyright
* Bump debian/compat to 8, drop debian/pycompat
* Switch from cdbs to dh
* Add watch file
* Build for all supported versions of python2 (closes: 581198, 632240)
* Rename binary package to python-lucene (closes: 581197)
* Add -dbg package

Show diffs side-by-side

added added

removed removed

Lines of Context:
lucene-java-3.5.0/lucene/backwards/src/test/org/apache/lucene/analysis/TestPorterStemFilter.java
 
1
package org.apache.lucene.analysis;
 
2
 
 
3
/**
 
4
 * Licensed to the Apache Software Foundation (ASF) under one or more
 
5
 * contributor license agreements.  See the NOTICE file distributed with
 
6
 * this work for additional information regarding copyright ownership.
 
7
 * The ASF licenses this file to You under the Apache License, Version 2.0
 
8
 * (the "License"); you may not use this file except in compliance with
 
9
 * the License.  You may obtain a copy of the License at
 
10
 *
 
11
 *     http://www.apache.org/licenses/LICENSE-2.0
 
12
 *
 
13
 * Unless required by applicable law or agreed to in writing, software
 
14
 * distributed under the License is distributed on an "AS IS" BASIS,
 
15
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 
16
 * See the License for the specific language governing permissions and
 
17
 * limitations under the License.
 
18
 */
 
19
 
 
20
import java.io.IOException;
 
21
import java.io.Reader;
 
22
import java.io.StringReader;
 
23
 
 
24
import org.apache.lucene.analysis.BaseTokenStreamTestCase;
 
25
import org.apache.lucene.analysis.Analyzer;
 
26
import org.apache.lucene.analysis.MockTokenizer;
 
27
import org.apache.lucene.analysis.TokenStream;
 
28
import org.apache.lucene.analysis.Tokenizer;
 
29
 
 
30
import static org.apache.lucene.analysis.VocabularyAssert.*;
 
31
 
 
32
/**
 
33
 * Test the PorterStemFilter with Martin Porter's test data.
 
34
 */
 
35
public class TestPorterStemFilter extends BaseTokenStreamTestCase {  
 
36
  Analyzer a = new ReusableAnalyzerBase() {
 
37
    @Override
 
38
    protected TokenStreamComponents createComponents(String fieldName,
 
39
        Reader reader) {
 
40
      Tokenizer t = new MockTokenizer(reader, MockTokenizer.KEYWORD, false);
 
41
      return new TokenStreamComponents(t, new PorterStemFilter(t));
 
42
    }
 
43
  };
 
44
 
 
45
  /**
 
46
   * Run the stemmer against all strings in voc.txt
 
47
   * The output should be the same as the string in output.txt
 
48
   */
 
49
  public void testPorterStemFilter() throws Exception {
 
50
    assertVocabulary(a, getDataFile("porterTestData.zip"), "voc.txt", "output.txt");
 
51
  }
 
52
  
 
53
  public void testWithKeywordAttribute() throws IOException {
 
54
    CharArraySet set = new CharArraySet(TEST_VERSION_CURRENT, 1, true);
 
55
    set.add("yourselves");
 
56
    Tokenizer tokenizer = new MockTokenizer(new StringReader("yourselves yours"), MockTokenizer.WHITESPACE, false);
 
57
    TokenStream filter = new PorterStemFilter(new KeywordMarkerFilter(tokenizer, set));   
 
58
    assertTokenStreamContents(filter, new String[] {"yourselves", "your"});
 
59
  }
 
60
  
 
61
  /** blast some random strings through the analyzer */
 
62
  public void testRandomStrings() throws Exception {
 
63
    checkRandomData(random, a, 10000*RANDOM_MULTIPLIER);
 
64
  }
 
65
}