← Back to branch summary

~snowball-yiddish-dev/snowball-yiddish/trunk

« back to all changes in this revision

Viewing changes to website/algorithms/lovins/stemmer.html

  • Committer: martin
  • Date: 2005-05-23 16:33:12 UTC
  • Revision ID: svn-v4:633ccae0-01f4-0310-8c99-d3591da6f01f:trunk:312
Announcements and layout details

Show diffs side-by-side

added added

removed removed

Lines of Context:
website/algorithms/lovins/stemmer.html
382
382
 
383
383
backwardmode (
384
384
 
385
 
  /* Lovins' conditions A, B ... CC, as given in her Appendix B, where a test
386
 
     for a two letter prefix ('test hop 2') is implicitly assumed. Note that
387
 
     'e' next 'u' corresponds to her u*e because Snowball is scanning
388
 
     backwards. */
 
385
  /* Lovins' conditions A, B ... CC, as given in her Appendix B, where
 
386
     a test for a two letter prefix ('test hop 2') is implicitly
 
387
     assumed. Note that 'e' next 'u' corresponds to her u*e because
 
388
     Snowball is scanning backwards. */
389
389
 
390
390
  define A  as ( hop 2 )
391
391
  define B  as ( hop 3 )
413
413
  define X  as ( test hop 2 'l' or 'i' or ('e' next 'u') )
414
414
  define Y  as ( test hop 2 'in' )
415
415
  define Z  as ( test hop 2 not 'f' )
416
 
  define AA as ( test hop 2 among ( 'd' 'f' 'ph' 'th' 'l' 'er' 'or' 'es' 't' ) )
 
416
  define AA as ( test hop 2 among ( 'd' 'f' 'ph' 'th' 'l' 'er' 'or'
 
417
                                    'es' 't' ) )
417
418
  define BB as ( test hop 3 not 'met' not 'ryst' )
418
419
  define CC as ( test hop 2 'l' )
419
420
 
422
423
 
423
424
  define endings as (
424
425
    [substring] among(
425
 
      'alistically' B 'arizability' A 'izationally' B
426
 
 
427
 
       'antialness' A  'arisations' A  'arizations' A  'entialness' A
428
 
 
429
 
        'allically' C   'antaneous' A   'antiality' A   'arisation' A
430
 
        'arization' A   'ationally' B   'ativeness' A   'eableness' E
431
 
        'entations' A   'entiality' A   'entialize' A   'entiation' A
432
 
        'ionalness' A   'istically' A   'itousness' A   'izability' A
433
 
        'izational' A
434
 
 
435
 
         'ableness' A    'arizable' A    'entation' A    'entially' A
436
 
         'eousness' A    'ibleness' A    'icalness' A    'ionalism' A
437
 
         'ionality' A    'ionalize' A    'iousness' A    'izations' A
438
 
         'lessness' A
439
 
 
440
 
          'ability' A     'aically' A     'alistic' B     'alities' A
441
 
          'ariness' E     'aristic' A     'arizing' A     'ateness' A
442
 
          'atingly' A     'ational' B     'atively' A     'ativism' A
443
 
          'elihood' E     'encible' A     'entally' A     'entials' A
444
 
          'entiate' A     'entness' A     'fulness' A     'ibility' A
445
 
          'icalism' A     'icalist' A     'icality' A     'icalize' A
446
 
          'ication' G     'icianry' A     'ination' A     'ingness' A
447
 
          'ionally' A     'isation' A     'ishness' A     'istical' A
448
 
          'iteness' A     'iveness' A     'ivistic' A     'ivities' A
449
 
          'ization' F     'izement' A     'oidally' A     'ousness' A
450
 
 
451
 
           'aceous' A      'acious' B      'action' G      'alness' A
452
 
           'ancial' A      'ancies' A      'ancing' B      'ariser' A
453
 
           'arized' A      'arizer' A      'atable' A      'ations' B
454
 
           'atives' A      'eature' Z      'efully' A      'encies' A
455
 
           'encing' A      'ential' A      'enting' C      'entist' A
456
 
           'eously' A      'ialist' A      'iality' A      'ialize' A
457
 
           'ically' A      'icance' A      'icians' A      'icists' A
458
 
           'ifully' A      'ionals' A      'ionate' D      'ioning' A
459
 
           'ionist' A      'iously' A      'istics' A      'izable' E
460
 
           'lessly' A      'nesses' A      'oidism' A
461
 
 
462
 
            'acies' A       'acity' A       'aging' B       'aical' A
463
 
            'alist' A       'alism' B       'ality' A       'alize' A
464
 
            'allic'BB       'anced' B       'ances' B       'antic' C
465
 
            'arial' A       'aries' A       'arily' A       'arity' B
466
 
            'arize' A       'aroid' A       'ately' A       'ating' I
467
 
            'ation' B       'ative' A       'ators' A       'atory' A
468
 
            'ature' E       'early' Y       'ehood' A       'eless' A
469
 
            'elity' A       'ement' A       'enced' A       'ences' A
470
 
            'eness' E       'ening' E       'ental' A       'ented' C
471
 
            'ently' A       'fully' A       'ially' A       'icant' A
472
 
            'ician' A       'icide' A       'icism' A       'icist' A
473
 
            'icity' A       'idine' I       'iedly' A       'ihood' A
474
 
            'inate' A       'iness' A       'ingly' B       'inism' J
475
 
            'inity'CC       'ional' A       'ioned' A       'ished' A
476
 
            'istic' A       'ities' A       'itous' A       'ively' A
477
 
            'ivity' A       'izers' F       'izing' F       'oidal' A
478
 
            'oides' A       'otide' A       'ously' A
479
 
 
480
 
             'able' A        'ably' A        'ages' B        'ally' B
481
 
             'ance' B        'ancy' B        'ants' B        'aric' A
482
 
             'arly' K        'ated' I        'ates' A        'atic' B
483
 
             'ator' A        'ealy' Y        'edly' E        'eful' A
484
 
             'eity' A        'ence' A        'ency' A        'ened' E
485
 
             'enly' E        'eous' A        'hood' A        'ials' A
486
 
             'ians' A        'ible' A        'ibly' A        'ical' A
487
 
             'ides' L        'iers' A        'iful' A        'ines' M
488
 
             'ings' N        'ions' B        'ious' A        'isms' B
489
 
             'ists' A        'itic' H        'ized' F        'izer' F
490
 
             'less' A        'lily' A        'ness' A        'ogen' A
491
 
             'ward' A        'wise' A        'ying' B        'yish' A
492
 
 
493
 
              'acy' A         'age' B         'aic' A         'als'BB
494
 
              'ant' B         'ars' O         'ary' F         'ata' A
495
 
              'ate' A         'eal' Y         'ear' Y         'ely' E
496
 
              'ene' E         'ent' C         'ery' E         'ese' A
497
 
              'ful' A         'ial' A         'ian' A         'ics' A
498
 
              'ide' L         'ied' A         'ier' A         'ies' P
499
 
              'ily' A         'ine' M         'ing' N         'ion' Q
500
 
              'ish' C         'ism' B         'ist' A         'ite'AA
501
 
              'ity' A         'ium' A         'ive' A         'ize' F
502
 
              'oid' A         'one' R         'ous' A
503
 
 
504
 
               'ae' A          'al'BB          'ar' X          'as' B
505
 
               'ed' E          'en' F          'es' E          'ia' A
506
 
               'ic' A          'is' A          'ly' B          'on' S
507
 
               'or' T          'um' U          'us' V          'yl' R
508
 
             '{'}s' A        's{'}' A
509
 
 
510
 
                'a' A           'e' A           'i' A           'o' A
511
 
                's' W           'y' B
 
426
    'alistically' B 'arizability' A 'izationally' B
 
427
 
 
428
     'antialness' A  'arisations' A  'arizations' A  'entialness' A
 
429
 
 
430
      'allically' C   'antaneous' A   'antiality' A   'arisation' A
 
431
      'arization' A   'ationally' B   'ativeness' A   'eableness' E
 
432
      'entations' A   'entiality' A   'entialize' A   'entiation' A
 
433
      'ionalness' A   'istically' A   'itousness' A   'izability' A
 
434
      'izational' A
 
435
 
 
436
       'ableness' A    'arizable' A    'entation' A    'entially' A
 
437
       'eousness' A    'ibleness' A    'icalness' A    'ionalism' A
 
438
       'ionality' A    'ionalize' A    'iousness' A    'izations' A
 
439
       'lessness' A
 
440
 
 
441
        'ability' A     'aically' A     'alistic' B     'alities' A
 
442
        'ariness' E     'aristic' A     'arizing' A     'ateness' A
 
443
        'atingly' A     'ational' B     'atively' A     'ativism' A
 
444
        'elihood' E     'encible' A     'entally' A     'entials' A
 
445
        'entiate' A     'entness' A     'fulness' A     'ibility' A
 
446
        'icalism' A     'icalist' A     'icality' A     'icalize' A
 
447
        'ication' G     'icianry' A     'ination' A     'ingness' A
 
448
        'ionally' A     'isation' A     'ishness' A     'istical' A
 
449
        'iteness' A     'iveness' A     'ivistic' A     'ivities' A
 
450
        'ization' F     'izement' A     'oidally' A     'ousness' A
 
451
 
 
452
         'aceous' A      'acious' B      'action' G      'alness' A
 
453
         'ancial' A      'ancies' A      'ancing' B      'ariser' A
 
454
         'arized' A      'arizer' A      'atable' A      'ations' B
 
455
         'atives' A      'eature' Z      'efully' A      'encies' A
 
456
         'encing' A      'ential' A      'enting' C      'entist' A
 
457
         'eously' A      'ialist' A      'iality' A      'ialize' A
 
458
         'ically' A      'icance' A      'icians' A      'icists' A
 
459
         'ifully' A      'ionals' A      'ionate' D      'ioning' A
 
460
         'ionist' A      'iously' A      'istics' A      'izable' E
 
461
         'lessly' A      'nesses' A      'oidism' A
 
462
 
 
463
          'acies' A       'acity' A       'aging' B       'aical' A
 
464
          'alist' A       'alism' B       'ality' A       'alize' A
 
465
          'allic'BB       'anced' B       'ances' B       'antic' C
 
466
          'arial' A       'aries' A       'arily' A       'arity' B
 
467
          'arize' A       'aroid' A       'ately' A       'ating' I
 
468
          'ation' B       'ative' A       'ators' A       'atory' A
 
469
          'ature' E       'early' Y       'ehood' A       'eless' A
 
470
          'elity' A       'ement' A       'enced' A       'ences' A
 
471
          'eness' E       'ening' E       'ental' A       'ented' C
 
472
          'ently' A       'fully' A       'ially' A       'icant' A
 
473
          'ician' A       'icide' A       'icism' A       'icist' A
 
474
          'icity' A       'idine' I       'iedly' A       'ihood' A
 
475
          'inate' A       'iness' A       'ingly' B       'inism' J
 
476
          'inity'CC       'ional' A       'ioned' A       'ished' A
 
477
          'istic' A       'ities' A       'itous' A       'ively' A
 
478
          'ivity' A       'izers' F       'izing' F       'oidal' A
 
479
          'oides' A       'otide' A       'ously' A
 
480
 
 
481
           'able' A        'ably' A        'ages' B        'ally' B
 
482
           'ance' B        'ancy' B        'ants' B        'aric' A
 
483
           'arly' K        'ated' I        'ates' A        'atic' B
 
484
           'ator' A        'ealy' Y        'edly' E        'eful' A
 
485
           'eity' A        'ence' A        'ency' A        'ened' E
 
486
           'enly' E        'eous' A        'hood' A        'ials' A
 
487
           'ians' A        'ible' A        'ibly' A        'ical' A
 
488
           'ides' L        'iers' A        'iful' A        'ines' M
 
489
           'ings' N        'ions' B        'ious' A        'isms' B
 
490
           'ists' A        'itic' H        'ized' F        'izer' F
 
491
           'less' A        'lily' A        'ness' A        'ogen' A
 
492
           'ward' A        'wise' A        'ying' B        'yish' A
 
493
 
 
494
            'acy' A         'age' B         'aic' A         'als'BB
 
495
            'ant' B         'ars' O         'ary' F         'ata' A
 
496
            'ate' A         'eal' Y         'ear' Y         'ely' E
 
497
            'ene' E         'ent' C         'ery' E         'ese' A
 
498
            'ful' A         'ial' A         'ian' A         'ics' A
 
499
            'ide' L         'ied' A         'ier' A         'ies' P
 
500
            'ily' A         'ine' M         'ing' N         'ion' Q
 
501
            'ish' C         'ism' B         'ist' A         'ite'AA
 
502
            'ity' A         'ium' A         'ive' A         'ize' F
 
503
            'oid' A         'one' R         'ous' A
 
504
 
 
505
             'ae' A          'al'BB          'ar' X          'as' B
 
506
             'ed' E          'en' F          'es' E          'ia' A
 
507
             'ic' A          'is' A          'ly' B          'on' S
 
508
             'or' T          'um' U          'us' V          'yl' R
 
509
           '{'}s' A        's{'}' A
 
510
 
 
511
              'a' A           'e' A           'i' A           'o' A
 
512
              's' W           'y' B
512
513
 
513
514
        (delete)
514
515
    )
517
518
  /* Undoubling is rule 1 of appendix C. */
518
519
 
519
520
  define undouble as (
520
 
    test substring among ('bb' 'dd' 'gg' 'll' 'mm' 'nn' 'pp' 'rr' 'ss' 'tt')
 
521
    test substring among ('bb' 'dd' 'gg' 'll' 'mm' 'nn' 'pp' 'rr' 'ss'
 
522
                          'tt')
521
523
    [next] delete
522
524
  )
523
525
 
554
556
      'rud'  (<-'rus')
555
557
      'her'  (not 'p' not 't' <-'hes')
556
558
      'mit'  (<-'mis')
557
 
      'ent'  (not 'm' <-'ens')  /* 'ent' was 'end' in the 1968 paper - a typo. */
 
559
      'ent'  (not 'm' <-'ens')
 
560
        /* 'ent' was 'end' in the 1968 paper - a typo. */
558
561
      'ert'  (<-'ers')
559
562
      'et'   (not 'n' <-'es')
560
563
      'yt'   (<-'ys')
572
575
  )
573
576
)
574
577
 
575
 
 
576
578
</PRE>
577
579
</DL>
578
580