← Back to branch summary

~ubuntu-branches/ubuntu/precise/kompozer/precise

« back to all changes in this revision

Viewing changes to mozilla/extensions/universalchardet/src/nsSJISProber.cpp

  • Committer: Bazaar Package Importer
  • Author(s): Anthony Yarusso
  • Date: 2007-08-27 01:11:03 UTC
  • Revision ID: james.westby@ubuntu.com-20070827011103-2jgf4s6532gqu2ka
Tags: upstream-0.7.10
Import upstream version 0.7.10

Show diffs side-by-side

added added

removed removed

Lines of Context:
mozilla/extensions/universalchardet/src/nsSJISProber.cpp
 
1
/* -*- Mode: C; tab-width: 4; indent-tabs-mode: nil; c-basic-offset: 2 -*- */
 
2
/* ***** BEGIN LICENSE BLOCK *****
 
3
 * Version: NPL 1.1/GPL 2.0/LGPL 2.1
 
4
 *
 
5
 * The contents of this file are subject to the Netscape Public License
 
6
 * Version 1.1 (the "License"); you may not use this file except in
 
7
 * compliance with the License. You may obtain a copy of the License at
 
8
 * http://www.mozilla.org/NPL/
 
9
 *
 
10
 * Software distributed under the License is distributed on an "AS IS" basis,
 
11
 * WITHOUT WARRANTY OF ANY KIND, either express or implied. See the License
 
12
 * for the specific language governing rights and limitations under the
 
13
 * License.
 
14
 *
 
15
 * The Original Code is mozilla.org code.
 
16
 *
 
17
 * The Initial Developer of the Original Code is 
 
18
 * Netscape Communications Corporation.
 
19
 * Portions created by the Initial Developer are Copyright (C) 1998
 
20
 * the Initial Developer. All Rights Reserved.
 
21
 *
 
22
 * Contributor(s):
 
23
 *
 
24
 *
 
25
 * Alternatively, the contents of this file may be used under the terms of
 
26
 * either the GNU General Public License Version 2 or later (the "GPL"), or
 
27
 * the GNU Lesser General Public License Version 2.1 or later (the "LGPL"),
 
28
 * in which case the provisions of the GPL or the LGPL are applicable instead
 
29
 * of those above. If you wish to allow use of your version of this file only
 
30
 * under the terms of either the GPL or the LGPL, and not to allow others to
 
31
 * use your version of this file under the terms of the NPL, indicate your
 
32
 * decision by deleting the provisions above and replace them with the notice
 
33
 * and other provisions required by the GPL or the LGPL. If you do not delete
 
34
 * the provisions above, a recipient may use your version of this file under
 
35
 * the terms of any one of the NPL, the GPL or the LGPL.
 
36
 *
 
37
 * ***** END LICENSE BLOCK ***** */
 
38
 
 
39
// for S-JIS encoding, obeserve characteristic:
 
40
// 1, kana character (or hankaku?) often have hight frequency of appereance
 
41
// 2, kana character often exist in group
 
42
// 3, certain combination of kana is never used in japanese language
 
43
 
 
44
#include "nsSJISProber.h"
 
45
 
 
46
void  nsSJISProber::Reset(void)
 
47
{
 
48
  mCodingSM->Reset(); 
 
49
  mState = eDetecting;
 
50
  mContextAnalyser.Reset();
 
51
  mDistributionAnalyser.Reset();
 
52
}
 
53
 
 
54
nsProbingState nsSJISProber::HandleData(const char* aBuf, PRUint32 aLen)
 
55
{
 
56
  nsSMState codingState;
 
57
 
 
58
  for (PRUint32 i = 0; i < aLen; i++)
 
59
  {
 
60
    codingState = mCodingSM->NextState(aBuf[i]);
 
61
    if (codingState == eError)
 
62
    {
 
63
      mState = eNotMe;
 
64
      break;
 
65
    }
 
66
    if (codingState == eItsMe)
 
67
    {
 
68
      mState = eFoundIt;
 
69
      break;
 
70
    }
 
71
    if (codingState == eStart)
 
72
    {
 
73
      PRUint32 charLen = mCodingSM->GetCurrentCharLen();
 
74
      if (i == 0)
 
75
      {
 
76
        mLastChar[1] = aBuf[0];
 
77
        mContextAnalyser.HandleOneChar(mLastChar+2-charLen, charLen);
 
78
        mDistributionAnalyser.HandleOneChar(mLastChar, charLen);
 
79
      }
 
80
      else
 
81
      {
 
82
        mContextAnalyser.HandleOneChar(aBuf+i+1-charLen, charLen);
 
83
        mDistributionAnalyser.HandleOneChar(aBuf+i-1, charLen);
 
84
      }
 
85
    }
 
86
  }
 
87
 
 
88
  mLastChar[0] = aBuf[aLen-1];
 
89
 
 
90
  if (mState == eDetecting)
 
91
    if (mContextAnalyser.GotEnoughData() && GetConfidence() > SHORTCUT_THRESHOLD)
 
92
      mState = eFoundIt;
 
93
 
 
94
  return mState;
 
95
}
 
96
 
 
97
float nsSJISProber::GetConfidence(void)
 
98
{
 
99
  float contxtCf = mContextAnalyser.GetConfidence();
 
100
  float distribCf = mDistributionAnalyser.GetConfidence();
 
101
 
 
102
  return (contxtCf > distribCf ? contxtCf : distribCf);
 
103
}
 
104