← Back to branch summary

~ubuntu-branches/ubuntu/wily/aegisub/wily-proposed

« back to all changes in this revision

Viewing changes to universalchardet/CharDistribution.cpp

  • Committer: Package Import Robot
  • Author(s): Sebastian Reichel, Pascal De Vuyst, Juan Picca, Sebastian Reichel
  • Date: 2015-08-04 21:40:50 UTC
  • mfrom: (5.1.1 sid)
  • Revision ID: package-import@ubuntu.com-20150804214050-y2aghm9vdksoc8t7
Tags: 3.2.2+dfsg-1
http://bugs.debian.org/739219
http://bugs.debian.org/789728
[ Pascal De Vuyst ]
* Fix Typo in package description (Closes: #739219)

[ Juan Picca ]
* Add patch to fix reproducible build (Closes: #789728)

[ Sebastian Reichel ]
* New upstream release
 - remove vendor directory from orig tarball
* Update Debian Standards Version to 3.9.6

Show diffs side-by-side

added added

removed removed

Lines of Context:
universalchardet/CharDistribution.cpp
1
 
/* -*- Mode: C++; tab-width: 2; indent-tabs-mode: nil; c-basic-offset: 2 -*- */
2
 
/* ***** BEGIN LICENSE BLOCK *****
3
 
 * Version: MPL 1.1/GPL 2.0/LGPL 2.1
4
 
 *
5
 
 * The contents of this file are subject to the Mozilla Public License Version
6
 
 * 1.1 (the "License"); you may not use this file except in compliance with
7
 
 * the License. You may obtain a copy of the License at
8
 
 * http://www.mozilla.org/MPL/
9
 
 *
10
 
 * Software distributed under the License is distributed on an "AS IS" basis,
11
 
 * WITHOUT WARRANTY OF ANY KIND, either express or implied. See the License
12
 
 * for the specific language governing rights and limitations under the
13
 
 * License.
14
 
 *
15
 
 * The Original Code is Mozilla Communicator client code.
16
 
 *
17
 
 * The Initial Developer of the Original Code is
18
 
 * Netscape Communications Corporation.
19
 
 * Portions created by the Initial Developer are Copyright (C) 1998
20
 
 * the Initial Developer. All Rights Reserved.
21
 
 *
22
 
 * Contributor(s):
23
 
 *
24
 
 * Alternatively, the contents of this file may be used under the terms of
25
 
 * either the GNU General Public License Version 2 or later (the "GPL"), or
26
 
 * the GNU Lesser General Public License Version 2.1 or later (the "LGPL"),
27
 
 * in which case the provisions of the GPL or the LGPL are applicable instead
28
 
 * of those above. If you wish to allow use of your version of this file only
29
 
 * under the terms of either the GPL or the LGPL, and not to allow others to
30
 
 * use your version of this file under the terms of the MPL, indicate your
31
 
 * decision by deleting the provisions above and replace them with the notice
32
 
 * and other provisions required by the GPL or the LGPL. If you do not delete
33
 
 * the provisions above, a recipient may use your version of this file under
34
 
 * the terms of any one of the MPL, the GPL or the LGPL.
35
 
 *
36
 
 * ***** END LICENSE BLOCK ***** */
37
 
 
38
 
#include "CharDistribution.h"
39
 
 
40
 
#include "JISFreq.tab"
41
 
#include "Big5Freq.tab"
42
 
#include "EUCKRFreq.tab"
43
 
#include "EUCTWFreq.tab"
44
 
#include "GB2312Freq.tab"
45
 
 
46
 
#define SURE_YES 0.99f
47
 
#define SURE_NO  0.01f
48
 
 
49
 
//return confidence base on received data
50
 
float CharDistributionAnalysis::GetConfidence(void)
51
 
{ 
52
 
  //if we didn't receive any character in our consideration range, or the
53
 
  // number of frequent characters is below the minimum threshold, return
54
 
  // negative answer
55
 
  if (mTotalChars <= 0 || mFreqChars <= mDataThreshold)
56
 
    return SURE_NO;
57
 
 
58
 
  if (mTotalChars != mFreqChars) {
59
 
    float r = mFreqChars / ((mTotalChars - mFreqChars) * mTypicalDistributionRatio);
60
 
 
61
 
    if (r < SURE_YES)
62
 
      return r;
63
 
  }
64
 
  //normalize confidence, (we don't want to be 100% sure)
65
 
  return SURE_YES;
66
 
}
67
 
 
68
 
EUCTWDistributionAnalysis::EUCTWDistributionAnalysis()
69
 
{
70
 
  mCharToFreqOrder = EUCTWCharToFreqOrder;
71
 
  mTableSize = EUCTW_TABLE_SIZE;
72
 
  mTypicalDistributionRatio = EUCTW_TYPICAL_DISTRIBUTION_RATIO;
73
 
}
74
 
 
75
 
EUCKRDistributionAnalysis::EUCKRDistributionAnalysis()
76
 
{
77
 
  mCharToFreqOrder = EUCKRCharToFreqOrder;
78
 
  mTableSize = EUCKR_TABLE_SIZE;
79
 
  mTypicalDistributionRatio = EUCKR_TYPICAL_DISTRIBUTION_RATIO;
80
 
}
81
 
 
82
 
GB2312DistributionAnalysis::GB2312DistributionAnalysis()
83
 
{
84
 
  mCharToFreqOrder = GB2312CharToFreqOrder;
85
 
  mTableSize = GB2312_TABLE_SIZE;
86
 
  mTypicalDistributionRatio = GB2312_TYPICAL_DISTRIBUTION_RATIO;
87
 
}
88
 
 
89
 
Big5DistributionAnalysis::Big5DistributionAnalysis()
90
 
{
91
 
  mCharToFreqOrder = Big5CharToFreqOrder;
92
 
  mTableSize = BIG5_TABLE_SIZE;
93
 
  mTypicalDistributionRatio = BIG5_TYPICAL_DISTRIBUTION_RATIO;
94
 
}
95
 
 
96
 
SJISDistributionAnalysis::SJISDistributionAnalysis()
97
 
{
98
 
  mCharToFreqOrder = JISCharToFreqOrder;
99
 
  mTableSize = JIS_TABLE_SIZE;
100
 
  mTypicalDistributionRatio = JIS_TYPICAL_DISTRIBUTION_RATIO;
101
 
}
102
 
 
103
 
EUCJPDistributionAnalysis::EUCJPDistributionAnalysis()
104
 
{
105
 
  mCharToFreqOrder = JISCharToFreqOrder;
106
 
  mTableSize = JIS_TABLE_SIZE;
107
 
  mTypicalDistributionRatio = JIS_TYPICAL_DISTRIBUTION_RATIO;
108
 
}
109