← Back to branch summary

~mozillateam/firefox/firefox.disco

« back to all changes in this revision

Viewing changes to debian/build/verify-search-overrides.pl

  • Committer: Chris Coulson
  • Date: 2013-02-20 09:17:36 UTC
  • mto: This revision was merged to the branch mainline in revision 972.
  • Revision ID: chris.coulson@canonical.com-20130220091736-ofjaczrz2wc4nidl
https://launchpad.net/bugs/974146
* New upstream release from the beta channel
* Refresh patches
  - update debian/patches/mozilla-kde.patch
* Drop patches fixed upstream
  - remove debian/patches/ionmonkey-hardfp-support.patch
  - update debian/patches/series.in
* firefox-gnome-support needs explicit dependency on libnotify
  - update debian/control{,.in}
* Add support for autopkgtest, package the xpcshell, reftest and
  mochitest testsuites and migrate the xpcshell-tests, reftest, crashtest,
  jstestbrowser and mochitest targets to this. Note that tests that can't
  be ran as an autopkgtest (eg, if they require write permissions to the
  application directory) will still be ran at build time
  - add firefox-testsuite package in debian/control.in
  - update debian/control
  - add debian/firefox-testsuite.install.in
  - add debian/firefox-testsuite.links.in
  - update debian/build/mozbuild.mk
  - update debian/rules
  - drop xpcshell-tests, reftest, crashtest, jstestbrowser and mochitest
    targets from debian/build/testsuite.mk, add xpcshell-tests-build
    and the ability to run xpcshell-tests with our own reduced manifest
  - add debian/tests/control
  - add debian/tests/crashtest
  - add debian/tests/jstestbrowser
  - add debian/tests/mochitest
  - add debian/tests/reftest
  - add debian/tests/xpcshell-tests
  - add debian/testing/run_mochitest.in
  - add debian/testing/run_xpcshell_tests.in
  - add debian/testing/run_reftest.in
  - add debian/testing/testrunhelper.py
  - update debian/config/mozconfig.in to always build with --enable-tests
  - add debian/testing/xpcshell-build.ini
* Ensure that the directory provider returns all searchplugin paths during
  the search service xpcshell tests
  - add d/p/test-fixes/xpcshell-search-fix-browser-dirprovider.patch
  - update debian/patches/series.in
* Fix various tests that assume that either the application directory or
  test directory can be written to
  - add d/p/test-fixes/xpcshell-docshell-no-writes-to-appdir.patch
  - add d/p/test-fixes/xpcshell-contentprefs-no-writes-to-appdir.patch
  - add d/p/test-fixes/xpcshell-exthandler-no-writes-to-appdir.patch
  - add d/p/test-fixes/xpcshell-ctypes-no-writes-to-appdir.patch
  - add d/p/test-fixes/xpcshell-xpcom-no-writes-to-testdir-or-appdir.patch
  - add d/p/test-fixes/xpcshell-libpref-no-writes-to-testdir.patch
  - update debian/patches/series.in
* Export NO_PNG_PKG_MANGLE as optipng breaks tests that are dependent
  on image format / size
  - update debian/build/mozbuild.mk
* Don't test that the addon selection dialog appears in test_bug596343.js,
  as we disable this
  - add d/p/test-integration/xpcshell-disable-addon-select-dialog-test-for-adt.patch
  - update debian/patches/series
* Don't write a log file to the script directory from mochitest
  - add d/p/test-integration/mochitest-optional-websock-log.patch
  - update debian/patches/series.in
* Fix a failure in test_nodb_pluschanges.js due to const redeclaration
  - add d/p/test-fixes/xpcshell-search-fix-const-redeclaration.patch
  - update debian/patches/series.in
* Don't run the GConf-specific test_421977.js on systems where GSettings
  is available, as it will fail
  - add d/p/t-f/xpcshell-shell-disable-gconf-tests-when-using-gsettings.patch
  - update debian/patches/series.in
* Disable test_upgrade.js and test_upgrade_strictcompat.js xpcshell tests
  for now as they require write access to the application directory
  - add d/p/test-integration/xpcshell-disable-tests-which-need-appdir-write-access.patch
  - update debian/patches/series.in
* Disable test_browserGlue_distribution.js for now as it requires write
  access to the application directory
  - update d/p/test-integration/xpcshell-disable-tests-which-need-appdir-write-access.patch
* Reset the "browser" and "embed-app" content prefs after running content
  mochitests, so that the subsequent DOM browser-element tests don't
  fail
  - add d/p/test-fixes/mochitest-content-reset-permissions-when-done.patch
  - update debian/patches/series.in
* Disable various failing mochitests:
  - add debian/testing/mochitest.json
  - add debian/testing/mochitest-chrome.json
  - update debian/firefox-testsuite.install.in
* Fix issue where some tests were being added to the mochitest tests.jar
  using their absolute path in the build tree
  - add debian/patches/test-fixes/mochitest-tests-jar-fix.patch
  - update debian/patches/series.in
* Don't run the GConf specific browser_420786.js mochitest on systems where
  GSettings is available, as it will fail
  - add d/p/t-f/mochitest-shell-disable-gconf-tests-when-using-gsettings.patch
  - update debian/patches/series.in
* Don't ship the browser_bug538331.js mochitest as this isn't relevant
  when not using the Mozilla AUS
  - add d/p/test-fixes/mochitest-dont-ship-browser-postupdate-test.patch
  - update debian/patches/series.in
* Make "--test-manifest" work when running chrome, browser-chrome and a11y
  mochitests so that we can maintain a distro manifest for these
  - add d/p/test-integration/mochitest-allow-test-manifest-for-chrome.patch
  - update debian/patches/series.in
* Disable failing reftests
  - add d/p/test-overrides/reftest-disable-failing-tests.patch
  - update debian/patches/series.in
* Add vendor xpcshell tests to verify that the search service loads
  the expected number of search plugins from each language pack
  - update debian/build/mozbuild.mk
  - add debian/firefox-testsuite.dirs.in
  - update debian/firefox-testsuite.install.in
  - update debian/rules
  - add debian/testing/xpcshell-package-tests/head_package_tests.js
  - add debian/testing/xpcshell-package-tests/test_searchplugins_valid.js
  - add debian/testing/xpcshell-package-tests/test_searchplugins_valid_real.js
  - add debian/testing/xpcshell-package-tests/xpcshell.ini
  - update debian/tests/control
  - add debian/tests/xpcshell-package-tests
* Drop the hacky perl scripts that were being used to make sure the language
  packs ship the correct plugins. Add a xpcshell test instead
  - update debian/build/mozbuild.mk
  - update debian/rules
  - remove debian/build/refresh-search-modifications.pl
  - remove debian/build/verify-search-overrides.pl
  - remove debian/config/search-mods.list
  - update debian/control.in
  - remove debian/searchplugins/compute-overrides.json
  - add debian/testing/xpcshell-package-tests/test_ubuntu_searchplugins.js
  - add debian/testing/xpcshell-package-tests/test_ubuntu_searchplugins_real.js
  - update debian/testing/xpcshell-package-tests/xpcshell.ini
* Fix a test failure with the Italian Amazon search plugin 
  - update debian/searchplugins/it/amazon-it.xml
* We set intl.locale.matchOS to ensure that Firefox uses the environment
  locale. Add a test to make sure this works as expected
  - add debian/testing/xpcshell-package-tests/test_locale_matchOS.js
  - add debian/testing/xpcshell-package-tests/test_locale_matchOS_real.js
  - update debian/testing/xpcshell-package-tests/head_package_tests.js
  - update debian/testing/xpcshell-package-tests/test_searchplugins_valid.js
  - update debian/testing/xpcshell-package-tests/test_ubuntu_searchplugins.js
  - update debian/testing/xpcshell-package-tests/xpcshell.ini
  - update debian/tests/control
  - update debian/tests/crashtest
  - update debian/tests/jstestbrowser
  - update debian/tests/mochitest
  - update debian/tests/reftest
  - update debian/tests/xpcshell-package-tests
  - update debian/tests/xpcshell-tests
* We modify the user agent, so test that it is correct
  - add debian/testing/xpcshell-package-tests/test_ubuntu_useragent.js
  - update debian/testing/xpcshell-package-tests/xpcshell.ini
* LP: #974146 - Add a "Open a New Private Window" action to the desktop file
  - update debian/firefox.desktop.in
* Don't try to override the Amazon searchplugin for Kashubian or Mongolian,
  as it doesn't exist there
  - add debian/searchplugins/csb/list.txt
  - add debian/searchplugins/mn/list.txt
  - update d/t/xpcshell-package-tests/test_ubuntu_searchplugins_real.js
* Testpilot only enabled on beta now
  - update debian/firefox.install.in
* Don't run dh_scour on the testsuite package, as this screws up a lot
  of reftests and crashtests
  - update debian/build/mozbuild.mk
* Add a test to make sure all of the language packs are loadable by the
  addon manager
  - add debian/testing/xpcshell-package-tests/test_langpack_load.js
  - update debian/testing/xpcshell-package-tests/xpcshell.ini
* Add a test to make sure language pack chrome is registered correctly
  - add debian/testing/xpcshell-package-tests/test_langpack_chrome.js
  - update debian/testing/xpcshell-package-tests/xpcshell.ini
* Disable failing xpcshell tests
  - add d/p/test-overrides/xpcshell-disable-failing-tests.patch
  - update debian/patches/series.in
* Add JUnit output support for reftests
  - add d/p/test-integration/reftest-output-junit-xml.patch
  - update debian/patches/series.in
  - update debian/testing/run_reftest.in
* Allow xpcshell tests to be run with JUnit outputting, and include a fix
  to make sure that the output matches the schema
  - update debian/testing/run_xpcshell_tests.in
  - add d/p/test-integration/xpcshell-output-valid-junit-xml.patch
  - update debian/patches/series.in
* Add JUnit output support for mochitests
  - add d/p/test-integration/mochitest-output-junit-xml.patch
  - update debian/patches/series.in
  - update debian/testing/run_mochitest.in
* Turn on JUnit XML output for all tests
  - update debian/build/mozbuild.mk
  - update debian/tests/crashtest
  - update debian/tests/jstestbrowser
  - update debian/tests/mochitest
  - update debian/tests/reftest
  - update debian/tests/xpcshell-package-tests
  - update debian/tests/xpcshell-tests

Show diffs side-by-side

added added

removed removed

Lines of Context:
debian/build/verify-search-overrides.pl
1
 
#!/usr/bin/perl
2
 
 
3
 
use strict;
4
 
use warnings;
5
 
use XML::Simple;
6
 
use JSON;
7
 
use File::Basename;
8
 
 
9
 
sub check_matches {
10
 
    my $plugin = shift;
11
 
    my $conditions = shift;
12
 
    (ref($conditions) eq "HASH") or die "Ah, shit";
13
 
 
14
 
    my $matches = 0;
15
 
    if (ref($plugin) eq "ARRAY") {
16
 
        foreach my $subvalue (@{$plugin}) {
17
 
            $matches ||= check_matches($subvalue, $conditions);
18
 
        }
19
 
        return $matches;
20
 
    }
21
 
 
22
 
    (ref($plugin) eq "HASH") or return 0;
23
 
    (scalar(keys(%$conditions)) == 0) && return 1;
24
 
 
25
 
    foreach my $key (keys(%$conditions)) {
26
 
        $matches = 0;
27
 
        if (ref($conditions->{$key}) eq "HASH") {
28
 
            $matches = check_matches($plugin->{$key}, $conditions->{$key});
29
 
        } elsif (ref($conditions->{$key}) eq "ARRAY") {
30
 
            $matches = 1;
31
 
            foreach my $condition (@{$conditions->{$key}}) {
32
 
                $matches &&= check_matches($plugin->{$key}, $condition);
33
 
            }
34
 
        } else {
35
 
            if (exists($plugin->{$key}) and ref($plugin->{$key}) ne "HASH" and ref($plugin->{$key}) ne "ARRAY") {
36
 
                $matches = $conditions->{$key} =~ /[\+\?\.\*\^\$\(\)\[\]\{\}\|\\]*/ ? 
37
 
                            ($plugin->{$key} =~ /$conditions->{$key}/) :
38
 
                            ($plugin->{$key} eq $conditions->{$key});
39
 
            }
40
 
        }
41
 
        last if not $matches;
42
 
    }
43
 
 
44
 
    return $matches;
45
 
}
46
 
 
47
 
sub verify_overrides {
48
 
    my $dir = shift;
49
 
    my $lang = shift;
50
 
    my $config = shift;
51
 
    my $overrides = shift;
52
 
 
53
 
    my @plugins = sort(<$dir/$lang/*.xml>);
54
 
    foreach my $plugin (@plugins) {
55
 
        my $xml = new XML::Simple;
56
 
        my $data = $xml->XMLin($plugin, keyattr => []);
57
 
 
58
 
        my $matches = 0;
59
 
        foreach my $conditions (@{$config->{'matches'}}) {
60
 
            $matches = check_matches($data, $conditions);
61
 
            last if $matches;
62
 
        }
63
 
        foreach my $conditions (@{$config->{'ignore'}}) {
64
 
            $matches &&= not check_matches($data, $conditions);
65
 
            last if not $matches;
66
 
        }
67
 
 
68
 
        my $id = basename($plugin);
69
 
        $id =~ s/\.xml$//;
70
 
        my @arr = @{$overrides->{$lang}};
71
 
        my ($index) = grep($arr[$_] eq $id, 0..$#arr);
72
 
        $matches ^ defined($index) and die "Verification failed for $id search plugin in $lang";
73
 
    }
74
 
}
75
 
 
76
 
my $dir;
77
 
my %overrides;
78
 
my $config;
79
 
 
80
 
while (@ARGV) {
81
 
    my $arg = shift;
82
 
    if ($arg eq '-d') {
83
 
        $dir = shift;
84
 
    }
85
 
}
86
 
 
87
 
defined($dir) or die "Missing options";
88
 
 
89
 
open(CONFIG, "debian/searchplugins/compute-overrides.json") or die "Cannot open config";
90
 
my $json;
91
 
while (<CONFIG>) { $json .= $_; }
92
 
close(CONFIG);
93
 
$config = JSON::decode_json($json);
94
 
 
95
 
open(LIST, "debian/config/search-mods.list") and do {
96
 
    my $parsing = 0;
97
 
    while(<LIST>) {
98
 
        if (/^\[Overrides\]$/) {
99
 
            $parsing = 1;
100
 
        } elsif ($parsing == 1) {
101
 
            if (/^\[/) {
102
 
                $parsing = 0;
103
 
            } elsif (/^([^\:]*)\:(.*)/) {
104
 
                my @l = split(',', $2);
105
 
                map($_ = basename($_), @l);
106
 
                map($_ =~ s/\.xml$//, @l);
107
 
                $overrides{$1} = \@l;
108
 
            }
109
 
        }
110
 
    }
111
 
    close(LIST);
112
 
 
113
 
    open(SHIPPED_LOCALES, "debian/config/locales.shipped") or die "Cannot open list of shipped locales";
114
 
    while(<SHIPPED_LOCALES>) {
115
 
        $_ =~ s/#.*//; s/\s*$//;
116
 
        /^([^\:]*)\:.*/ and do {
117
 
            verify_overrides($dir, $1, $config, \%overrides);
118
 
        }
119
 
    }
120
 
    close(SHIPPED_LOCALES);
121
 
}