← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/EncodingAdapter.py

  • Committer: Andrew Bennetts
  • Date: 2010-10-08 08:15:14 UTC
  • mto: This revision was merged to the branch mainline in revision 5498.
  • Revision ID: andrew.bennetts@canonical.com-20101008081514-dviqzrdfwyzsqbz2
Split NEWS into per-release doc/en/release-notes/bzr-*.txt

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/EncodingAdapter.py
 
1
# Copyright (C) 2006, 2009, 2010 Canonical Ltd
 
2
# -*- coding: utf-8 -*-
 
3
#
 
4
# This program is free software; you can redistribute it and/or modify
 
5
# it under the terms of the GNU General Public License as published by
 
6
# the Free Software Foundation; either version 2 of the License, or
 
7
# (at your option) any later version.
 
8
#
 
9
# This program is distributed in the hope that it will be useful,
 
10
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
# GNU General Public License for more details.
 
13
#
 
14
# You should have received a copy of the GNU General Public License
 
15
# along with this program; if not, write to the Free Software
 
16
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
17
 
 
18
"""Adapter for running test cases against multiple encodings."""
 
19
 
 
20
from copy import deepcopy
 
21
 
 
22
# prefix for micro (1/1000000)
 
23
_mu = u'\xb5'
 
24
 
 
25
# greek letter omega, not to be confused with
 
26
# the Ohm sign, u'\u2126'. Though they are probably identical
 
27
# cp437 can handle the first, but not the second
 
28
_omega = u'\u03a9'
 
29
 
 
30
# smallest error possible, epsilon
 
31
# cp437 handles u03b5, but not u2208 the 'element of' operator
 
32
_epsilon = u'\u03b5'
 
33
 
 
34
# Swedish?
 
35
_erik = u'Erik B\xe5gfors'
 
36
 
 
37
# Swedish 'räksmörgås' means shrimp sandwich
 
38
_shrimp_sandwich = u'r\xe4ksm\xf6rg\xe5s'
 
39
 
 
40
# Arabic, probably only Unicode encodings can handle this one
 
41
_juju = u'\u062c\u0648\u062c\u0648'
 
42
 
 
43
# iso-8859-1 alternative for juju
 
44
_juju_alt = u'j\xfbj\xfa'
 
45
 
 
46
# Russian, 'Alexander' in russian
 
47
_alexander = u'\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440'
 
48
# The word 'test' in Russian
 
49
_russian_test = u'\u0422\u0435\u0441\u0442'
 
50
 
 
51
# Kanji
 
52
# It is a kanji sequence for nihonjin, or Japanese in English.
 
53
#
 
54
# '\u4eba' being person, 'u\65e5' sun and '\u672c' origin. Ie,
 
55
# sun-origin-person, 'native from the land where the sun rises'. Note, I'm
 
56
# not a fluent speaker, so this is just my crude breakdown.
 
57
#
 
58
# Wouter van Heyst
 
59
_nihonjin = u'\u65e5\u672c\u4eba'
 
60
 
 
61
# Czech
 
62
# It's what is usually used for showing how fonts look, because it contains
 
63
# most accented characters, ie. in places where Englishman use 'Quick brown fox
 
64
# jumped over a lazy dog'. The literal translation of the Czech version would
 
65
# be something like 'Yellow horse groaned devilish codes'. Actually originally
 
66
# the last word used to be 'ódy' (odes). The 'k' was added as a pun when using
 
67
# the sentece to check whether one has properly set encoding.
 
68
_yellow_horse = (u'\u017dlu\u0165ou\u010dk\xfd k\u016f\u0148'
 
69
                 u' \xfap\u011bl \u010f\xe1belsk\xe9 k\xf3dy')
 
70
_yellow = u'\u017dlu\u0165ou\u010dk\xfd'
 
71
_someone = u'Some\u016f\u0148\u011b'
 
72
_something = u'\u0165ou\u010dk\xfd'
 
73
 
 
74
# Hebrew
 
75
# Shalom -> 'hello' or 'peace', used as a common greeting
 
76
_shalom = u'\u05e9\u05dc\u05d5\u05dd'
 
77
 
 
78
 
 
79
encoding_scenarios = [
 
80
        # Permutation 1 of utf-8
 
81
        ('utf-8,1', {
 
82
            'info': {
 
83
                'committer': _erik,
 
84
                'message': _yellow_horse,
 
85
                'filename': _shrimp_sandwich,
 
86
                'directory': _nihonjin,
 
87
                },
 
88
            'encoding': 'utf-8',
 
89
            }),
 
90
        # Permutation 2 of utf-8
 
91
        ('utf-8,2', {
 
92
            'info': {
 
93
                'committer': _alexander,
 
94
                'message': u'Testing ' + _mu,
 
95
                'filename': _shalom,
 
96
                'directory': _juju,
 
97
                },
 
98
            'encoding': 'utf-8',
 
99
            }),
 
100
        ('iso-8859-1', {
 
101
            'info': {
 
102
                'committer': _erik,
 
103
                'message': u'Testing ' + _mu,
 
104
                'filename': _juju_alt,
 
105
                'directory': _shrimp_sandwich,
 
106
                },
 
107
            'encoding': 'iso-8859-1',
 
108
            }),
 
109
        ('iso-8859-2', {
 
110
            'info': {
 
111
                'committer': _someone,
 
112
                'message': _yellow_horse,
 
113
                'filename': _yellow,
 
114
                'directory': _something,
 
115
                },
 
116
            'encoding': 'iso-8859-2',
 
117
            }),
 
118
        ('cp1251', {
 
119
            'info': {
 
120
                'committer': _alexander,
 
121
                'message': u'Testing ' + _mu,
 
122
                'filename': _russian_test,
 
123
                'directory': _russian_test + 'dir',
 
124
                },
 
125
            'encoding': 'cp1251',
 
126
            }),
 
127
# The iso-8859-1 tests run on a default windows cp437 installation
 
128
# and it takes a long time to run an extra permutation of the tests
 
129
# But just in case we want to add this back in:
 
130
#        ('cp437', {'committer':_erik
 
131
#                  , 'message':u'Testing ' + _mu
 
132
#                  , 'filename':'file_' + _omega
 
133
#                  , 'directory':_epsilon + '_dir',
 
134
#            'encoding': 'cp437'}),
 
135
    ]