~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_osutils.py

  • Committer: Martin Packman
  • Date: 2011-12-23 19:38:22 UTC
  • mto: This revision was merged to the branch mainline in revision 6405.
  • Revision ID: martin.packman@canonical.com-20111223193822-hesheea4o8aqwexv
Accept and document passing the medium rather than transport for smart connections

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""Tests for the osutils wrapper."""
18
18
 
 
19
from cStringIO import StringIO
19
20
import errno
20
21
import os
 
22
import re
 
23
import select
21
24
import socket
22
 
import stat
23
25
import sys
 
26
import time
24
27
 
25
 
import bzrlib
26
28
from bzrlib import (
27
29
    errors,
 
30
    lazy_regex,
28
31
    osutils,
 
32
    symbol_versioning,
 
33
    tests,
 
34
    trace,
29
35
    win32utils,
30
36
    )
31
 
from bzrlib.errors import BzrBadParameterNotUnicode, InvalidURL
32
37
from bzrlib.tests import (
33
 
        StringIOWrapper,
34
 
        TestCase, 
35
 
        TestCaseInTempDir, 
36
 
        TestSkipped,
37
 
        )
38
 
 
39
 
 
40
 
class TestOSUtils(TestCaseInTempDir):
 
38
    features,
 
39
    file_utils,
 
40
    test__walkdirs_win32,
 
41
    )
 
42
from bzrlib.tests.scenarios import load_tests_apply_scenarios
 
43
 
 
44
 
 
45
class _UTF8DirReaderFeature(features.Feature):
 
46
 
 
47
    def _probe(self):
 
48
        try:
 
49
            from bzrlib import _readdir_pyx
 
50
            self.reader = _readdir_pyx.UTF8DirReader
 
51
            return True
 
52
        except ImportError:
 
53
            return False
 
54
 
 
55
    def feature_name(self):
 
56
        return 'bzrlib._readdir_pyx'
 
57
 
 
58
UTF8DirReaderFeature = features.ModuleAvailableFeature('bzrlib._readdir_pyx')
 
59
 
 
60
term_ios_feature = features.ModuleAvailableFeature('termios')
 
61
 
 
62
 
 
63
def _already_unicode(s):
 
64
    return s
 
65
 
 
66
 
 
67
def _utf8_to_unicode(s):
 
68
    return s.decode('UTF-8')
 
69
 
 
70
 
 
71
def dir_reader_scenarios():
 
72
    # For each dir reader we define:
 
73
 
 
74
    # - native_to_unicode: a function converting the native_abspath as returned
 
75
    #   by DirReader.read_dir to its unicode representation
 
76
 
 
77
    # UnicodeDirReader is the fallback, it should be tested on all platforms.
 
78
    scenarios = [('unicode',
 
79
                  dict(_dir_reader_class=osutils.UnicodeDirReader,
 
80
                       _native_to_unicode=_already_unicode))]
 
81
    # Some DirReaders are platform specific and even there they may not be
 
82
    # available.
 
83
    if UTF8DirReaderFeature.available():
 
84
        from bzrlib import _readdir_pyx
 
85
        scenarios.append(('utf8',
 
86
                          dict(_dir_reader_class=_readdir_pyx.UTF8DirReader,
 
87
                               _native_to_unicode=_utf8_to_unicode)))
 
88
 
 
89
    if test__walkdirs_win32.win32_readdir_feature.available():
 
90
        try:
 
91
            from bzrlib import _walkdirs_win32
 
92
            scenarios.append(
 
93
                ('win32',
 
94
                 dict(_dir_reader_class=_walkdirs_win32.Win32ReadDir,
 
95
                      _native_to_unicode=_already_unicode)))
 
96
        except ImportError:
 
97
            pass
 
98
    return scenarios
 
99
 
 
100
 
 
101
load_tests = load_tests_apply_scenarios
 
102
 
 
103
 
 
104
class TestContainsWhitespace(tests.TestCase):
41
105
 
42
106
    def test_contains_whitespace(self):
43
 
        self.failUnless(osutils.contains_whitespace(u' '))
44
 
        self.failUnless(osutils.contains_whitespace(u'hello there'))
45
 
        self.failUnless(osutils.contains_whitespace(u'hellothere\n'))
46
 
        self.failUnless(osutils.contains_whitespace(u'hello\nthere'))
47
 
        self.failUnless(osutils.contains_whitespace(u'hello\rthere'))
48
 
        self.failUnless(osutils.contains_whitespace(u'hello\tthere'))
 
107
        self.assertTrue(osutils.contains_whitespace(u' '))
 
108
        self.assertTrue(osutils.contains_whitespace(u'hello there'))
 
109
        self.assertTrue(osutils.contains_whitespace(u'hellothere\n'))
 
110
        self.assertTrue(osutils.contains_whitespace(u'hello\nthere'))
 
111
        self.assertTrue(osutils.contains_whitespace(u'hello\rthere'))
 
112
        self.assertTrue(osutils.contains_whitespace(u'hello\tthere'))
49
113
 
50
114
        # \xa0 is "Non-breaking-space" which on some python locales thinks it
51
115
        # is whitespace, but we do not.
52
 
        self.failIf(osutils.contains_whitespace(u''))
53
 
        self.failIf(osutils.contains_whitespace(u'hellothere'))
54
 
        self.failIf(osutils.contains_whitespace(u'hello\xa0there'))
 
116
        self.assertFalse(osutils.contains_whitespace(u''))
 
117
        self.assertFalse(osutils.contains_whitespace(u'hellothere'))
 
118
        self.assertFalse(osutils.contains_whitespace(u'hello\xa0there'))
 
119
 
 
120
 
 
121
class TestRename(tests.TestCaseInTempDir):
 
122
 
 
123
    def create_file(self, filename, content):
 
124
        f = open(filename, 'wb')
 
125
        try:
 
126
            f.write(content)
 
127
        finally:
 
128
            f.close()
 
129
 
 
130
    def _fancy_rename(self, a, b):
 
131
        osutils.fancy_rename(a, b, rename_func=os.rename,
 
132
                             unlink_func=os.unlink)
55
133
 
56
134
    def test_fancy_rename(self):
57
135
        # This should work everywhere
58
 
        def rename(a, b):
59
 
            osutils.fancy_rename(a, b,
60
 
                    rename_func=os.rename,
61
 
                    unlink_func=os.unlink)
62
 
 
63
 
        open('a', 'wb').write('something in a\n')
64
 
        rename('a', 'b')
65
 
        self.failIfExists('a')
66
 
        self.failUnlessExists('b')
 
136
        self.create_file('a', 'something in a\n')
 
137
        self._fancy_rename('a', 'b')
 
138
        self.assertPathDoesNotExist('a')
 
139
        self.assertPathExists('b')
67
140
        self.check_file_contents('b', 'something in a\n')
68
141
 
69
 
        open('a', 'wb').write('new something in a\n')
70
 
        rename('b', 'a')
 
142
        self.create_file('a', 'new something in a\n')
 
143
        self._fancy_rename('b', 'a')
71
144
 
72
145
        self.check_file_contents('a', 'something in a\n')
73
146
 
 
147
    def test_fancy_rename_fails_source_missing(self):
 
148
        # An exception should be raised, and the target should be left in place
 
149
        self.create_file('target', 'data in target\n')
 
150
        self.assertRaises((IOError, OSError), self._fancy_rename,
 
151
                          'missingsource', 'target')
 
152
        self.assertPathExists('target')
 
153
        self.check_file_contents('target', 'data in target\n')
 
154
 
 
155
    def test_fancy_rename_fails_if_source_and_target_missing(self):
 
156
        self.assertRaises((IOError, OSError), self._fancy_rename,
 
157
                          'missingsource', 'missingtarget')
 
158
 
74
159
    def test_rename(self):
75
160
        # Rename should be semi-atomic on all platforms
76
 
        open('a', 'wb').write('something in a\n')
 
161
        self.create_file('a', 'something in a\n')
77
162
        osutils.rename('a', 'b')
78
 
        self.failIfExists('a')
79
 
        self.failUnlessExists('b')
 
163
        self.assertPathDoesNotExist('a')
 
164
        self.assertPathExists('b')
80
165
        self.check_file_contents('b', 'something in a\n')
81
166
 
82
 
        open('a', 'wb').write('new something in a\n')
 
167
        self.create_file('a', 'new something in a\n')
83
168
        osutils.rename('b', 'a')
84
169
 
85
170
        self.check_file_contents('a', 'something in a\n')
86
171
 
87
172
    # TODO: test fancy_rename using a MemoryTransport
88
173
 
 
174
    def test_rename_change_case(self):
 
175
        # on Windows we should be able to change filename case by rename
 
176
        self.build_tree(['a', 'b/'])
 
177
        osutils.rename('a', 'A')
 
178
        osutils.rename('b', 'B')
 
179
        # we can't use failUnlessExists on case-insensitive filesystem
 
180
        # so try to check shape of the tree
 
181
        shape = sorted(os.listdir('.'))
 
182
        self.assertEquals(['A', 'B'], shape)
 
183
 
 
184
 
 
185
class TestRandChars(tests.TestCase):
 
186
 
89
187
    def test_01_rand_chars_empty(self):
90
188
        result = osutils.rand_chars(0)
91
189
        self.assertEqual(result, '')
96
194
        self.assertEqual(type(result), str)
97
195
        self.assertContainsRe(result, r'^[a-z0-9]{100}$')
98
196
 
 
197
 
 
198
class TestIsInside(tests.TestCase):
 
199
 
99
200
    def test_is_inside(self):
100
201
        is_inside = osutils.is_inside
101
202
        self.assertTrue(is_inside('src', 'src/foo.c'))
105
206
        self.assertFalse(is_inside('foo.c', ''))
106
207
        self.assertTrue(is_inside('', 'foo.c'))
107
208
 
 
209
    def test_is_inside_any(self):
 
210
        SRC_FOO_C = osutils.pathjoin('src', 'foo.c')
 
211
        for dirs, fn in [(['src', 'doc'], SRC_FOO_C),
 
212
                         (['src'], SRC_FOO_C),
 
213
                         (['src'], 'src'),
 
214
                         ]:
 
215
            self.assert_(osutils.is_inside_any(dirs, fn))
 
216
        for dirs, fn in [(['src'], 'srccontrol'),
 
217
                         (['src'], 'srccontrol/foo')]:
 
218
            self.assertFalse(osutils.is_inside_any(dirs, fn))
 
219
 
 
220
    def test_is_inside_or_parent_of_any(self):
 
221
        for dirs, fn in [(['src', 'doc'], 'src/foo.c'),
 
222
                         (['src'], 'src/foo.c'),
 
223
                         (['src/bar.c'], 'src'),
 
224
                         (['src/bar.c', 'bla/foo.c'], 'src'),
 
225
                         (['src'], 'src'),
 
226
                         ]:
 
227
            self.assert_(osutils.is_inside_or_parent_of_any(dirs, fn))
 
228
 
 
229
        for dirs, fn in [(['src'], 'srccontrol'),
 
230
                         (['srccontrol/foo.c'], 'src'),
 
231
                         (['src'], 'srccontrol/foo')]:
 
232
            self.assertFalse(osutils.is_inside_or_parent_of_any(dirs, fn))
 
233
 
 
234
 
 
235
class TestLstat(tests.TestCaseInTempDir):
 
236
 
 
237
    def test_lstat_matches_fstat(self):
 
238
        # On Windows, lstat and fstat don't always agree, primarily in the
 
239
        # 'st_ino' and 'st_dev' fields. So we force them to be '0' in our
 
240
        # custom implementation.
 
241
        if sys.platform == 'win32':
 
242
            # We only have special lstat/fstat if we have the extension.
 
243
            # Without it, we may end up re-reading content when we don't have
 
244
            # to, but otherwise it doesn't effect correctness.
 
245
            self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
246
        f = open('test-file.txt', 'wb')
 
247
        self.addCleanup(f.close)
 
248
        f.write('some content\n')
 
249
        f.flush()
 
250
        self.assertEqualStat(osutils.fstat(f.fileno()),
 
251
                             osutils.lstat('test-file.txt'))
 
252
 
 
253
 
 
254
class TestRmTree(tests.TestCaseInTempDir):
 
255
 
108
256
    def test_rmtree(self):
109
257
        # Check to remove tree with read-only files/dirs
110
258
        os.mkdir('dir')
120
268
 
121
269
        osutils.rmtree('dir')
122
270
 
123
 
        self.failIfExists('dir/file')
124
 
        self.failIfExists('dir')
 
271
        self.assertPathDoesNotExist('dir/file')
 
272
        self.assertPathDoesNotExist('dir')
 
273
 
 
274
 
 
275
class TestDeleteAny(tests.TestCaseInTempDir):
 
276
 
 
277
    def test_delete_any_readonly(self):
 
278
        # from <https://bugs.launchpad.net/bzr/+bug/218206>
 
279
        self.build_tree(['d/', 'f'])
 
280
        osutils.make_readonly('d')
 
281
        osutils.make_readonly('f')
 
282
 
 
283
        osutils.delete_any('f')
 
284
        osutils.delete_any('d')
 
285
 
 
286
 
 
287
class TestKind(tests.TestCaseInTempDir):
125
288
 
126
289
    def test_file_kind(self):
127
290
        self.build_tree(['file', 'dir/'])
130
293
        if osutils.has_symlinks():
131
294
            os.symlink('symlink', 'symlink')
132
295
            self.assertEquals('symlink', osutils.file_kind('symlink'))
133
 
        
 
296
 
134
297
        # TODO: jam 20060529 Test a block device
135
298
        try:
136
299
            os.lstat('/dev/null')
158
321
                os.remove('socket')
159
322
 
160
323
    def test_kind_marker(self):
161
 
        self.assertEqual(osutils.kind_marker('file'), '')
162
 
        self.assertEqual(osutils.kind_marker('directory'), '/')
163
 
        self.assertEqual(osutils.kind_marker('symlink'), '@')
164
 
        self.assertEqual(osutils.kind_marker('tree-reference'), '+')
 
324
        self.assertEqual("", osutils.kind_marker("file"))
 
325
        self.assertEqual("/", osutils.kind_marker('directory'))
 
326
        self.assertEqual("/", osutils.kind_marker(osutils._directory_kind))
 
327
        self.assertEqual("@", osutils.kind_marker("symlink"))
 
328
        self.assertEqual("+", osutils.kind_marker("tree-reference"))
 
329
        self.assertEqual("", osutils.kind_marker("fifo"))
 
330
        self.assertEqual("", osutils.kind_marker("socket"))
 
331
        self.assertEqual("", osutils.kind_marker("unknown"))
 
332
 
 
333
 
 
334
class TestUmask(tests.TestCaseInTempDir):
165
335
 
166
336
    def test_get_umask(self):
167
337
        if sys.platform == 'win32':
170
340
            return
171
341
 
172
342
        orig_umask = osutils.get_umask()
173
 
        try:
174
 
            os.umask(0222)
175
 
            self.assertEqual(0222, osutils.get_umask())
176
 
            os.umask(0022)
177
 
            self.assertEqual(0022, osutils.get_umask())
178
 
            os.umask(0002)
179
 
            self.assertEqual(0002, osutils.get_umask())
180
 
            os.umask(0027)
181
 
            self.assertEqual(0027, osutils.get_umask())
182
 
        finally:
183
 
            os.umask(orig_umask)
 
343
        self.addCleanup(os.umask, orig_umask)
 
344
        os.umask(0222)
 
345
        self.assertEqual(0222, osutils.get_umask())
 
346
        os.umask(0022)
 
347
        self.assertEqual(0022, osutils.get_umask())
 
348
        os.umask(0002)
 
349
        self.assertEqual(0002, osutils.get_umask())
 
350
        os.umask(0027)
 
351
        self.assertEqual(0027, osutils.get_umask())
 
352
 
 
353
 
 
354
class TestDateTime(tests.TestCase):
184
355
 
185
356
    def assertFormatedDelta(self, expected, seconds):
186
357
        """Assert osutils.format_delta formats as expected"""
218
389
        self.assertFormatedDelta('1 second in the future', -1)
219
390
        self.assertFormatedDelta('2 seconds in the future', -2)
220
391
 
 
392
    def test_format_date(self):
 
393
        self.assertRaises(errors.UnsupportedTimezoneFormat,
 
394
            osutils.format_date, 0, timezone='foo')
 
395
        self.assertIsInstance(osutils.format_date(0), str)
 
396
        self.assertIsInstance(osutils.format_local_date(0), unicode)
 
397
        # Testing for the actual value of the local weekday without
 
398
        # duplicating the code from format_date is difficult.
 
399
        # Instead blackbox.test_locale should check for localized
 
400
        # dates once they do occur in output strings.
 
401
 
 
402
    def test_format_date_with_offset_in_original_timezone(self):
 
403
        self.assertEqual("Thu 1970-01-01 00:00:00 +0000",
 
404
            osutils.format_date_with_offset_in_original_timezone(0))
 
405
        self.assertEqual("Fri 1970-01-02 03:46:40 +0000",
 
406
            osutils.format_date_with_offset_in_original_timezone(100000))
 
407
        self.assertEqual("Fri 1970-01-02 05:46:40 +0200",
 
408
            osutils.format_date_with_offset_in_original_timezone(100000, 7200))
 
409
 
 
410
    def test_local_time_offset(self):
 
411
        """Test that local_time_offset() returns a sane value."""
 
412
        offset = osutils.local_time_offset()
 
413
        self.assertTrue(isinstance(offset, int))
 
414
        # Test that the offset is no more than a eighteen hours in
 
415
        # either direction.
 
416
        # Time zone handling is system specific, so it is difficult to
 
417
        # do more specific tests, but a value outside of this range is
 
418
        # probably wrong.
 
419
        eighteen_hours = 18 * 3600
 
420
        self.assertTrue(-eighteen_hours < offset < eighteen_hours)
 
421
 
 
422
    def test_local_time_offset_with_timestamp(self):
 
423
        """Test that local_time_offset() works with a timestamp."""
 
424
        offset = osutils.local_time_offset(1000000000.1234567)
 
425
        self.assertTrue(isinstance(offset, int))
 
426
        eighteen_hours = 18 * 3600
 
427
        self.assertTrue(-eighteen_hours < offset < eighteen_hours)
 
428
 
 
429
 
 
430
class TestLinks(tests.TestCaseInTempDir):
 
431
 
221
432
    def test_dereference_path(self):
222
 
        if not osutils.has_symlinks():
223
 
            raise TestSkipped('Symlinks are not supported on this platform')
 
433
        self.requireFeature(features.SymlinkFeature)
224
434
        cwd = osutils.realpath('.')
225
435
        os.mkdir('bar')
226
436
        bar_path = osutils.pathjoin(cwd, 'bar')
229
439
        self.assertEqual(bar_path, osutils.realpath('./bar'))
230
440
        os.symlink('bar', 'foo')
231
441
        self.assertEqual(bar_path, osutils.realpath('./foo'))
232
 
        
 
442
 
233
443
        # Does not dereference terminal symlinks
234
444
        foo_path = osutils.pathjoin(cwd, 'foo')
235
445
        self.assertEqual(foo_path, osutils.dereference_path('./foo'))
246
456
        foo_baz_path = osutils.pathjoin(foo_path, 'baz')
247
457
        self.assertEqual(baz_path, osutils.dereference_path(foo_baz_path))
248
458
 
249
 
 
250
459
    def test_changing_access(self):
251
460
        f = file('file', 'w')
252
461
        f.write('monkey')
254
463
 
255
464
        # Make a file readonly
256
465
        osutils.make_readonly('file')
257
 
        mode = osutils.lstat('file').st_mode
 
466
        mode = os.lstat('file').st_mode
258
467
        self.assertEqual(mode, mode & 0777555)
259
468
 
260
469
        # Make a file writable
261
470
        osutils.make_writable('file')
262
 
        mode = osutils.lstat('file').st_mode
 
471
        mode = os.lstat('file').st_mode
263
472
        self.assertEqual(mode, mode | 0200)
264
473
 
265
474
        if osutils.has_symlinks():
268
477
            osutils.make_readonly('dangling')
269
478
            osutils.make_writable('dangling')
270
479
 
271
 
 
272
 
    def test_kind_marker(self):
273
 
        self.assertEqual("", osutils.kind_marker("file"))
274
 
        self.assertEqual("/", osutils.kind_marker(osutils._directory_kind))
275
 
        self.assertEqual("@", osutils.kind_marker("symlink"))
276
 
        self.assertRaises(errors.BzrError, osutils.kind_marker, "unknown")
277
 
 
278
 
 
279
 
class TestSafeUnicode(TestCase):
 
480
    def test_host_os_dereferences_symlinks(self):
 
481
        osutils.host_os_dereferences_symlinks()
 
482
 
 
483
 
 
484
class TestCanonicalRelPath(tests.TestCaseInTempDir):
 
485
 
 
486
    _test_needs_features = [features.CaseInsCasePresFilenameFeature]
 
487
 
 
488
    def test_canonical_relpath_simple(self):
 
489
        f = file('MixedCaseName', 'w')
 
490
        f.close()
 
491
        actual = osutils.canonical_relpath(self.test_base_dir, 'mixedcasename')
 
492
        self.assertEqual('work/MixedCaseName', actual)
 
493
 
 
494
    def test_canonical_relpath_missing_tail(self):
 
495
        os.mkdir('MixedCaseParent')
 
496
        actual = osutils.canonical_relpath(self.test_base_dir,
 
497
                                           'mixedcaseparent/nochild')
 
498
        self.assertEqual('work/MixedCaseParent/nochild', actual)
 
499
 
 
500
 
 
501
class Test_CICPCanonicalRelpath(tests.TestCaseWithTransport):
 
502
 
 
503
    def assertRelpath(self, expected, base, path):
 
504
        actual = osutils._cicp_canonical_relpath(base, path)
 
505
        self.assertEqual(expected, actual)
 
506
 
 
507
    def test_simple(self):
 
508
        self.build_tree(['MixedCaseName'])
 
509
        base = osutils.realpath(self.get_transport('.').local_abspath('.'))
 
510
        self.assertRelpath('MixedCaseName', base, 'mixedcAsename')
 
511
 
 
512
    def test_subdir_missing_tail(self):
 
513
        self.build_tree(['MixedCaseParent/', 'MixedCaseParent/a_child'])
 
514
        base = osutils.realpath(self.get_transport('.').local_abspath('.'))
 
515
        self.assertRelpath('MixedCaseParent/a_child', base,
 
516
                           'MixedCaseParent/a_child')
 
517
        self.assertRelpath('MixedCaseParent/a_child', base,
 
518
                           'MixedCaseParent/A_Child')
 
519
        self.assertRelpath('MixedCaseParent/not_child', base,
 
520
                           'MixedCaseParent/not_child')
 
521
 
 
522
    def test_at_root_slash(self):
 
523
        # We can't test this on Windows, because it has a 'MIN_ABS_PATHLENGTH'
 
524
        # check...
 
525
        if osutils.MIN_ABS_PATHLENGTH > 1:
 
526
            raise tests.TestSkipped('relpath requires %d chars'
 
527
                                    % osutils.MIN_ABS_PATHLENGTH)
 
528
        self.assertRelpath('foo', '/', '/foo')
 
529
 
 
530
    def test_at_root_drive(self):
 
531
        if sys.platform != 'win32':
 
532
            raise tests.TestNotApplicable('we can only test drive-letter relative'
 
533
                                          ' paths on Windows where we have drive'
 
534
                                          ' letters.')
 
535
        # see bug #322807
 
536
        # The specific issue is that when at the root of a drive, 'abspath'
 
537
        # returns "C:/" or just "/". However, the code assumes that abspath
 
538
        # always returns something like "C:/foo" or "/foo" (no trailing slash).
 
539
        self.assertRelpath('foo', 'C:/', 'C:/foo')
 
540
        self.assertRelpath('foo', 'X:/', 'X:/foo')
 
541
        self.assertRelpath('foo', 'X:/', 'X://foo')
 
542
 
 
543
 
 
544
class TestPumpFile(tests.TestCase):
 
545
    """Test pumpfile method."""
 
546
 
 
547
    def setUp(self):
 
548
        tests.TestCase.setUp(self)
 
549
        # create a test datablock
 
550
        self.block_size = 512
 
551
        pattern = '0123456789ABCDEF'
 
552
        self.test_data = pattern * (3 * self.block_size / len(pattern))
 
553
        self.test_data_len = len(self.test_data)
 
554
 
 
555
    def test_bracket_block_size(self):
 
556
        """Read data in blocks with the requested read size bracketing the
 
557
        block size."""
 
558
        # make sure test data is larger than max read size
 
559
        self.assertTrue(self.test_data_len > self.block_size)
 
560
 
 
561
        from_file = file_utils.FakeReadFile(self.test_data)
 
562
        to_file = StringIO()
 
563
 
 
564
        # read (max / 2) bytes and verify read size wasn't affected
 
565
        num_bytes_to_read = self.block_size / 2
 
566
        osutils.pumpfile(from_file, to_file, num_bytes_to_read, self.block_size)
 
567
        self.assertEqual(from_file.get_max_read_size(), num_bytes_to_read)
 
568
        self.assertEqual(from_file.get_read_count(), 1)
 
569
 
 
570
        # read (max) bytes and verify read size wasn't affected
 
571
        num_bytes_to_read = self.block_size
 
572
        from_file.reset_read_count()
 
573
        osutils.pumpfile(from_file, to_file, num_bytes_to_read, self.block_size)
 
574
        self.assertEqual(from_file.get_max_read_size(), num_bytes_to_read)
 
575
        self.assertEqual(from_file.get_read_count(), 1)
 
576
 
 
577
        # read (max + 1) bytes and verify read size was limited
 
578
        num_bytes_to_read = self.block_size + 1
 
579
        from_file.reset_read_count()
 
580
        osutils.pumpfile(from_file, to_file, num_bytes_to_read, self.block_size)
 
581
        self.assertEqual(from_file.get_max_read_size(), self.block_size)
 
582
        self.assertEqual(from_file.get_read_count(), 2)
 
583
 
 
584
        # finish reading the rest of the data
 
585
        num_bytes_to_read = self.test_data_len - to_file.tell()
 
586
        osutils.pumpfile(from_file, to_file, num_bytes_to_read, self.block_size)
 
587
 
 
588
        # report error if the data wasn't equal (we only report the size due
 
589
        # to the length of the data)
 
590
        response_data = to_file.getvalue()
 
591
        if response_data != self.test_data:
 
592
            message = "Data not equal.  Expected %d bytes, received %d."
 
593
            self.fail(message % (len(response_data), self.test_data_len))
 
594
 
 
595
    def test_specified_size(self):
 
596
        """Request a transfer larger than the maximum block size and verify
 
597
        that the maximum read doesn't exceed the block_size."""
 
598
        # make sure test data is larger than max read size
 
599
        self.assertTrue(self.test_data_len > self.block_size)
 
600
 
 
601
        # retrieve data in blocks
 
602
        from_file = file_utils.FakeReadFile(self.test_data)
 
603
        to_file = StringIO()
 
604
        osutils.pumpfile(from_file, to_file, self.test_data_len,
 
605
                         self.block_size)
 
606
 
 
607
        # verify read size was equal to the maximum read size
 
608
        self.assertTrue(from_file.get_max_read_size() > 0)
 
609
        self.assertEqual(from_file.get_max_read_size(), self.block_size)
 
610
        self.assertEqual(from_file.get_read_count(), 3)
 
611
 
 
612
        # report error if the data wasn't equal (we only report the size due
 
613
        # to the length of the data)
 
614
        response_data = to_file.getvalue()
 
615
        if response_data != self.test_data:
 
616
            message = "Data not equal.  Expected %d bytes, received %d."
 
617
            self.fail(message % (len(response_data), self.test_data_len))
 
618
 
 
619
    def test_to_eof(self):
 
620
        """Read to end-of-file and verify that the reads are not larger than
 
621
        the maximum read size."""
 
622
        # make sure test data is larger than max read size
 
623
        self.assertTrue(self.test_data_len > self.block_size)
 
624
 
 
625
        # retrieve data to EOF
 
626
        from_file = file_utils.FakeReadFile(self.test_data)
 
627
        to_file = StringIO()
 
628
        osutils.pumpfile(from_file, to_file, -1, self.block_size)
 
629
 
 
630
        # verify read size was equal to the maximum read size
 
631
        self.assertEqual(from_file.get_max_read_size(), self.block_size)
 
632
        self.assertEqual(from_file.get_read_count(), 4)
 
633
 
 
634
        # report error if the data wasn't equal (we only report the size due
 
635
        # to the length of the data)
 
636
        response_data = to_file.getvalue()
 
637
        if response_data != self.test_data:
 
638
            message = "Data not equal.  Expected %d bytes, received %d."
 
639
            self.fail(message % (len(response_data), self.test_data_len))
 
640
 
 
641
    def test_defaults(self):
 
642
        """Verifies that the default arguments will read to EOF -- this
 
643
        test verifies that any existing usages of pumpfile will not be broken
 
644
        with this new version."""
 
645
        # retrieve data using default (old) pumpfile method
 
646
        from_file = file_utils.FakeReadFile(self.test_data)
 
647
        to_file = StringIO()
 
648
        osutils.pumpfile(from_file, to_file)
 
649
 
 
650
        # report error if the data wasn't equal (we only report the size due
 
651
        # to the length of the data)
 
652
        response_data = to_file.getvalue()
 
653
        if response_data != self.test_data:
 
654
            message = "Data not equal.  Expected %d bytes, received %d."
 
655
            self.fail(message % (len(response_data), self.test_data_len))
 
656
 
 
657
    def test_report_activity(self):
 
658
        activity = []
 
659
        def log_activity(length, direction):
 
660
            activity.append((length, direction))
 
661
        from_file = StringIO(self.test_data)
 
662
        to_file = StringIO()
 
663
        osutils.pumpfile(from_file, to_file, buff_size=500,
 
664
                         report_activity=log_activity, direction='read')
 
665
        self.assertEqual([(500, 'read'), (500, 'read'), (500, 'read'),
 
666
                          (36, 'read')], activity)
 
667
 
 
668
        from_file = StringIO(self.test_data)
 
669
        to_file = StringIO()
 
670
        del activity[:]
 
671
        osutils.pumpfile(from_file, to_file, buff_size=500,
 
672
                         report_activity=log_activity, direction='write')
 
673
        self.assertEqual([(500, 'write'), (500, 'write'), (500, 'write'),
 
674
                          (36, 'write')], activity)
 
675
 
 
676
        # And with a limited amount of data
 
677
        from_file = StringIO(self.test_data)
 
678
        to_file = StringIO()
 
679
        del activity[:]
 
680
        osutils.pumpfile(from_file, to_file, buff_size=500, read_length=1028,
 
681
                         report_activity=log_activity, direction='read')
 
682
        self.assertEqual([(500, 'read'), (500, 'read'), (28, 'read')], activity)
 
683
 
 
684
 
 
685
 
 
686
class TestPumpStringFile(tests.TestCase):
 
687
 
 
688
    def test_empty(self):
 
689
        output = StringIO()
 
690
        osutils.pump_string_file("", output)
 
691
        self.assertEqual("", output.getvalue())
 
692
 
 
693
    def test_more_than_segment_size(self):
 
694
        output = StringIO()
 
695
        osutils.pump_string_file("123456789", output, 2)
 
696
        self.assertEqual("123456789", output.getvalue())
 
697
 
 
698
    def test_segment_size(self):
 
699
        output = StringIO()
 
700
        osutils.pump_string_file("12", output, 2)
 
701
        self.assertEqual("12", output.getvalue())
 
702
 
 
703
    def test_segment_size_multiple(self):
 
704
        output = StringIO()
 
705
        osutils.pump_string_file("1234", output, 2)
 
706
        self.assertEqual("1234", output.getvalue())
 
707
 
 
708
 
 
709
class TestRelpath(tests.TestCase):
 
710
 
 
711
    def test_simple_relpath(self):
 
712
        cwd = osutils.getcwd()
 
713
        subdir = cwd + '/subdir'
 
714
        self.assertEqual('subdir', osutils.relpath(cwd, subdir))
 
715
 
 
716
    def test_deep_relpath(self):
 
717
        cwd = osutils.getcwd()
 
718
        subdir = cwd + '/sub/subsubdir'
 
719
        self.assertEqual('sub/subsubdir', osutils.relpath(cwd, subdir))
 
720
 
 
721
    def test_not_relative(self):
 
722
        self.assertRaises(errors.PathNotChild,
 
723
                          osutils.relpath, 'C:/path', 'H:/path')
 
724
        self.assertRaises(errors.PathNotChild,
 
725
                          osutils.relpath, 'C:/', 'H:/path')
 
726
 
 
727
 
 
728
class TestSafeUnicode(tests.TestCase):
280
729
 
281
730
    def test_from_ascii_string(self):
282
731
        self.assertEqual(u'foobar', osutils.safe_unicode('foobar'))
291
740
        self.assertEqual(u'foo\xae', osutils.safe_unicode('foo\xc2\xae'))
292
741
 
293
742
    def test_bad_utf8_string(self):
294
 
        self.assertRaises(BzrBadParameterNotUnicode,
 
743
        self.assertRaises(errors.BzrBadParameterNotUnicode,
295
744
                          osutils.safe_unicode,
296
745
                          '\xbb\xbb')
297
746
 
298
747
 
299
 
class TestSafeUtf8(TestCase):
 
748
class TestSafeUtf8(tests.TestCase):
300
749
 
301
750
    def test_from_ascii_string(self):
302
751
        f = 'foobar'
312
761
        self.assertEqual('foo\xc2\xae', osutils.safe_utf8('foo\xc2\xae'))
313
762
 
314
763
    def test_bad_utf8_string(self):
315
 
        self.assertRaises(BzrBadParameterNotUnicode,
 
764
        self.assertRaises(errors.BzrBadParameterNotUnicode,
316
765
                          osutils.safe_utf8, '\xbb\xbb')
317
766
 
318
767
 
319
 
class TestSafeRevisionId(TestCase):
 
768
class TestSafeRevisionId(tests.TestCase):
320
769
 
321
770
    def test_from_ascii_string(self):
 
771
        # this shouldn't give a warning because it's getting an ascii string
322
772
        self.assertEqual('foobar', osutils.safe_revision_id('foobar'))
323
773
 
324
774
    def test_from_unicode_string_ascii_contents(self):
343
793
        self.assertEqual(None, osutils.safe_revision_id(None))
344
794
 
345
795
 
346
 
class TestSafeFileId(TestCase):
 
796
class TestSafeFileId(tests.TestCase):
347
797
 
348
798
    def test_from_ascii_string(self):
349
799
        self.assertEqual('foobar', osutils.safe_file_id('foobar'))
369
819
        self.assertEqual(None, osutils.safe_file_id(None))
370
820
 
371
821
 
372
 
class TestWin32Funcs(TestCase):
373
 
    """Test that the _win32 versions of os utilities return appropriate paths."""
 
822
class TestPosixFuncs(tests.TestCase):
 
823
    """Test that the posix version of normpath returns an appropriate path
 
824
       when used with 2 leading slashes."""
 
825
 
 
826
    def test_normpath(self):
 
827
        self.assertEqual('/etc/shadow', osutils._posix_normpath('/etc/shadow'))
 
828
        self.assertEqual('/etc/shadow', osutils._posix_normpath('//etc/shadow'))
 
829
        self.assertEqual('/etc/shadow', osutils._posix_normpath('///etc/shadow'))
 
830
 
 
831
 
 
832
class TestWin32Funcs(tests.TestCase):
 
833
    """Test that _win32 versions of os utilities return appropriate paths."""
374
834
 
375
835
    def test_abspath(self):
376
836
        self.assertEqual('C:/foo', osutils._win32_abspath('C:\\foo'))
383
843
        self.assertEqual('C:/foo', osutils._win32_realpath('C:/foo'))
384
844
 
385
845
    def test_pathjoin(self):
386
 
        self.assertEqual('path/to/foo', osutils._win32_pathjoin('path', 'to', 'foo'))
387
 
        self.assertEqual('C:/foo', osutils._win32_pathjoin('path\\to', 'C:\\foo'))
388
 
        self.assertEqual('C:/foo', osutils._win32_pathjoin('path/to', 'C:/foo'))
389
 
        self.assertEqual('path/to/foo', osutils._win32_pathjoin('path/to/', 'foo'))
390
 
        self.assertEqual('/foo', osutils._win32_pathjoin('C:/path/to/', '/foo'))
391
 
        self.assertEqual('/foo', osutils._win32_pathjoin('C:\\path\\to\\', '\\foo'))
 
846
        self.assertEqual('path/to/foo',
 
847
                         osutils._win32_pathjoin('path', 'to', 'foo'))
 
848
        self.assertEqual('C:/foo',
 
849
                         osutils._win32_pathjoin('path\\to', 'C:\\foo'))
 
850
        self.assertEqual('C:/foo',
 
851
                         osutils._win32_pathjoin('path/to', 'C:/foo'))
 
852
        self.assertEqual('path/to/foo',
 
853
                         osutils._win32_pathjoin('path/to/', 'foo'))
 
854
        self.assertEqual('/foo',
 
855
                         osutils._win32_pathjoin('C:/path/to/', '/foo'))
 
856
        self.assertEqual('/foo',
 
857
                         osutils._win32_pathjoin('C:\\path\\to\\', '\\foo'))
392
858
 
393
859
    def test_normpath(self):
394
 
        self.assertEqual('path/to/foo', osutils._win32_normpath(r'path\\from\..\to\.\foo'))
395
 
        self.assertEqual('path/to/foo', osutils._win32_normpath('path//from/../to/./foo'))
 
860
        self.assertEqual('path/to/foo',
 
861
                         osutils._win32_normpath(r'path\\from\..\to\.\foo'))
 
862
        self.assertEqual('path/to/foo',
 
863
                         osutils._win32_normpath('path//from/../to/./foo'))
396
864
 
397
865
    def test_getcwd(self):
398
866
        cwd = osutils._win32_getcwd()
419
887
        self.assertEqual('//HOST/path', osutils._win98_abspath('//HOST/path'))
420
888
        # relative path
421
889
        cwd = osutils.getcwd().rstrip('/')
422
 
        drive = osutils._nt_splitdrive(cwd)[0]
 
890
        drive = osutils.ntpath.splitdrive(cwd)[0]
423
891
        self.assertEqual(cwd+'/path', osutils._win98_abspath('path'))
424
892
        self.assertEqual(drive+'/path', osutils._win98_abspath('/path'))
425
893
        # unicode path
427
895
        self.assertEqual(cwd+'/'+u, osutils._win98_abspath(u))
428
896
 
429
897
 
430
 
class TestWin32FuncsDirs(TestCaseInTempDir):
 
898
class TestWin32FuncsDirs(tests.TestCaseInTempDir):
431
899
    """Test win32 functions that create files."""
432
 
    
 
900
 
433
901
    def test_getcwd(self):
434
 
        if win32utils.winver == 'Windows 98':
435
 
            raise TestSkipped('Windows 98 cannot handle unicode filenames')
436
 
        # Make sure getcwd can handle unicode filenames
437
 
        try:
438
 
            os.mkdir(u'mu-\xb5')
439
 
        except UnicodeError:
440
 
            raise TestSkipped("Unable to create Unicode filename")
441
 
 
 
902
        self.requireFeature(features.UnicodeFilenameFeature)
 
903
        os.mkdir(u'mu-\xb5')
442
904
        os.chdir(u'mu-\xb5')
443
905
        # TODO: jam 20060427 This will probably fail on Mac OSX because
444
906
        #       it will change the normalization of B\xe5gfors
446
908
        #       osutils.getcwd() renormalize the path.
447
909
        self.assertEndsWith(osutils._win32_getcwd(), u'mu-\xb5')
448
910
 
 
911
    def test_minimum_path_selection(self):
 
912
        self.assertEqual(set(),
 
913
            osutils.minimum_path_selection([]))
 
914
        self.assertEqual(set(['a']),
 
915
            osutils.minimum_path_selection(['a']))
 
916
        self.assertEqual(set(['a', 'b']),
 
917
            osutils.minimum_path_selection(['a', 'b']))
 
918
        self.assertEqual(set(['a/', 'b']),
 
919
            osutils.minimum_path_selection(['a/', 'b']))
 
920
        self.assertEqual(set(['a/', 'b']),
 
921
            osutils.minimum_path_selection(['a/c', 'a/', 'b']))
 
922
        self.assertEqual(set(['a-b', 'a', 'a0b']),
 
923
            osutils.minimum_path_selection(['a-b', 'a/b', 'a0b', 'a']))
 
924
 
449
925
    def test_mkdtemp(self):
450
926
        tmpdir = osutils._win32_mkdtemp(dir='.')
451
927
        self.assertFalse('\\' in tmpdir)
459
935
        b.close()
460
936
 
461
937
        osutils._win32_rename('b', 'a')
462
 
        self.failUnlessExists('a')
463
 
        self.failIfExists('b')
 
938
        self.assertPathExists('a')
 
939
        self.assertPathDoesNotExist('b')
464
940
        self.assertFileEqual('baz\n', 'a')
465
941
 
466
942
    def test_rename_missing_file(self):
506
982
        self.assertRaises(errors.BzrError, osutils.splitpath, 'a/../b')
507
983
 
508
984
 
509
 
class TestMacFuncsDirs(TestCaseInTempDir):
 
985
class TestParentDirectories(tests.TestCaseInTempDir):
 
986
    """Test osutils.parent_directories()"""
 
987
 
 
988
    def test_parent_directories(self):
 
989
        self.assertEqual([], osutils.parent_directories('a'))
 
990
        self.assertEqual(['a'], osutils.parent_directories('a/b'))
 
991
        self.assertEqual(['a/b', 'a'], osutils.parent_directories('a/b/c'))
 
992
 
 
993
 
 
994
class TestMacFuncsDirs(tests.TestCaseInTempDir):
510
995
    """Test mac special functions that require directories."""
511
996
 
512
997
    def test_getcwd(self):
513
 
        # On Mac, this will actually create Ba\u030agfors
514
 
        # but chdir will still work, because it accepts both paths
515
 
        try:
516
 
            os.mkdir(u'B\xe5gfors')
517
 
        except UnicodeError:
518
 
            raise TestSkipped("Unable to create Unicode filename")
519
 
 
 
998
        self.requireFeature(features.UnicodeFilenameFeature)
 
999
        os.mkdir(u'B\xe5gfors')
520
1000
        os.chdir(u'B\xe5gfors')
521
1001
        self.assertEndsWith(osutils._mac_getcwd(), u'B\xe5gfors')
522
1002
 
523
1003
    def test_getcwd_nonnorm(self):
 
1004
        self.requireFeature(features.UnicodeFilenameFeature)
524
1005
        # Test that _mac_getcwd() will normalize this path
525
 
        try:
526
 
            os.mkdir(u'Ba\u030agfors')
527
 
        except UnicodeError:
528
 
            raise TestSkipped("Unable to create Unicode filename")
529
 
 
 
1006
        os.mkdir(u'Ba\u030agfors')
530
1007
        os.chdir(u'Ba\u030agfors')
531
1008
        self.assertEndsWith(osutils._mac_getcwd(), u'B\xe5gfors')
532
1009
 
533
1010
 
534
 
class TestSplitLines(TestCase):
 
1011
class TestChunksToLines(tests.TestCase):
 
1012
 
 
1013
    def test_smoketest(self):
 
1014
        self.assertEqual(['foo\n', 'bar\n', 'baz\n'],
 
1015
                         osutils.chunks_to_lines(['foo\nbar', '\nbaz\n']))
 
1016
        self.assertEqual(['foo\n', 'bar\n', 'baz\n'],
 
1017
                         osutils.chunks_to_lines(['foo\n', 'bar\n', 'baz\n']))
 
1018
 
 
1019
    def test_osutils_binding(self):
 
1020
        from bzrlib.tests import test__chunks_to_lines
 
1021
        if test__chunks_to_lines.compiled_chunkstolines_feature.available():
 
1022
            from bzrlib._chunks_to_lines_pyx import chunks_to_lines
 
1023
        else:
 
1024
            from bzrlib._chunks_to_lines_py import chunks_to_lines
 
1025
        self.assertIs(chunks_to_lines, osutils.chunks_to_lines)
 
1026
 
 
1027
 
 
1028
class TestSplitLines(tests.TestCase):
535
1029
 
536
1030
    def test_split_unicode(self):
537
1031
        self.assertEqual([u'foo\n', u'bar\xae'],
544
1038
                         osutils.split_lines('foo\rbar\n'))
545
1039
 
546
1040
 
547
 
class TestWalkDirs(TestCaseInTempDir):
 
1041
class TestWalkDirs(tests.TestCaseInTempDir):
 
1042
 
 
1043
    def assertExpectedBlocks(self, expected, result):
 
1044
        self.assertEqual(expected,
 
1045
                         [(dirinfo, [line[0:3] for line in block])
 
1046
                          for dirinfo, block in result])
548
1047
 
549
1048
    def test_walkdirs(self):
550
1049
        tree = [
583
1082
            result.append((dirdetail, dirblock))
584
1083
 
585
1084
        self.assertTrue(found_bzrdir)
586
 
        self.assertEqual(expected_dirblocks,
587
 
            [(dirinfo, [line[0:3] for line in block]) for dirinfo, block in result])
 
1085
        self.assertExpectedBlocks(expected_dirblocks, result)
588
1086
        # you can search a subdir only, with a supplied prefix.
589
1087
        result = []
590
1088
        for dirblock in osutils.walkdirs('./1dir', '1dir'):
591
1089
            result.append(dirblock)
592
 
        self.assertEqual(expected_dirblocks[1:],
593
 
            [(dirinfo, [line[0:3] for line in block]) for dirinfo, block in result])
 
1090
        self.assertExpectedBlocks(expected_dirblocks[1:], result)
 
1091
 
 
1092
    def test_walkdirs_os_error(self):
 
1093
        # <https://bugs.launchpad.net/bzr/+bug/338653>
 
1094
        # Pyrex readdir didn't raise useful messages if it had an error
 
1095
        # reading the directory
 
1096
        if sys.platform == 'win32':
 
1097
            raise tests.TestNotApplicable(
 
1098
                "readdir IOError not tested on win32")
 
1099
        self.requireFeature(features.not_running_as_root)
 
1100
        os.mkdir("test-unreadable")
 
1101
        os.chmod("test-unreadable", 0000)
 
1102
        # must chmod it back so that it can be removed
 
1103
        self.addCleanup(os.chmod, "test-unreadable", 0700)
 
1104
        # The error is not raised until the generator is actually evaluated.
 
1105
        # (It would be ok if it happened earlier but at the moment it
 
1106
        # doesn't.)
 
1107
        e = self.assertRaises(OSError, list, osutils._walkdirs_utf8("."))
 
1108
        self.assertEquals('./test-unreadable', e.filename)
 
1109
        self.assertEquals(errno.EACCES, e.errno)
 
1110
        # Ensure the message contains the file name
 
1111
        self.assertContainsRe(str(e), "\./test-unreadable")
 
1112
 
 
1113
 
 
1114
    def test_walkdirs_encoding_error(self):
 
1115
        # <https://bugs.launchpad.net/bzr/+bug/488519>
 
1116
        # walkdirs didn't raise a useful message when the filenames
 
1117
        # are not using the filesystem's encoding
 
1118
 
 
1119
        # require a bytestring based filesystem
 
1120
        self.requireFeature(features.ByteStringNamedFilesystem)
 
1121
 
 
1122
        tree = [
 
1123
            '.bzr',
 
1124
            '0file',
 
1125
            '1dir/',
 
1126
            '1dir/0file',
 
1127
            '1dir/1dir/',
 
1128
            '1file'
 
1129
            ]
 
1130
 
 
1131
        self.build_tree(tree)
 
1132
 
 
1133
        # rename the 1file to a latin-1 filename
 
1134
        os.rename("./1file", "\xe8file")
 
1135
        if "\xe8file" not in os.listdir("."):
 
1136
            self.skip("Lack filesystem that preserves arbitrary bytes")
 
1137
 
 
1138
        self._save_platform_info()
 
1139
        win32utils.winver = None # Avoid the win32 detection code
 
1140
        osutils._fs_enc = 'UTF-8'
 
1141
 
 
1142
        # this should raise on error
 
1143
        def attempt():
 
1144
            for dirdetail, dirblock in osutils.walkdirs('.'):
 
1145
                pass
 
1146
 
 
1147
        self.assertRaises(errors.BadFilenameEncoding, attempt)
594
1148
 
595
1149
    def test__walkdirs_utf8(self):
596
1150
        tree = [
629
1183
            result.append((dirdetail, dirblock))
630
1184
 
631
1185
        self.assertTrue(found_bzrdir)
632
 
        self.assertEqual(expected_dirblocks,
633
 
            [(dirinfo, [line[0:3] for line in block]) for dirinfo, block in result])
 
1186
        self.assertExpectedBlocks(expected_dirblocks, result)
 
1187
 
634
1188
        # you can search a subdir only, with a supplied prefix.
635
1189
        result = []
636
1190
        for dirblock in osutils.walkdirs('./1dir', '1dir'):
637
1191
            result.append(dirblock)
638
 
        self.assertEqual(expected_dirblocks[1:],
639
 
            [(dirinfo, [line[0:3] for line in block]) for dirinfo, block in result])
 
1192
        self.assertExpectedBlocks(expected_dirblocks[1:], result)
640
1193
 
641
1194
    def _filter_out_stat(self, result):
642
1195
        """Filter out the stat value from the walkdirs result"""
647
1200
                new_dirblock.append((info[0], info[1], info[2], info[4]))
648
1201
            dirblock[:] = new_dirblock
649
1202
 
 
1203
    def _save_platform_info(self):
 
1204
        self.overrideAttr(win32utils, 'winver')
 
1205
        self.overrideAttr(osutils, '_fs_enc')
 
1206
        self.overrideAttr(osutils, '_selected_dir_reader')
 
1207
 
 
1208
    def assertDirReaderIs(self, expected):
 
1209
        """Assert the right implementation for _walkdirs_utf8 is chosen."""
 
1210
        # Force it to redetect
 
1211
        osutils._selected_dir_reader = None
 
1212
        # Nothing to list, but should still trigger the selection logic
 
1213
        self.assertEqual([(('', '.'), [])], list(osutils._walkdirs_utf8('.')))
 
1214
        self.assertIsInstance(osutils._selected_dir_reader, expected)
 
1215
 
 
1216
    def test_force_walkdirs_utf8_fs_utf8(self):
 
1217
        self.requireFeature(UTF8DirReaderFeature)
 
1218
        self._save_platform_info()
 
1219
        win32utils.winver = None # Avoid the win32 detection code
 
1220
        osutils._fs_enc = 'utf-8'
 
1221
        self.assertDirReaderIs(
 
1222
            UTF8DirReaderFeature.module.UTF8DirReader)
 
1223
 
 
1224
    def test_force_walkdirs_utf8_fs_ascii(self):
 
1225
        self.requireFeature(UTF8DirReaderFeature)
 
1226
        self._save_platform_info()
 
1227
        win32utils.winver = None # Avoid the win32 detection code
 
1228
        osutils._fs_enc = 'ascii'
 
1229
        self.assertDirReaderIs(
 
1230
            UTF8DirReaderFeature.module.UTF8DirReader)
 
1231
 
 
1232
    def test_force_walkdirs_utf8_fs_latin1(self):
 
1233
        self._save_platform_info()
 
1234
        win32utils.winver = None # Avoid the win32 detection code
 
1235
        osutils._fs_enc = 'iso-8859-1'
 
1236
        self.assertDirReaderIs(osutils.UnicodeDirReader)
 
1237
 
 
1238
    def test_force_walkdirs_utf8_nt(self):
 
1239
        # Disabled because the thunk of the whole walkdirs api is disabled.
 
1240
        self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
1241
        self._save_platform_info()
 
1242
        win32utils.winver = 'Windows NT'
 
1243
        from bzrlib._walkdirs_win32 import Win32ReadDir
 
1244
        self.assertDirReaderIs(Win32ReadDir)
 
1245
 
 
1246
    def test_force_walkdirs_utf8_98(self):
 
1247
        self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
1248
        self._save_platform_info()
 
1249
        win32utils.winver = 'Windows 98'
 
1250
        self.assertDirReaderIs(osutils.UnicodeDirReader)
 
1251
 
650
1252
    def test_unicode_walkdirs(self):
651
1253
        """Walkdirs should always return unicode paths."""
 
1254
        self.requireFeature(features.UnicodeFilenameFeature)
652
1255
        name0 = u'0file-\xb6'
653
1256
        name1 = u'1dir-\u062c\u0648'
654
1257
        name2 = u'2file-\u0633'
659
1262
            name1 + '/' + name1 + '/',
660
1263
            name2,
661
1264
            ]
662
 
        try:
663
 
            self.build_tree(tree)
664
 
        except UnicodeError:
665
 
            raise TestSkipped('Could not represent Unicode chars'
666
 
                              ' in current encoding.')
 
1265
        self.build_tree(tree)
667
1266
        expected_dirblocks = [
668
1267
                ((u'', u'.'),
669
1268
                 [(name0, name0, 'file', './' + name0),
695
1294
 
696
1295
        The abspath portion might be in unicode or utf-8
697
1296
        """
 
1297
        self.requireFeature(features.UnicodeFilenameFeature)
698
1298
        name0 = u'0file-\xb6'
699
1299
        name1 = u'1dir-\u062c\u0648'
700
1300
        name2 = u'2file-\u0633'
705
1305
            name1 + '/' + name1 + '/',
706
1306
            name2,
707
1307
            ]
708
 
        try:
709
 
            self.build_tree(tree)
710
 
        except UnicodeError:
711
 
            raise TestSkipped('Could not represent Unicode chars'
712
 
                              ' in current encoding.')
 
1308
        self.build_tree(tree)
713
1309
        name0 = name0.encode('utf8')
714
1310
        name1 = name1.encode('utf8')
715
1311
        name2 = name2.encode('utf8')
754
1350
            result.append((dirdetail, new_dirblock))
755
1351
        self.assertEqual(expected_dirblocks, result)
756
1352
 
757
 
    def test_unicode__walkdirs_unicode_to_utf8(self):
758
 
        """walkdirs_unicode_to_utf8 should be a safe fallback everywhere
 
1353
    def test__walkdirs_utf8_with_unicode_fs(self):
 
1354
        """UnicodeDirReader should be a safe fallback everywhere
759
1355
 
760
1356
        The abspath portion should be in unicode
761
1357
        """
762
 
        name0u = u'0file-\xb6'
763
 
        name1u = u'1dir-\u062c\u0648'
764
 
        name2u = u'2file-\u0633'
765
 
        tree = [
766
 
            name0u,
767
 
            name1u + '/',
768
 
            name1u + '/' + name0u,
769
 
            name1u + '/' + name1u + '/',
770
 
            name2u,
771
 
            ]
 
1358
        self.requireFeature(features.UnicodeFilenameFeature)
 
1359
        # Use the unicode reader. TODO: split into driver-and-driven unit
 
1360
        # tests.
 
1361
        self._save_platform_info()
 
1362
        osutils._selected_dir_reader = osutils.UnicodeDirReader()
 
1363
        name0u = u'0file-\xb6'
 
1364
        name1u = u'1dir-\u062c\u0648'
 
1365
        name2u = u'2file-\u0633'
 
1366
        tree = [
 
1367
            name0u,
 
1368
            name1u + '/',
 
1369
            name1u + '/' + name0u,
 
1370
            name1u + '/' + name1u + '/',
 
1371
            name2u,
 
1372
            ]
 
1373
        self.build_tree(tree)
 
1374
        name0 = name0u.encode('utf8')
 
1375
        name1 = name1u.encode('utf8')
 
1376
        name2 = name2u.encode('utf8')
 
1377
 
 
1378
        # All of the abspaths should be in unicode, all of the relative paths
 
1379
        # should be in utf8
 
1380
        expected_dirblocks = [
 
1381
                (('', '.'),
 
1382
                 [(name0, name0, 'file', './' + name0u),
 
1383
                  (name1, name1, 'directory', './' + name1u),
 
1384
                  (name2, name2, 'file', './' + name2u),
 
1385
                 ]
 
1386
                ),
 
1387
                ((name1, './' + name1u),
 
1388
                 [(name1 + '/' + name0, name0, 'file', './' + name1u
 
1389
                                                        + '/' + name0u),
 
1390
                  (name1 + '/' + name1, name1, 'directory', './' + name1u
 
1391
                                                            + '/' + name1u),
 
1392
                 ]
 
1393
                ),
 
1394
                ((name1 + '/' + name1, './' + name1u + '/' + name1u),
 
1395
                 [
 
1396
                 ]
 
1397
                ),
 
1398
            ]
 
1399
        result = list(osutils._walkdirs_utf8('.'))
 
1400
        self._filter_out_stat(result)
 
1401
        self.assertEqual(expected_dirblocks, result)
 
1402
 
 
1403
    def test__walkdirs_utf8_win32readdir(self):
 
1404
        self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
1405
        self.requireFeature(features.UnicodeFilenameFeature)
 
1406
        from bzrlib._walkdirs_win32 import Win32ReadDir
 
1407
        self._save_platform_info()
 
1408
        osutils._selected_dir_reader = Win32ReadDir()
 
1409
        name0u = u'0file-\xb6'
 
1410
        name1u = u'1dir-\u062c\u0648'
 
1411
        name2u = u'2file-\u0633'
 
1412
        tree = [
 
1413
            name0u,
 
1414
            name1u + '/',
 
1415
            name1u + '/' + name0u,
 
1416
            name1u + '/' + name1u + '/',
 
1417
            name2u,
 
1418
            ]
 
1419
        self.build_tree(tree)
 
1420
        name0 = name0u.encode('utf8')
 
1421
        name1 = name1u.encode('utf8')
 
1422
        name2 = name2u.encode('utf8')
 
1423
 
 
1424
        # All of the abspaths should be in unicode, all of the relative paths
 
1425
        # should be in utf8
 
1426
        expected_dirblocks = [
 
1427
                (('', '.'),
 
1428
                 [(name0, name0, 'file', './' + name0u),
 
1429
                  (name1, name1, 'directory', './' + name1u),
 
1430
                  (name2, name2, 'file', './' + name2u),
 
1431
                 ]
 
1432
                ),
 
1433
                ((name1, './' + name1u),
 
1434
                 [(name1 + '/' + name0, name0, 'file', './' + name1u
 
1435
                                                        + '/' + name0u),
 
1436
                  (name1 + '/' + name1, name1, 'directory', './' + name1u
 
1437
                                                            + '/' + name1u),
 
1438
                 ]
 
1439
                ),
 
1440
                ((name1 + '/' + name1, './' + name1u + '/' + name1u),
 
1441
                 [
 
1442
                 ]
 
1443
                ),
 
1444
            ]
 
1445
        result = list(osutils._walkdirs_utf8(u'.'))
 
1446
        self._filter_out_stat(result)
 
1447
        self.assertEqual(expected_dirblocks, result)
 
1448
 
 
1449
    def assertStatIsCorrect(self, path, win32stat):
 
1450
        os_stat = os.stat(path)
 
1451
        self.assertEqual(os_stat.st_size, win32stat.st_size)
 
1452
        self.assertAlmostEqual(os_stat.st_mtime, win32stat.st_mtime, places=4)
 
1453
        self.assertAlmostEqual(os_stat.st_ctime, win32stat.st_ctime, places=4)
 
1454
        self.assertAlmostEqual(os_stat.st_atime, win32stat.st_atime, places=4)
 
1455
        self.assertEqual(os_stat.st_dev, win32stat.st_dev)
 
1456
        self.assertEqual(os_stat.st_ino, win32stat.st_ino)
 
1457
        self.assertEqual(os_stat.st_mode, win32stat.st_mode)
 
1458
 
 
1459
    def test__walkdirs_utf_win32_find_file_stat_file(self):
 
1460
        """make sure our Stat values are valid"""
 
1461
        self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
1462
        self.requireFeature(features.UnicodeFilenameFeature)
 
1463
        from bzrlib._walkdirs_win32 import Win32ReadDir
 
1464
        name0u = u'0file-\xb6'
 
1465
        name0 = name0u.encode('utf8')
 
1466
        self.build_tree([name0u])
 
1467
        # I hate to sleep() here, but I'm trying to make the ctime different
 
1468
        # from the mtime
 
1469
        time.sleep(2)
 
1470
        f = open(name0u, 'ab')
772
1471
        try:
773
 
            self.build_tree(tree)
774
 
        except UnicodeError:
775
 
            raise TestSkipped('Could not represent Unicode chars'
776
 
                              ' in current encoding.')
 
1472
            f.write('just a small update')
 
1473
        finally:
 
1474
            f.close()
 
1475
 
 
1476
        result = Win32ReadDir().read_dir('', u'.')
 
1477
        entry = result[0]
 
1478
        self.assertEqual((name0, name0, 'file'), entry[:3])
 
1479
        self.assertEqual(u'./' + name0u, entry[4])
 
1480
        self.assertStatIsCorrect(entry[4], entry[3])
 
1481
        self.assertNotEqual(entry[3].st_mtime, entry[3].st_ctime)
 
1482
 
 
1483
    def test__walkdirs_utf_win32_find_file_stat_directory(self):
 
1484
        """make sure our Stat values are valid"""
 
1485
        self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
1486
        self.requireFeature(features.UnicodeFilenameFeature)
 
1487
        from bzrlib._walkdirs_win32 import Win32ReadDir
 
1488
        name0u = u'0dir-\u062c\u0648'
777
1489
        name0 = name0u.encode('utf8')
778
 
        name1 = name1u.encode('utf8')
779
 
        name2 = name2u.encode('utf8')
 
1490
        self.build_tree([name0u + '/'])
780
1491
 
781
 
        # All of the abspaths should be in unicode, all of the relative paths
782
 
        # should be in utf8
783
 
        expected_dirblocks = [
784
 
                (('', '.'),
785
 
                 [(name0, name0, 'file', './' + name0u),
786
 
                  (name1, name1, 'directory', './' + name1u),
787
 
                  (name2, name2, 'file', './' + name2u),
788
 
                 ]
789
 
                ),
790
 
                ((name1, './' + name1u),
791
 
                 [(name1 + '/' + name0, name0, 'file', './' + name1u
792
 
                                                        + '/' + name0u),
793
 
                  (name1 + '/' + name1, name1, 'directory', './' + name1u
794
 
                                                            + '/' + name1u),
795
 
                 ]
796
 
                ),
797
 
                ((name1 + '/' + name1, './' + name1u + '/' + name1u),
798
 
                 [
799
 
                 ]
800
 
                ),
801
 
            ]
802
 
        result = list(osutils._walkdirs_unicode_to_utf8('.'))
803
 
        self._filter_out_stat(result)
804
 
        self.assertEqual(expected_dirblocks, result)
 
1492
        result = Win32ReadDir().read_dir('', u'.')
 
1493
        entry = result[0]
 
1494
        self.assertEqual((name0, name0, 'directory'), entry[:3])
 
1495
        self.assertEqual(u'./' + name0u, entry[4])
 
1496
        self.assertStatIsCorrect(entry[4], entry[3])
805
1497
 
806
1498
    def assertPathCompare(self, path_less, path_greater):
807
1499
        """check that path_less and path_greater compare correctly."""
881
1573
            sorted(original_paths, cmp=osutils.compare_paths_prefix_order))
882
1574
 
883
1575
 
884
 
class TestCopyTree(TestCaseInTempDir):
885
 
    
 
1576
class TestCopyTree(tests.TestCaseInTempDir):
 
1577
 
886
1578
    def test_copy_basic_tree(self):
887
1579
        self.build_tree(['source/', 'source/a', 'source/b/', 'source/b/c'])
888
1580
        osutils.copy_tree('source', 'target')
897
1589
        self.assertEqual(['c'], os.listdir('target/b'))
898
1590
 
899
1591
    def test_copy_tree_symlinks(self):
900
 
        if not osutils.has_symlinks():
901
 
            return
 
1592
        self.requireFeature(features.SymlinkFeature)
902
1593
        self.build_tree(['source/'])
903
1594
        os.symlink('a/generic/path', 'source/lnk')
904
1595
        osutils.copy_tree('source', 'target')
929
1620
                          ('d', 'source/b', 'target/b'),
930
1621
                          ('f', 'source/b/c', 'target/b/c'),
931
1622
                         ], processed_files)
932
 
        self.failIfExists('target')
 
1623
        self.assertPathDoesNotExist('target')
933
1624
        if osutils.has_symlinks():
934
1625
            self.assertEqual([('source/lnk', 'target/lnk')], processed_links)
935
1626
 
936
1627
 
937
 
#class TestTerminalEncoding has been moved to test_osutils_encodings.py
938
 
# [bialix] 2006/12/26
939
 
 
940
 
 
941
 
class TestSetUnsetEnv(TestCase):
 
1628
class TestSetUnsetEnv(tests.TestCase):
942
1629
    """Test updating the environment"""
943
1630
 
944
1631
    def setUp(self):
950
1637
        def cleanup():
951
1638
            if 'BZR_TEST_ENV_VAR' in os.environ:
952
1639
                del os.environ['BZR_TEST_ENV_VAR']
953
 
 
954
1640
        self.addCleanup(cleanup)
955
1641
 
956
1642
    def test_set(self):
968
1654
 
969
1655
    def test_unicode(self):
970
1656
        """Environment can only contain plain strings
971
 
        
 
1657
 
972
1658
        So Unicode strings must be encoded.
973
1659
        """
974
 
        # Try a few different characters, to see if we can get
975
 
        # one that will be valid in the user_encoding
976
 
        possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
977
 
        for uni_val in possible_vals:
978
 
            try:
979
 
                env_val = uni_val.encode(bzrlib.user_encoding)
980
 
            except UnicodeEncodeError:
981
 
                # Try a different character
982
 
                pass
983
 
            else:
984
 
                break
985
 
        else:
986
 
            raise TestSkipped('Cannot find a unicode character that works in'
987
 
                              ' encoding %s' % (bzrlib.user_encoding,))
 
1660
        uni_val, env_val = tests.probe_unicode_in_user_encoding()
 
1661
        if uni_val is None:
 
1662
            raise tests.TestSkipped(
 
1663
                'Cannot find a unicode character that works in encoding %s'
 
1664
                % (osutils.get_user_encoding(),))
988
1665
 
989
1666
        old = osutils.set_or_unset_env('BZR_TEST_ENV_VAR', uni_val)
990
1667
        self.assertEqual(env_val, os.environ.get('BZR_TEST_ENV_VAR'))
995
1672
        old = osutils.set_or_unset_env('BZR_TEST_ENV_VAR', None)
996
1673
        self.assertEqual('foo', old)
997
1674
        self.assertEqual(None, os.environ.get('BZR_TEST_ENV_VAR'))
998
 
        self.failIf('BZR_TEST_ENV_VAR' in os.environ)
999
 
 
1000
 
 
1001
 
class TestLocalTimeOffset(TestCase):
1002
 
 
1003
 
    def test_local_time_offset(self):
1004
 
        """Test that local_time_offset() returns a sane value."""
1005
 
        offset = osutils.local_time_offset()
1006
 
        self.assertTrue(isinstance(offset, int))
1007
 
        # Test that the offset is no more than a eighteen hours in
1008
 
        # either direction.
1009
 
        # Time zone handling is system specific, so it is difficult to
1010
 
        # do more specific tests, but a value outside of this range is
1011
 
        # probably wrong.
1012
 
        eighteen_hours = 18 * 3600
1013
 
        self.assertTrue(-eighteen_hours < offset < eighteen_hours)
1014
 
 
1015
 
    def test_local_time_offset_with_timestamp(self):
1016
 
        """Test that local_time_offset() works with a timestamp."""
1017
 
        offset = osutils.local_time_offset(1000000000.1234567)
1018
 
        self.assertTrue(isinstance(offset, int))
1019
 
        eighteen_hours = 18 * 3600
1020
 
        self.assertTrue(-eighteen_hours < offset < eighteen_hours)
 
1675
        self.assertFalse('BZR_TEST_ENV_VAR' in os.environ)
 
1676
 
 
1677
 
 
1678
class TestSizeShaFile(tests.TestCaseInTempDir):
 
1679
 
 
1680
    def test_sha_empty(self):
 
1681
        self.build_tree_contents([('foo', '')])
 
1682
        expected_sha = osutils.sha_string('')
 
1683
        f = open('foo')
 
1684
        self.addCleanup(f.close)
 
1685
        size, sha = osutils.size_sha_file(f)
 
1686
        self.assertEqual(0, size)
 
1687
        self.assertEqual(expected_sha, sha)
 
1688
 
 
1689
    def test_sha_mixed_endings(self):
 
1690
        text = 'test\r\nwith\nall\rpossible line endings\r\n'
 
1691
        self.build_tree_contents([('foo', text)])
 
1692
        expected_sha = osutils.sha_string(text)
 
1693
        f = open('foo', 'rb')
 
1694
        self.addCleanup(f.close)
 
1695
        size, sha = osutils.size_sha_file(f)
 
1696
        self.assertEqual(38, size)
 
1697
        self.assertEqual(expected_sha, sha)
 
1698
 
 
1699
 
 
1700
class TestShaFileByName(tests.TestCaseInTempDir):
 
1701
 
 
1702
    def test_sha_empty(self):
 
1703
        self.build_tree_contents([('foo', '')])
 
1704
        expected_sha = osutils.sha_string('')
 
1705
        self.assertEqual(expected_sha, osutils.sha_file_by_name('foo'))
 
1706
 
 
1707
    def test_sha_mixed_endings(self):
 
1708
        text = 'test\r\nwith\nall\rpossible line endings\r\n'
 
1709
        self.build_tree_contents([('foo', text)])
 
1710
        expected_sha = osutils.sha_string(text)
 
1711
        self.assertEqual(expected_sha, osutils.sha_file_by_name('foo'))
 
1712
 
 
1713
 
 
1714
class TestResourceLoading(tests.TestCaseInTempDir):
 
1715
 
 
1716
    def test_resource_string(self):
 
1717
        # test resource in bzrlib
 
1718
        text = osutils.resource_string('bzrlib', 'debug.py')
 
1719
        self.assertContainsRe(text, "debug_flags = set()")
 
1720
        # test resource under bzrlib
 
1721
        text = osutils.resource_string('bzrlib.ui', 'text.py')
 
1722
        self.assertContainsRe(text, "class TextUIFactory")
 
1723
        # test unsupported package
 
1724
        self.assertRaises(errors.BzrError, osutils.resource_string, 'zzzz',
 
1725
            'yyy.xx')
 
1726
        # test unknown resource
 
1727
        self.assertRaises(IOError, osutils.resource_string, 'bzrlib', 'yyy.xx')
 
1728
 
 
1729
 
 
1730
class TestReCompile(tests.TestCase):
 
1731
 
 
1732
    def _deprecated_re_compile_checked(self, *args, **kwargs):
 
1733
        return self.applyDeprecated(symbol_versioning.deprecated_in((2, 2, 0)),
 
1734
            osutils.re_compile_checked, *args, **kwargs)
 
1735
 
 
1736
    def test_re_compile_checked(self):
 
1737
        r = self._deprecated_re_compile_checked(r'A*', re.IGNORECASE)
 
1738
        self.assertTrue(r.match('aaaa'))
 
1739
        self.assertTrue(r.match('aAaA'))
 
1740
 
 
1741
    def test_re_compile_checked_error(self):
 
1742
        # like https://bugs.launchpad.net/bzr/+bug/251352
 
1743
 
 
1744
        # Due to possible test isolation error, re.compile is not lazy at
 
1745
        # this point. We re-install lazy compile.
 
1746
        lazy_regex.install_lazy_compile()
 
1747
        err = self.assertRaises(
 
1748
            errors.BzrCommandError,
 
1749
            self._deprecated_re_compile_checked, '*', re.IGNORECASE, 'test case')
 
1750
        self.assertEqual(
 
1751
            'Invalid regular expression in test case: '
 
1752
            '"*" nothing to repeat',
 
1753
            str(err))
 
1754
 
 
1755
 
 
1756
class TestDirReader(tests.TestCaseInTempDir):
 
1757
 
 
1758
    scenarios = dir_reader_scenarios()
 
1759
 
 
1760
    # Set by load_tests
 
1761
    _dir_reader_class = None
 
1762
    _native_to_unicode = None
 
1763
 
 
1764
    def setUp(self):
 
1765
        tests.TestCaseInTempDir.setUp(self)
 
1766
        self.overrideAttr(osutils,
 
1767
                          '_selected_dir_reader', self._dir_reader_class())
 
1768
 
 
1769
    def _get_ascii_tree(self):
 
1770
        tree = [
 
1771
            '0file',
 
1772
            '1dir/',
 
1773
            '1dir/0file',
 
1774
            '1dir/1dir/',
 
1775
            '2file'
 
1776
            ]
 
1777
        expected_dirblocks = [
 
1778
                (('', '.'),
 
1779
                 [('0file', '0file', 'file'),
 
1780
                  ('1dir', '1dir', 'directory'),
 
1781
                  ('2file', '2file', 'file'),
 
1782
                 ]
 
1783
                ),
 
1784
                (('1dir', './1dir'),
 
1785
                 [('1dir/0file', '0file', 'file'),
 
1786
                  ('1dir/1dir', '1dir', 'directory'),
 
1787
                 ]
 
1788
                ),
 
1789
                (('1dir/1dir', './1dir/1dir'),
 
1790
                 [
 
1791
                 ]
 
1792
                ),
 
1793
            ]
 
1794
        return tree, expected_dirblocks
 
1795
 
 
1796
    def test_walk_cur_dir(self):
 
1797
        tree, expected_dirblocks = self._get_ascii_tree()
 
1798
        self.build_tree(tree)
 
1799
        result = list(osutils._walkdirs_utf8('.'))
 
1800
        # Filter out stat and abspath
 
1801
        self.assertEqual(expected_dirblocks,
 
1802
                         [(dirinfo, [line[0:3] for line in block])
 
1803
                          for dirinfo, block in result])
 
1804
 
 
1805
    def test_walk_sub_dir(self):
 
1806
        tree, expected_dirblocks = self._get_ascii_tree()
 
1807
        self.build_tree(tree)
 
1808
        # you can search a subdir only, with a supplied prefix.
 
1809
        result = list(osutils._walkdirs_utf8('./1dir', '1dir'))
 
1810
        # Filter out stat and abspath
 
1811
        self.assertEqual(expected_dirblocks[1:],
 
1812
                         [(dirinfo, [line[0:3] for line in block])
 
1813
                          for dirinfo, block in result])
 
1814
 
 
1815
    def _get_unicode_tree(self):
 
1816
        name0u = u'0file-\xb6'
 
1817
        name1u = u'1dir-\u062c\u0648'
 
1818
        name2u = u'2file-\u0633'
 
1819
        tree = [
 
1820
            name0u,
 
1821
            name1u + '/',
 
1822
            name1u + '/' + name0u,
 
1823
            name1u + '/' + name1u + '/',
 
1824
            name2u,
 
1825
            ]
 
1826
        name0 = name0u.encode('UTF-8')
 
1827
        name1 = name1u.encode('UTF-8')
 
1828
        name2 = name2u.encode('UTF-8')
 
1829
        expected_dirblocks = [
 
1830
                (('', '.'),
 
1831
                 [(name0, name0, 'file', './' + name0u),
 
1832
                  (name1, name1, 'directory', './' + name1u),
 
1833
                  (name2, name2, 'file', './' + name2u),
 
1834
                 ]
 
1835
                ),
 
1836
                ((name1, './' + name1u),
 
1837
                 [(name1 + '/' + name0, name0, 'file', './' + name1u
 
1838
                                                        + '/' + name0u),
 
1839
                  (name1 + '/' + name1, name1, 'directory', './' + name1u
 
1840
                                                            + '/' + name1u),
 
1841
                 ]
 
1842
                ),
 
1843
                ((name1 + '/' + name1, './' + name1u + '/' + name1u),
 
1844
                 [
 
1845
                 ]
 
1846
                ),
 
1847
            ]
 
1848
        return tree, expected_dirblocks
 
1849
 
 
1850
    def _filter_out(self, raw_dirblocks):
 
1851
        """Filter out a walkdirs_utf8 result.
 
1852
 
 
1853
        stat field is removed, all native paths are converted to unicode
 
1854
        """
 
1855
        filtered_dirblocks = []
 
1856
        for dirinfo, block in raw_dirblocks:
 
1857
            dirinfo = (dirinfo[0], self._native_to_unicode(dirinfo[1]))
 
1858
            details = []
 
1859
            for line in block:
 
1860
                details.append(line[0:3] + (self._native_to_unicode(line[4]), ))
 
1861
            filtered_dirblocks.append((dirinfo, details))
 
1862
        return filtered_dirblocks
 
1863
 
 
1864
    def test_walk_unicode_tree(self):
 
1865
        self.requireFeature(features.UnicodeFilenameFeature)
 
1866
        tree, expected_dirblocks = self._get_unicode_tree()
 
1867
        self.build_tree(tree)
 
1868
        result = list(osutils._walkdirs_utf8('.'))
 
1869
        self.assertEqual(expected_dirblocks, self._filter_out(result))
 
1870
 
 
1871
    def test_symlink(self):
 
1872
        self.requireFeature(features.SymlinkFeature)
 
1873
        self.requireFeature(features.UnicodeFilenameFeature)
 
1874
        target = u'target\N{Euro Sign}'
 
1875
        link_name = u'l\N{Euro Sign}nk'
 
1876
        os.symlink(target, link_name)
 
1877
        target_utf8 = target.encode('UTF-8')
 
1878
        link_name_utf8 = link_name.encode('UTF-8')
 
1879
        expected_dirblocks = [
 
1880
                (('', '.'),
 
1881
                 [(link_name_utf8, link_name_utf8,
 
1882
                   'symlink', './' + link_name),],
 
1883
                 )]
 
1884
        result = list(osutils._walkdirs_utf8('.'))
 
1885
        self.assertEqual(expected_dirblocks, self._filter_out(result))
 
1886
 
 
1887
 
 
1888
class TestReadLink(tests.TestCaseInTempDir):
 
1889
    """Exposes os.readlink() problems and the osutils solution.
 
1890
 
 
1891
    The only guarantee offered by os.readlink(), starting with 2.6, is that a
 
1892
    unicode string will be returned if a unicode string is passed.
 
1893
 
 
1894
    But prior python versions failed to properly encode the passed unicode
 
1895
    string.
 
1896
    """
 
1897
    _test_needs_features = [features.SymlinkFeature, features.UnicodeFilenameFeature]
 
1898
 
 
1899
    def setUp(self):
 
1900
        super(tests.TestCaseInTempDir, self).setUp()
 
1901
        self.link = u'l\N{Euro Sign}ink'
 
1902
        self.target = u'targe\N{Euro Sign}t'
 
1903
        os.symlink(self.target, self.link)
 
1904
 
 
1905
    def test_os_readlink_link_encoding(self):
 
1906
        self.assertEquals(self.target,  os.readlink(self.link))
 
1907
 
 
1908
    def test_os_readlink_link_decoding(self):
 
1909
        self.assertEquals(self.target.encode(osutils._fs_enc),
 
1910
                          os.readlink(self.link.encode(osutils._fs_enc)))
 
1911
 
 
1912
 
 
1913
class TestConcurrency(tests.TestCase):
 
1914
 
 
1915
    def setUp(self):
 
1916
        super(TestConcurrency, self).setUp()
 
1917
        self.overrideAttr(osutils, '_cached_local_concurrency')
 
1918
 
 
1919
    def test_local_concurrency(self):
 
1920
        concurrency = osutils.local_concurrency()
 
1921
        self.assertIsInstance(concurrency, int)
 
1922
 
 
1923
    def test_local_concurrency_environment_variable(self):
 
1924
        self.overrideEnv('BZR_CONCURRENCY', '2')
 
1925
        self.assertEqual(2, osutils.local_concurrency(use_cache=False))
 
1926
        self.overrideEnv('BZR_CONCURRENCY', '3')
 
1927
        self.assertEqual(3, osutils.local_concurrency(use_cache=False))
 
1928
        self.overrideEnv('BZR_CONCURRENCY', 'foo')
 
1929
        self.assertEqual(1, osutils.local_concurrency(use_cache=False))
 
1930
 
 
1931
    def test_option_concurrency(self):
 
1932
        self.overrideEnv('BZR_CONCURRENCY', '1')
 
1933
        self.run_bzr('rocks --concurrency 42')
 
1934
        # Command line overrides environment variable
 
1935
        self.assertEquals('42', os.environ['BZR_CONCURRENCY'])
 
1936
        self.assertEquals(42, osutils.local_concurrency(use_cache=False))
 
1937
 
 
1938
 
 
1939
class TestFailedToLoadExtension(tests.TestCase):
 
1940
 
 
1941
    def _try_loading(self):
 
1942
        try:
 
1943
            import bzrlib._fictional_extension_py
 
1944
        except ImportError, e:
 
1945
            osutils.failed_to_load_extension(e)
 
1946
            return True
 
1947
 
 
1948
    def setUp(self):
 
1949
        super(TestFailedToLoadExtension, self).setUp()
 
1950
        self.overrideAttr(osutils, '_extension_load_failures', [])
 
1951
 
 
1952
    def test_failure_to_load(self):
 
1953
        self._try_loading()
 
1954
        self.assertLength(1, osutils._extension_load_failures)
 
1955
        self.assertEquals(osutils._extension_load_failures[0],
 
1956
            "No module named _fictional_extension_py")
 
1957
 
 
1958
    def test_report_extension_load_failures_no_warning(self):
 
1959
        self.assertTrue(self._try_loading())
 
1960
        warnings, result = self.callCatchWarnings(osutils.report_extension_load_failures)
 
1961
        # it used to give a Python warning; it no longer does
 
1962
        self.assertLength(0, warnings)
 
1963
 
 
1964
    def test_report_extension_load_failures_message(self):
 
1965
        log = StringIO()
 
1966
        trace.push_log_file(log)
 
1967
        self.assertTrue(self._try_loading())
 
1968
        osutils.report_extension_load_failures()
 
1969
        self.assertContainsRe(
 
1970
            log.getvalue(),
 
1971
            r"bzr: warning: some compiled extensions could not be loaded; "
 
1972
            "see <https://answers\.launchpad\.net/bzr/\+faq/703>\n"
 
1973
            )
 
1974
 
 
1975
 
 
1976
class TestTerminalWidth(tests.TestCase):
 
1977
 
 
1978
    def setUp(self):
 
1979
        tests.TestCase.setUp(self)
 
1980
        self._orig_terminal_size_state = osutils._terminal_size_state
 
1981
        self._orig_first_terminal_size = osutils._first_terminal_size
 
1982
        self.addCleanup(self.restore_osutils_globals)
 
1983
        osutils._terminal_size_state = 'no_data'
 
1984
        osutils._first_terminal_size = None
 
1985
 
 
1986
    def restore_osutils_globals(self):
 
1987
        osutils._terminal_size_state = self._orig_terminal_size_state
 
1988
        osutils._first_terminal_size = self._orig_first_terminal_size
 
1989
 
 
1990
    def replace_stdout(self, new):
 
1991
        self.overrideAttr(sys, 'stdout', new)
 
1992
 
 
1993
    def replace__terminal_size(self, new):
 
1994
        self.overrideAttr(osutils, '_terminal_size', new)
 
1995
 
 
1996
    def set_fake_tty(self):
 
1997
 
 
1998
        class I_am_a_tty(object):
 
1999
            def isatty(self):
 
2000
                return True
 
2001
 
 
2002
        self.replace_stdout(I_am_a_tty())
 
2003
 
 
2004
    def test_default_values(self):
 
2005
        self.assertEqual(80, osutils.default_terminal_width)
 
2006
 
 
2007
    def test_defaults_to_BZR_COLUMNS(self):
 
2008
        # BZR_COLUMNS is set by the test framework
 
2009
        self.assertNotEqual('12', os.environ['BZR_COLUMNS'])
 
2010
        self.overrideEnv('BZR_COLUMNS', '12')
 
2011
        self.assertEqual(12, osutils.terminal_width())
 
2012
 
 
2013
    def test_BZR_COLUMNS_0_no_limit(self):
 
2014
        self.overrideEnv('BZR_COLUMNS', '0')
 
2015
        self.assertEqual(None, osutils.terminal_width())
 
2016
 
 
2017
    def test_falls_back_to_COLUMNS(self):
 
2018
        self.overrideEnv('BZR_COLUMNS', None)
 
2019
        self.assertNotEqual('42', os.environ['COLUMNS'])
 
2020
        self.set_fake_tty()
 
2021
        self.overrideEnv('COLUMNS', '42')
 
2022
        self.assertEqual(42, osutils.terminal_width())
 
2023
 
 
2024
    def test_tty_default_without_columns(self):
 
2025
        self.overrideEnv('BZR_COLUMNS', None)
 
2026
        self.overrideEnv('COLUMNS', None)
 
2027
 
 
2028
        def terminal_size(w, h):
 
2029
            return 42, 42
 
2030
 
 
2031
        self.set_fake_tty()
 
2032
        # We need to override the osutils definition as it depends on the
 
2033
        # running environment that we can't control (PQM running without a
 
2034
        # controlling terminal is one example).
 
2035
        self.replace__terminal_size(terminal_size)
 
2036
        self.assertEqual(42, osutils.terminal_width())
 
2037
 
 
2038
    def test_non_tty_default_without_columns(self):
 
2039
        self.overrideEnv('BZR_COLUMNS', None)
 
2040
        self.overrideEnv('COLUMNS', None)
 
2041
        self.replace_stdout(None)
 
2042
        self.assertEqual(None, osutils.terminal_width())
 
2043
 
 
2044
    def test_no_TIOCGWINSZ(self):
 
2045
        self.requireFeature(term_ios_feature)
 
2046
        termios = term_ios_feature.module
 
2047
        # bug 63539 is about a termios without TIOCGWINSZ attribute
 
2048
        try:
 
2049
            orig = termios.TIOCGWINSZ
 
2050
        except AttributeError:
 
2051
            # We won't remove TIOCGWINSZ, because it doesn't exist anyway :)
 
2052
            pass
 
2053
        else:
 
2054
            self.overrideAttr(termios, 'TIOCGWINSZ')
 
2055
            del termios.TIOCGWINSZ
 
2056
        self.overrideEnv('BZR_COLUMNS', None)
 
2057
        self.overrideEnv('COLUMNS', None)
 
2058
        # Whatever the result is, if we don't raise an exception, it's ok.
 
2059
        osutils.terminal_width()
 
2060
 
 
2061
 
 
2062
class TestCreationOps(tests.TestCaseInTempDir):
 
2063
    _test_needs_features = [features.chown_feature]
 
2064
 
 
2065
    def setUp(self):
 
2066
        tests.TestCaseInTempDir.setUp(self)
 
2067
        self.overrideAttr(os, 'chown', self._dummy_chown)
 
2068
 
 
2069
        # params set by call to _dummy_chown
 
2070
        self.path = self.uid = self.gid = None
 
2071
 
 
2072
    def _dummy_chown(self, path, uid, gid):
 
2073
        self.path, self.uid, self.gid = path, uid, gid
 
2074
 
 
2075
    def test_copy_ownership_from_path(self):
 
2076
        """copy_ownership_from_path test with specified src."""
 
2077
        ownsrc = '/'
 
2078
        f = open('test_file', 'wt')
 
2079
        osutils.copy_ownership_from_path('test_file', ownsrc)
 
2080
 
 
2081
        s = os.stat(ownsrc)
 
2082
        self.assertEquals(self.path, 'test_file')
 
2083
        self.assertEquals(self.uid, s.st_uid)
 
2084
        self.assertEquals(self.gid, s.st_gid)
 
2085
 
 
2086
    def test_copy_ownership_nonesrc(self):
 
2087
        """copy_ownership_from_path test with src=None."""
 
2088
        f = open('test_file', 'wt')
 
2089
        # should use parent dir for permissions
 
2090
        osutils.copy_ownership_from_path('test_file')
 
2091
 
 
2092
        s = os.stat('..')
 
2093
        self.assertEquals(self.path, 'test_file')
 
2094
        self.assertEquals(self.uid, s.st_uid)
 
2095
        self.assertEquals(self.gid, s.st_gid)
 
2096
 
 
2097
 
 
2098
class TestGetuserUnicode(tests.TestCase):
 
2099
 
 
2100
    def test_ascii_user(self):
 
2101
        self.overrideEnv('LOGNAME', 'jrandom')
 
2102
        self.assertEqual(u'jrandom', osutils.getuser_unicode())
 
2103
 
 
2104
    def test_unicode_user(self):
 
2105
        ue = osutils.get_user_encoding()
 
2106
        uni_val, env_val = tests.probe_unicode_in_user_encoding()
 
2107
        if uni_val is None:
 
2108
            raise tests.TestSkipped(
 
2109
                'Cannot find a unicode character that works in encoding %s'
 
2110
                % (osutils.get_user_encoding(),))
 
2111
        uni_username = u'jrandom' + uni_val
 
2112
        encoded_username = uni_username.encode(ue)
 
2113
        self.overrideEnv('LOGNAME', encoded_username)
 
2114
        self.assertEqual(uni_username, osutils.getuser_unicode())
 
2115
        self.overrideEnv('LOGNAME', u'jrandom\xb6'.encode(ue))
 
2116
        self.assertEqual(u'jrandom\xb6', osutils.getuser_unicode())
 
2117
 
 
2118
    def test_no_username_bug_660174(self):
 
2119
        self.requireFeature(features.win32_feature)
 
2120
        for name in ('LOGNAME', 'USER', 'LNAME', 'USERNAME'):
 
2121
            self.overrideEnv(name, None)
 
2122
        self.assertEqual(u'UNKNOWN', osutils.getuser_unicode())
 
2123
 
 
2124
 
 
2125
class TestBackupNames(tests.TestCase):
 
2126
 
 
2127
    def setUp(self):
 
2128
        super(TestBackupNames, self).setUp()
 
2129
        self.backups = []
 
2130
 
 
2131
    def backup_exists(self, name):
 
2132
        return name in self.backups
 
2133
 
 
2134
    def available_backup_name(self, name):
 
2135
        backup_name = osutils.available_backup_name(name, self.backup_exists)
 
2136
        self.backups.append(backup_name)
 
2137
        return backup_name
 
2138
 
 
2139
    def assertBackupName(self, expected, name):
 
2140
        self.assertEqual(expected, self.available_backup_name(name))
 
2141
 
 
2142
    def test_empty(self):
 
2143
        self.assertBackupName('file.~1~', 'file')
 
2144
 
 
2145
    def test_existing(self):
 
2146
        self.available_backup_name('file')
 
2147
        self.available_backup_name('file')
 
2148
        self.assertBackupName('file.~3~', 'file')
 
2149
        # Empty slots are found, this is not a strict requirement and may be
 
2150
        # revisited if we test against all implementations.
 
2151
        self.backups.remove('file.~2~')
 
2152
        self.assertBackupName('file.~2~', 'file')
 
2153
 
 
2154
 
 
2155
class TestFindExecutableInPath(tests.TestCase):
 
2156
 
 
2157
    def test_windows(self):
 
2158
        if sys.platform != 'win32':
 
2159
            raise tests.TestSkipped('test requires win32')
 
2160
        self.assertTrue(osutils.find_executable_on_path('explorer') is not None)
 
2161
        self.assertTrue(
 
2162
            osutils.find_executable_on_path('explorer.exe') is not None)
 
2163
        self.assertTrue(
 
2164
            osutils.find_executable_on_path('EXPLORER.EXE') is not None)
 
2165
        self.assertTrue(
 
2166
            osutils.find_executable_on_path('THIS SHOULD NOT EXIST') is None)
 
2167
        self.assertTrue(osutils.find_executable_on_path('file.txt') is None)
 
2168
 
 
2169
    def test_other(self):
 
2170
        if sys.platform == 'win32':
 
2171
            raise tests.TestSkipped('test requires non-win32')
 
2172
        self.assertTrue(osutils.find_executable_on_path('sh') is not None)
 
2173
        self.assertTrue(
 
2174
            osutils.find_executable_on_path('THIS SHOULD NOT EXIST') is None)
 
2175
 
 
2176
 
 
2177
class TestEnvironmentErrors(tests.TestCase):
 
2178
    """Test handling of environmental errors"""
 
2179
 
 
2180
    def test_is_oserror(self):
 
2181
        self.assertTrue(osutils.is_environment_error(
 
2182
            OSError(errno.EINVAL, "Invalid parameter")))
 
2183
 
 
2184
    def test_is_ioerror(self):
 
2185
        self.assertTrue(osutils.is_environment_error(
 
2186
            IOError(errno.EINVAL, "Invalid parameter")))
 
2187
 
 
2188
    def test_is_socket_error(self):
 
2189
        self.assertTrue(osutils.is_environment_error(
 
2190
            socket.error(errno.EINVAL, "Invalid parameter")))
 
2191
 
 
2192
    def test_is_select_error(self):
 
2193
        self.assertTrue(osutils.is_environment_error(
 
2194
            select.error(errno.EINVAL, "Invalid parameter")))
 
2195
 
 
2196
    def test_is_pywintypes_error(self):
 
2197
        self.requireFeature(features.pywintypes)
 
2198
        import pywintypes
 
2199
        self.assertTrue(osutils.is_environment_error(
 
2200
            pywintypes.error(errno.EINVAL, "Invalid parameter", "Caller")))