~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/branch.py

  • Committer: mbp at sourcefrog
  • Date: 2005-04-08 05:39:46 UTC
  • Revision ID: mbp@sourcefrog.net-20050408053946-1cb3415e1f8f58493034a5cf
- import lovely urlgrabber library

Show diffs side-by-side

added added

removed removed

Lines of Context:
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
 
18
from sets import Set
 
19
 
18
20
import sys, os, os.path, random, time, sha, sets, types, re, shutil, tempfile
19
21
import traceback, socket, fnmatch, difflib, time
20
22
from binascii import hexlify
22
24
import bzrlib
23
25
from inventory import Inventory
24
26
from trace import mutter, note
25
 
from tree import Tree, EmptyTree, RevisionTree
 
27
from tree import Tree, EmptyTree, RevisionTree, WorkingTree
26
28
from inventory import InventoryEntry, Inventory
27
 
from osutils import isdir, quotefn, isfile, uuid, sha_file, username, \
 
29
from osutils import isdir, quotefn, isfile, uuid, sha_file, username, chomp, \
28
30
     format_date, compact_date, pumpfile, user_email, rand_bytes, splitpath, \
29
31
     joinpath, sha_string, file_kind, local_time_offset, appendpath
30
32
from store import ImmutableStore
31
33
from revision import Revision
32
 
from errors import BzrError
 
34
from errors import bailout, BzrError
33
35
from textui import show_status
 
36
from diff import diff_trees
34
37
 
35
38
BZR_BRANCH_FORMAT = "Bazaar-NG branch, format 0.0.4\n"
36
39
## TODO: Maybe include checks for common corruption of newlines, etc?
37
40
 
38
41
 
39
42
 
40
 
def find_branch(f, **args):
41
 
    if f and (f.startswith('http://') or f.startswith('https://')):
42
 
        import remotebranch 
43
 
        return remotebranch.RemoteBranch(f, **args)
44
 
    else:
45
 
        return Branch(f, **args)
46
 
 
47
 
 
48
 
 
49
 
def with_writelock(method):
50
 
    """Method decorator for functions run with the branch locked."""
51
 
    def d(self, *a, **k):
52
 
        # called with self set to the branch
53
 
        self.lock('w')
54
 
        try:
55
 
            return method(self, *a, **k)
56
 
        finally:
57
 
            self.unlock()
58
 
    return d
59
 
 
60
 
 
61
 
def with_readlock(method):
62
 
    def d(self, *a, **k):
63
 
        self.lock('r')
64
 
        try:
65
 
            return method(self, *a, **k)
66
 
        finally:
67
 
            self.unlock()
68
 
    return d
69
 
        
70
 
 
71
43
def find_branch_root(f=None):
72
44
    """Find the branch root enclosing f, or pwd.
73
45
 
74
 
    f may be a filename or a URL.
75
 
 
76
46
    It is not necessary that f exists.
77
47
 
78
48
    Basically we keep looking up until we find the control directory or
83
53
        f = os.path.realpath(f)
84
54
    else:
85
55
        f = os.path.abspath(f)
86
 
    if not os.path.exists(f):
87
 
        raise BzrError('%r does not exist' % f)
88
 
        
89
56
 
90
57
    orig_f = f
91
58
 
103
70
######################################################################
104
71
# branch objects
105
72
 
106
 
class Branch(object):
 
73
class Branch:
107
74
    """Branch holding a history of revisions.
108
75
 
109
 
    base
110
 
        Base directory of the branch.
111
 
 
112
 
    _lock_mode
113
 
        None, or 'r' or 'w'
114
 
 
115
 
    _lock_count
116
 
        If _lock_mode is true, a positive count of the number of times the
117
 
        lock has been taken.
118
 
 
119
 
    _lockfile
120
 
        Open file used for locking.
 
76
    :todo: Perhaps use different stores for different classes of object,
 
77
           so that we can keep track of how much space each one uses,
 
78
           or garbage-collect them.
 
79
 
 
80
    :todo: Add a RemoteBranch subclass.  For the basic case of read-only
 
81
           HTTP access this should be very easy by, 
 
82
           just redirecting controlfile access into HTTP requests.
 
83
           We would need a RemoteStore working similarly.
 
84
 
 
85
    :todo: Keep the on-disk branch locked while the object exists.
 
86
 
 
87
    :todo: mkdir() method.
121
88
    """
122
 
    base = None
123
 
    _lock_mode = None
124
 
    _lock_count = None
125
 
    
126
89
    def __init__(self, base, init=False, find_root=True):
127
90
        """Create new branch object at a particular location.
128
91
 
129
 
        base -- Base directory for the branch.
 
92
        :param base: Base directory for the branch.
130
93
        
131
 
        init -- If True, create new control files in a previously
 
94
        :param init: If True, create new control files in a previously
132
95
             unversioned directory.  If False, the branch must already
133
96
             be versioned.
134
97
 
135
 
        find_root -- If true and init is false, find the root of the
 
98
        :param find_root: If true and init is false, find the root of the
136
99
             existing branch containing base.
137
100
 
138
101
        In the test suite, creation of new trees is tested using the
146
109
        else:
147
110
            self.base = os.path.realpath(base)
148
111
            if not isdir(self.controlfilename('.')):
149
 
                from errors import NotBranchError
150
 
                raise NotBranchError("not a bzr branch: %s" % quotefn(base),
151
 
                                     ['use "bzr init" to initialize a new working tree',
152
 
                                      'current bzr can only operate from top-of-tree'])
 
112
                bailout("not a bzr branch: %s" % quotefn(base),
 
113
                        ['use "bzr init" to initialize a new working tree',
 
114
                         'current bzr can only operate from top-of-tree'])
153
115
        self._check_format()
154
 
        self._lockfile = self.controlfile('branch-lock', 'wb')
155
116
 
156
117
        self.text_store = ImmutableStore(self.controlfilename('text-store'))
157
118
        self.revision_store = ImmutableStore(self.controlfilename('revision-store'))
165
126
    __repr__ = __str__
166
127
 
167
128
 
168
 
    def __del__(self):
169
 
        if self._lock_mode:
170
 
            from warnings import warn
171
 
            warn("branch %r was not explicitly unlocked" % self)
172
 
            self.unlock()
173
 
 
174
 
 
175
 
    def lock(self, mode):
176
 
        if self._lock_mode:
177
 
            if mode == 'w' and cur_lm == 'r':
178
 
                raise BzrError("can't upgrade to a write lock")
179
 
            
180
 
            assert self._lock_count >= 1
181
 
            self._lock_count += 1
182
 
        else:
183
 
            from bzrlib.lock import lock, LOCK_SH, LOCK_EX
184
 
            if mode == 'r':
185
 
                m = LOCK_SH
186
 
            elif mode == 'w':
187
 
                m = LOCK_EX
188
 
            else:
189
 
                raise ValueError('invalid lock mode %r' % mode)
190
 
 
191
 
            lock(self._lockfile, m)
192
 
            self._lock_mode = mode
193
 
            self._lock_count = 1
194
 
 
195
 
 
196
 
    def unlock(self):
197
 
        if not self._lock_mode:
198
 
            raise BzrError('branch %r is not locked' % (self))
199
 
 
200
 
        if self._lock_count > 1:
201
 
            self._lock_count -= 1
202
 
        else:
203
 
            assert self._lock_count == 1
204
 
            from bzrlib.lock import unlock
205
 
            unlock(self._lockfile)
206
 
            self._lock_mode = self._lock_count = None
207
 
 
208
 
 
209
129
    def abspath(self, name):
210
130
        """Return absolute filename for something in the branch"""
211
131
        return os.path.join(self.base, name)
218
138
        rp = os.path.realpath(path)
219
139
        # FIXME: windows
220
140
        if not rp.startswith(self.base):
221
 
            from errors import NotBranchError
222
 
            raise NotBranchError("path %r is not within branch %r" % (rp, self.base))
 
141
            bailout("path %r is not within branch %r" % (rp, self.base))
223
142
        rp = rp[len(self.base):]
224
143
        rp = rp.lstrip(os.sep)
225
144
        return rp
233
152
 
234
153
 
235
154
    def controlfile(self, file_or_path, mode='r'):
236
 
        """Open a control file for this branch.
237
 
 
238
 
        There are two classes of file in the control directory: text
239
 
        and binary.  binary files are untranslated byte streams.  Text
240
 
        control files are stored with Unix newlines and in UTF-8, even
241
 
        if the platform or locale defaults are different.
242
 
 
243
 
        Controlfiles should almost never be opened in write mode but
244
 
        rather should be atomically copied and replaced using atomicfile.
245
 
        """
246
 
 
247
 
        fn = self.controlfilename(file_or_path)
248
 
 
249
 
        if mode == 'rb' or mode == 'wb':
250
 
            return file(fn, mode)
251
 
        elif mode == 'r' or mode == 'w':
252
 
            # open in binary mode anyhow so there's no newline translation;
253
 
            # codecs uses line buffering by default; don't want that.
254
 
            import codecs
255
 
            return codecs.open(fn, mode + 'b', 'utf-8',
256
 
                               buffering=60000)
257
 
        else:
258
 
            raise BzrError("invalid controlfile mode %r" % mode)
259
 
 
 
155
        """Open a control file for this branch"""
 
156
        return file(self.controlfilename(file_or_path), mode)
260
157
 
261
158
 
262
159
    def _make_control(self):
264
161
        self.controlfile('README', 'w').write(
265
162
            "This is a Bazaar-NG control directory.\n"
266
163
            "Do not change any files in this directory.")
267
 
        self.controlfile('branch-format', 'w').write(BZR_BRANCH_FORMAT)
 
164
        self.controlfile('branch-format', 'wb').write(BZR_BRANCH_FORMAT)
268
165
        for d in ('text-store', 'inventory-store', 'revision-store'):
269
166
            os.mkdir(self.controlfilename(d))
270
167
        for f in ('revision-history', 'merged-patches',
271
 
                  'pending-merged-patches', 'branch-name',
272
 
                  'branch-lock'):
 
168
                  'pending-merged-patches', 'branch-name'):
273
169
            self.controlfile(f, 'w').write('')
274
170
        mutter('created control directory in ' + self.base)
275
171
        Inventory().write_xml(self.controlfile('inventory','w'))
286
182
        # This ignores newlines so that we can open branches created
287
183
        # on Windows from Linux and so on.  I think it might be better
288
184
        # to always make all internal files in unix format.
289
 
        fmt = self.controlfile('branch-format', 'r').read()
 
185
        fmt = self.controlfile('branch-format', 'rb').read()
290
186
        fmt.replace('\r\n', '')
291
187
        if fmt != BZR_BRANCH_FORMAT:
292
 
            raise BzrError('sorry, branch format %r not supported' % fmt,
293
 
                           ['use a different bzr version',
294
 
                            'or remove the .bzr directory and "bzr init" again'])
295
 
 
296
 
 
297
 
 
298
 
    @with_readlock
 
188
            bailout('sorry, branch format %r not supported' % fmt,
 
189
                    ['use a different bzr version',
 
190
                     'or remove the .bzr directory and "bzr init" again'])
 
191
 
 
192
 
299
193
    def read_working_inventory(self):
300
194
        """Read the working inventory."""
301
195
        before = time.time()
302
 
        # ElementTree does its own conversion from UTF-8, so open in
303
 
        # binary.
304
 
        inv = Inventory.read_xml(self.controlfile('inventory', 'rb'))
 
196
        inv = Inventory.read_xml(self.controlfile('inventory', 'r'))
305
197
        mutter("loaded inventory of %d items in %f"
306
198
               % (len(inv), time.time() - before))
307
199
        return inv
308
 
            
 
200
 
309
201
 
310
202
    def _write_inventory(self, inv):
311
203
        """Update the working inventory.
316
208
        ## TODO: factor out to atomicfile?  is rename safe on windows?
317
209
        ## TODO: Maybe some kind of clean/dirty marker on inventory?
318
210
        tmpfname = self.controlfilename('inventory.tmp')
319
 
        tmpf = file(tmpfname, 'wb')
 
211
        tmpf = file(tmpfname, 'w')
320
212
        inv.write_xml(tmpf)
321
213
        tmpf.close()
322
214
        inv_fname = self.controlfilename('inventory')
324
216
            os.remove(inv_fname)
325
217
        os.rename(tmpfname, inv_fname)
326
218
        mutter('wrote working inventory')
327
 
            
 
219
 
328
220
 
329
221
    inventory = property(read_working_inventory, _write_inventory, None,
330
222
                         """Inventory for the working copy.""")
331
223
 
332
224
 
333
 
    @with_writelock
334
 
    def add(self, files, verbose=False, ids=None):
 
225
    def add(self, files, verbose=False):
335
226
        """Make files versioned.
336
227
 
337
 
        Note that the command line normally calls smart_add instead.
338
 
 
339
228
        This puts the files in the Added state, so that they will be
340
229
        recorded by the next commit.
341
230
 
342
 
        TODO: Perhaps have an option to add the ids even if the files do
 
231
        :todo: Perhaps have an option to add the ids even if the files do
343
232
               not (yet) exist.
344
233
 
345
 
        TODO: Perhaps return the ids of the files?  But then again it
 
234
        :todo: Perhaps return the ids of the files?  But then again it
346
235
               is easy to retrieve them if they're needed.
347
236
 
348
 
        TODO: Option to specify file id.
 
237
        :todo: Option to specify file id.
349
238
 
350
 
        TODO: Adding a directory should optionally recurse down and
 
239
        :todo: Adding a directory should optionally recurse down and
351
240
               add all non-ignored children.  Perhaps do that in a
352
241
               higher-level method.
 
242
 
 
243
        >>> b = ScratchBranch(files=['foo'])
 
244
        >>> 'foo' in b.unknowns()
 
245
        True
 
246
        >>> b.show_status()
 
247
        ?       foo
 
248
        >>> b.add('foo')
 
249
        >>> 'foo' in b.unknowns()
 
250
        False
 
251
        >>> bool(b.inventory.path2id('foo'))
 
252
        True
 
253
        >>> b.show_status()
 
254
        A       foo
 
255
 
 
256
        >>> b.add('foo')
 
257
        Traceback (most recent call last):
 
258
        ...
 
259
        BzrError: ('foo is already versioned', [])
 
260
 
 
261
        >>> b.add(['nothere'])
 
262
        Traceback (most recent call last):
 
263
        BzrError: ('cannot add: not a regular file or directory: nothere', [])
353
264
        """
 
265
 
354
266
        # TODO: Re-adding a file that is removed in the working copy
355
267
        # should probably put it back with the previous ID.
356
268
        if isinstance(files, types.StringTypes):
357
 
            assert(ids is None or isinstance(ids, types.StringTypes))
358
269
            files = [files]
359
 
            if ids is not None:
360
 
                ids = [ids]
361
 
 
362
 
        if ids is None:
363
 
            ids = [None] * len(files)
364
 
        else:
365
 
            assert(len(ids) == len(files))
366
 
 
 
270
        
367
271
        inv = self.read_working_inventory()
368
 
        for f,file_id in zip(files, ids):
 
272
        for f in files:
369
273
            if is_control_file(f):
370
 
                raise BzrError("cannot add control file %s" % quotefn(f))
 
274
                bailout("cannot add control file %s" % quotefn(f))
371
275
 
372
276
            fp = splitpath(f)
373
277
 
374
278
            if len(fp) == 0:
375
 
                raise BzrError("cannot add top-level %r" % f)
376
 
 
 
279
                bailout("cannot add top-level %r" % f)
 
280
                
377
281
            fullpath = os.path.normpath(self.abspath(f))
378
282
 
379
283
            try:
380
284
                kind = file_kind(fullpath)
381
285
            except OSError:
382
286
                # maybe something better?
383
 
                raise BzrError('cannot add: not a regular file or directory: %s' % quotefn(f))
384
 
 
 
287
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
 
288
            
385
289
            if kind != 'file' and kind != 'directory':
386
 
                raise BzrError('cannot add: not a regular file or directory: %s' % quotefn(f))
 
290
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
387
291
 
388
 
            if file_id is None:
389
 
                file_id = gen_file_id(f)
 
292
            file_id = gen_file_id(f)
390
293
            inv.add_path(f, kind=kind, file_id=file_id)
391
294
 
392
295
            if verbose:
393
296
                show_status('A', kind, quotefn(f))
394
 
 
 
297
                
395
298
            mutter("add file %s file_id:{%s} kind=%r" % (f, file_id, kind))
396
 
 
 
299
            
397
300
        self._write_inventory(inv)
398
 
            
 
301
 
399
302
 
400
303
    def print_file(self, file, revno):
401
304
        """Print `file` to stdout."""
403
306
        # use inventory as it was in that revision
404
307
        file_id = tree.inventory.path2id(file)
405
308
        if not file_id:
406
 
            raise BzrError("%r is not present in revision %d" % (file, revno))
 
309
            bailout("%r is not present in revision %d" % (file, revno))
407
310
        tree.print_file(file_id)
408
 
 
409
 
 
410
 
    @with_writelock
 
311
        
 
312
 
411
313
    def remove(self, files, verbose=False):
412
314
        """Mark nominated files for removal from the inventory.
413
315
 
414
316
        This does not remove their text.  This does not run on 
415
317
 
416
 
        TODO: Refuse to remove modified files unless --force is given?
417
 
 
418
 
        TODO: Do something useful with directories.
419
 
 
420
 
        TODO: Should this remove the text or not?  Tough call; not
 
318
        :todo: Refuse to remove modified files unless --force is given?
 
319
 
 
320
        >>> b = ScratchBranch(files=['foo'])
 
321
        >>> b.add('foo')
 
322
        >>> b.inventory.has_filename('foo')
 
323
        True
 
324
        >>> b.remove('foo')
 
325
        >>> b.working_tree().has_filename('foo')
 
326
        True
 
327
        >>> b.inventory.has_filename('foo')
 
328
        False
 
329
        
 
330
        >>> b = ScratchBranch(files=['foo'])
 
331
        >>> b.add('foo')
 
332
        >>> b.commit('one')
 
333
        >>> b.remove('foo')
 
334
        >>> b.commit('two')
 
335
        >>> b.inventory.has_filename('foo') 
 
336
        False
 
337
        >>> b.basis_tree().has_filename('foo') 
 
338
        False
 
339
        >>> b.working_tree().has_filename('foo') 
 
340
        True
 
341
 
 
342
        :todo: Do something useful with directories.
 
343
 
 
344
        :todo: Should this remove the text or not?  Tough call; not
421
345
        removing may be useful and the user can just use use rm, and
422
346
        is the opposite of add.  Removing it is consistent with most
423
347
        other tools.  Maybe an option.
424
348
        """
425
349
        ## TODO: Normalize names
426
350
        ## TODO: Remove nested loops; better scalability
 
351
 
427
352
        if isinstance(files, types.StringTypes):
428
353
            files = [files]
429
 
 
 
354
        
430
355
        tree = self.working_tree()
431
356
        inv = tree.inventory
432
357
 
434
359
        for f in files:
435
360
            fid = inv.path2id(f)
436
361
            if not fid:
437
 
                raise BzrError("cannot remove unversioned file %s" % quotefn(f))
 
362
                bailout("cannot remove unversioned file %s" % quotefn(f))
438
363
            mutter("remove inventory entry %s {%s}" % (quotefn(f), fid))
439
364
            if verbose:
440
365
                # having remove it, it must be either ignored or unknown
448
373
        self._write_inventory(inv)
449
374
 
450
375
 
451
 
    def set_inventory(self, new_inventory_list):
452
 
        inv = Inventory()
453
 
        for path, file_id, parent, kind in new_inventory_list:
454
 
            name = os.path.basename(path)
455
 
            if name == "":
456
 
                continue
457
 
            inv.add(InventoryEntry(file_id, name, kind, parent))
458
 
        self._write_inventory(inv)
459
 
 
460
 
 
461
376
    def unknowns(self):
462
377
        """Return all unknown files.
463
378
 
477
392
        return self.working_tree().unknowns()
478
393
 
479
394
 
480
 
    def append_revision(self, revision_id):
481
 
        mutter("add {%s} to revision-history" % revision_id)
482
 
        rev_history = self.revision_history()
483
 
 
484
 
        tmprhname = self.controlfilename('revision-history.tmp')
485
 
        rhname = self.controlfilename('revision-history')
486
 
        
487
 
        f = file(tmprhname, 'wt')
488
 
        rev_history.append(revision_id)
489
 
        f.write('\n'.join(rev_history))
490
 
        f.write('\n')
 
395
    def commit(self, message, timestamp=None, timezone=None,
 
396
               committer=None,
 
397
               verbose=False):
 
398
        """Commit working copy as a new revision.
 
399
        
 
400
        The basic approach is to add all the file texts into the
 
401
        store, then the inventory, then make a new revision pointing
 
402
        to that inventory and store that.
 
403
        
 
404
        This is not quite safe if the working copy changes during the
 
405
        commit; for the moment that is simply not allowed.  A better
 
406
        approach is to make a temporary copy of the files before
 
407
        computing their hashes, and then add those hashes in turn to
 
408
        the inventory.  This should mean at least that there are no
 
409
        broken hash pointers.  There is no way we can get a snapshot
 
410
        of the whole directory at an instant.  This would also have to
 
411
        be robust against files disappearing, moving, etc.  So the
 
412
        whole thing is a bit hard.
 
413
 
 
414
        :param timestamp: if not None, seconds-since-epoch for a
 
415
             postdated/predated commit.
 
416
        """
 
417
 
 
418
        ## TODO: Show branch names
 
419
 
 
420
        # TODO: Don't commit if there are no changes, unless forced?
 
421
 
 
422
        # First walk over the working inventory; and both update that
 
423
        # and also build a new revision inventory.  The revision
 
424
        # inventory needs to hold the text-id, sha1 and size of the
 
425
        # actual file versions committed in the revision.  (These are
 
426
        # not present in the working inventory.)  We also need to
 
427
        # detect missing/deleted files, and remove them from the
 
428
        # working inventory.
 
429
 
 
430
        work_inv = self.read_working_inventory()
 
431
        inv = Inventory()
 
432
        basis = self.basis_tree()
 
433
        basis_inv = basis.inventory
 
434
        missing_ids = []
 
435
        for path, entry in work_inv.iter_entries():
 
436
            ## TODO: Cope with files that have gone missing.
 
437
 
 
438
            ## TODO: Check that the file kind has not changed from the previous
 
439
            ## revision of this file (if any).
 
440
 
 
441
            entry = entry.copy()
 
442
 
 
443
            p = self.abspath(path)
 
444
            file_id = entry.file_id
 
445
            mutter('commit prep file %s, id %r ' % (p, file_id))
 
446
 
 
447
            if not os.path.exists(p):
 
448
                mutter("    file is missing, removing from inventory")
 
449
                if verbose:
 
450
                    show_status('D', entry.kind, quotefn(path))
 
451
                missing_ids.append(file_id)
 
452
                continue
 
453
 
 
454
            # TODO: Handle files that have been deleted
 
455
 
 
456
            # TODO: Maybe a special case for empty files?  Seems a
 
457
            # waste to store them many times.
 
458
 
 
459
            inv.add(entry)
 
460
 
 
461
            if basis_inv.has_id(file_id):
 
462
                old_kind = basis_inv[file_id].kind
 
463
                if old_kind != entry.kind:
 
464
                    bailout("entry %r changed kind from %r to %r"
 
465
                            % (file_id, old_kind, entry.kind))
 
466
 
 
467
            if entry.kind == 'directory':
 
468
                if not isdir(p):
 
469
                    bailout("%s is entered as directory but not a directory" % quotefn(p))
 
470
            elif entry.kind == 'file':
 
471
                if not isfile(p):
 
472
                    bailout("%s is entered as file but is not a file" % quotefn(p))
 
473
 
 
474
                content = file(p, 'rb').read()
 
475
 
 
476
                entry.text_sha1 = sha_string(content)
 
477
                entry.text_size = len(content)
 
478
 
 
479
                old_ie = basis_inv.has_id(file_id) and basis_inv[file_id]
 
480
                if (old_ie
 
481
                    and (old_ie.text_size == entry.text_size)
 
482
                    and (old_ie.text_sha1 == entry.text_sha1)):
 
483
                    ## assert content == basis.get_file(file_id).read()
 
484
                    entry.text_id = basis_inv[file_id].text_id
 
485
                    mutter('    unchanged from previous text_id {%s}' %
 
486
                           entry.text_id)
 
487
                    
 
488
                else:
 
489
                    entry.text_id = gen_file_id(entry.name)
 
490
                    self.text_store.add(content, entry.text_id)
 
491
                    mutter('    stored with text_id {%s}' % entry.text_id)
 
492
                    if verbose:
 
493
                        if not old_ie:
 
494
                            state = 'A'
 
495
                        elif (old_ie.name == entry.name
 
496
                              and old_ie.parent_id == entry.parent_id):
 
497
                            state = 'M'
 
498
                        else:
 
499
                            state = 'R'
 
500
 
 
501
                        show_status(state, entry.kind, quotefn(path))
 
502
 
 
503
        for file_id in missing_ids:
 
504
            # have to do this later so we don't mess up the iterator.
 
505
            # since parents may be removed before their children we
 
506
            # have to test.
 
507
 
 
508
            # FIXME: There's probably a better way to do this; perhaps
 
509
            # the workingtree should know how to filter itself.
 
510
            if work_inv.has_id(file_id):
 
511
                del work_inv[file_id]
 
512
 
 
513
 
 
514
        inv_id = rev_id = _gen_revision_id(time.time())
 
515
        
 
516
        inv_tmp = tempfile.TemporaryFile()
 
517
        inv.write_xml(inv_tmp)
 
518
        inv_tmp.seek(0)
 
519
        self.inventory_store.add(inv_tmp, inv_id)
 
520
        mutter('new inventory_id is {%s}' % inv_id)
 
521
 
 
522
        self._write_inventory(work_inv)
 
523
 
 
524
        if timestamp == None:
 
525
            timestamp = time.time()
 
526
 
 
527
        if committer == None:
 
528
            committer = username()
 
529
 
 
530
        if timezone == None:
 
531
            timezone = local_time_offset()
 
532
 
 
533
        mutter("building commit log message")
 
534
        rev = Revision(timestamp=timestamp,
 
535
                       timezone=timezone,
 
536
                       committer=committer,
 
537
                       precursor = self.last_patch(),
 
538
                       message = message,
 
539
                       inventory_id=inv_id,
 
540
                       revision_id=rev_id)
 
541
 
 
542
        rev_tmp = tempfile.TemporaryFile()
 
543
        rev.write_xml(rev_tmp)
 
544
        rev_tmp.seek(0)
 
545
        self.revision_store.add(rev_tmp, rev_id)
 
546
        mutter("new revision_id is {%s}" % rev_id)
 
547
        
 
548
        ## XXX: Everything up to here can simply be orphaned if we abort
 
549
        ## the commit; it will leave junk files behind but that doesn't
 
550
        ## matter.
 
551
 
 
552
        ## TODO: Read back the just-generated changeset, and make sure it
 
553
        ## applies and recreates the right state.
 
554
 
 
555
        ## TODO: Also calculate and store the inventory SHA1
 
556
        mutter("committing patch r%d" % (self.revno() + 1))
 
557
 
 
558
        mutter("append to revision-history")
 
559
        f = self.controlfile('revision-history', 'at')
 
560
        f.write(rev_id + '\n')
491
561
        f.close()
492
562
 
493
 
        if sys.platform == 'win32':
494
 
            os.remove(rhname)
495
 
        os.rename(tmprhname, rhname)
496
 
        
 
563
        if verbose:
 
564
            note("commited r%d" % self.revno())
497
565
 
498
566
 
499
567
    def get_revision(self, revision_id):
506
574
    def get_inventory(self, inventory_id):
507
575
        """Get Inventory object by hash.
508
576
 
509
 
        TODO: Perhaps for this and similar methods, take a revision
 
577
        :todo: Perhaps for this and similar methods, take a revision
510
578
               parameter which can be either an integer revno or a
511
579
               string hash."""
512
580
        i = Inventory.read_xml(self.inventory_store[inventory_id])
521
589
            return self.get_inventory(self.get_revision(revision_id).inventory_id)
522
590
 
523
591
 
524
 
    @with_readlock
525
592
    def revision_history(self):
526
593
        """Return sequence of revision hashes on to this branch.
527
594
 
528
595
        >>> ScratchBranch().revision_history()
529
596
        []
530
597
        """
531
 
        return [l.rstrip('\r\n') for l in self.controlfile('revision-history', 'r').readlines()]
532
 
 
533
 
 
534
 
    def enum_history(self, direction):
535
 
        """Return (revno, revision_id) for history of branch.
536
 
 
537
 
        direction
538
 
            'forward' is from earliest to latest
539
 
            'reverse' is from latest to earliest
540
 
        """
541
 
        rh = self.revision_history()
542
 
        if direction == 'forward':
543
 
            i = 1
544
 
            for rid in rh:
545
 
                yield i, rid
546
 
                i += 1
547
 
        elif direction == 'reverse':
548
 
            i = len(rh)
549
 
            while i > 0:
550
 
                yield i, rh[i-1]
551
 
                i -= 1
552
 
        else:
553
 
            raise ValueError('invalid history direction', direction)
 
598
        return [chomp(l) for l in self.controlfile('revision-history').readlines()]
554
599
 
555
600
 
556
601
    def revno(self):
558
603
 
559
604
        That is equivalent to the number of revisions committed to
560
605
        this branch.
 
606
 
 
607
        >>> b = ScratchBranch()
 
608
        >>> b.revno()
 
609
        0
 
610
        >>> b.commit('no foo')
 
611
        >>> b.revno()
 
612
        1
561
613
        """
562
614
        return len(self.revision_history())
563
615
 
564
616
 
565
617
    def last_patch(self):
566
618
        """Return last patch hash, or None if no history.
 
619
 
 
620
        >>> ScratchBranch().last_patch() == None
 
621
        True
567
622
        """
568
623
        ph = self.revision_history()
569
624
        if ph:
570
625
            return ph[-1]
571
626
        else:
572
627
            return None
573
 
 
574
 
 
575
 
    def commit(self, *args, **kw):
576
 
        """Deprecated"""
577
 
        from bzrlib.commit import commit
578
 
        commit(self, *args, **kw)
579
628
        
580
629
 
581
630
    def lookup_revision(self, revno):
595
644
 
596
645
        `revision_id` may be None for the null revision, in which case
597
646
        an `EmptyTree` is returned."""
598
 
        # TODO: refactor this to use an existing revision object
599
 
        # so we don't need to read it in twice.
 
647
 
600
648
        if revision_id == None:
601
649
            return EmptyTree()
602
650
        else:
606
654
 
607
655
    def working_tree(self):
608
656
        """Return a `Tree` for the working copy."""
609
 
        from workingtree import WorkingTree
610
657
        return WorkingTree(self.base, self.read_working_inventory())
611
658
 
612
659
 
614
661
        """Return `Tree` object for last revision.
615
662
 
616
663
        If there are no revisions yet, return an `EmptyTree`.
 
664
 
 
665
        >>> b = ScratchBranch(files=['foo'])
 
666
        >>> b.basis_tree().has_filename('foo')
 
667
        False
 
668
        >>> b.working_tree().has_filename('foo')
 
669
        True
 
670
        >>> b.add('foo')
 
671
        >>> b.commit('add foo')
 
672
        >>> b.basis_tree().has_filename('foo')
 
673
        True
617
674
        """
618
675
        r = self.last_patch()
619
676
        if r == None:
623
680
 
624
681
 
625
682
 
626
 
    @with_writelock
 
683
    def write_log(self, show_timezone='original'):
 
684
        """Write out human-readable log of commits to this branch
 
685
 
 
686
        :param utc: If true, show dates in universal time, not local time."""
 
687
        ## TODO: Option to choose either original, utc or local timezone
 
688
        revno = 1
 
689
        precursor = None
 
690
        for p in self.revision_history():
 
691
            print '-' * 40
 
692
            print 'revno:', revno
 
693
            ## TODO: Show hash if --id is given.
 
694
            ##print 'revision-hash:', p
 
695
            rev = self.get_revision(p)
 
696
            print 'committer:', rev.committer
 
697
            print 'timestamp: %s' % (format_date(rev.timestamp, rev.timezone or 0,
 
698
                                                 show_timezone))
 
699
 
 
700
            ## opportunistic consistency check, same as check_patch_chaining
 
701
            if rev.precursor != precursor:
 
702
                bailout("mismatched precursor!")
 
703
 
 
704
            print 'message:'
 
705
            if not rev.message:
 
706
                print '  (no message)'
 
707
            else:
 
708
                for l in rev.message.split('\n'):
 
709
                    print '  ' + l
 
710
 
 
711
            revno += 1
 
712
            precursor = p
 
713
 
 
714
 
627
715
    def rename_one(self, from_rel, to_rel):
628
 
        """Rename one file.
629
 
 
630
 
        This can change the directory or the filename or both.
631
 
        """
632
716
        tree = self.working_tree()
633
717
        inv = tree.inventory
634
718
        if not tree.has_filename(from_rel):
635
 
            raise BzrError("can't rename: old working file %r does not exist" % from_rel)
 
719
            bailout("can't rename: old working file %r does not exist" % from_rel)
636
720
        if tree.has_filename(to_rel):
637
 
            raise BzrError("can't rename: new working file %r already exists" % to_rel)
638
 
 
 
721
            bailout("can't rename: new working file %r already exists" % to_rel)
 
722
            
639
723
        file_id = inv.path2id(from_rel)
640
724
        if file_id == None:
641
 
            raise BzrError("can't rename: old name %r is not versioned" % from_rel)
 
725
            bailout("can't rename: old name %r is not versioned" % from_rel)
642
726
 
643
727
        if inv.path2id(to_rel):
644
 
            raise BzrError("can't rename: new name %r is already versioned" % to_rel)
 
728
            bailout("can't rename: new name %r is already versioned" % to_rel)
645
729
 
646
730
        to_dir, to_tail = os.path.split(to_rel)
647
731
        to_dir_id = inv.path2id(to_dir)
648
732
        if to_dir_id == None and to_dir != '':
649
 
            raise BzrError("can't determine destination directory id for %r" % to_dir)
 
733
            bailout("can't determine destination directory id for %r" % to_dir)
650
734
 
651
735
        mutter("rename_one:")
652
736
        mutter("  file_id    {%s}" % file_id)
654
738
        mutter("  to_rel     %r" % to_rel)
655
739
        mutter("  to_dir     %r" % to_dir)
656
740
        mutter("  to_dir_id  {%s}" % to_dir_id)
657
 
 
 
741
            
658
742
        inv.rename(file_id, to_dir_id, to_tail)
659
743
 
660
744
        print "%s => %s" % (from_rel, to_rel)
661
 
 
 
745
        
662
746
        from_abs = self.abspath(from_rel)
663
747
        to_abs = self.abspath(to_rel)
664
748
        try:
665
749
            os.rename(from_abs, to_abs)
666
750
        except OSError, e:
667
 
            raise BzrError("failed to rename %r to %r: %s"
 
751
            bailout("failed to rename %r to %r: %s"
668
752
                    % (from_abs, to_abs, e[1]),
669
753
                    ["rename rolled back"])
670
754
 
671
755
        self._write_inventory(inv)
672
 
 
673
 
 
674
 
 
675
 
    @with_writelock
 
756
            
 
757
 
 
758
 
676
759
    def move(self, from_paths, to_name):
677
760
        """Rename files.
678
761
 
690
773
        inv = tree.inventory
691
774
        to_abs = self.abspath(to_name)
692
775
        if not isdir(to_abs):
693
 
            raise BzrError("destination %r is not a directory" % to_abs)
 
776
            bailout("destination %r is not a directory" % to_abs)
694
777
        if not tree.has_filename(to_name):
695
 
            raise BzrError("destination %r not in working directory" % to_abs)
 
778
            bailout("destination %r not in working directory" % to_abs)
696
779
        to_dir_id = inv.path2id(to_name)
697
780
        if to_dir_id == None and to_name != '':
698
 
            raise BzrError("destination %r is not a versioned directory" % to_name)
 
781
            bailout("destination %r is not a versioned directory" % to_name)
699
782
        to_dir_ie = inv[to_dir_id]
700
783
        if to_dir_ie.kind not in ('directory', 'root_directory'):
701
 
            raise BzrError("destination %r is not a directory" % to_abs)
 
784
            bailout("destination %r is not a directory" % to_abs)
702
785
 
703
 
        to_idpath = inv.get_idpath(to_dir_id)
 
786
        to_idpath = Set(inv.get_idpath(to_dir_id))
704
787
 
705
788
        for f in from_paths:
706
789
            if not tree.has_filename(f):
707
 
                raise BzrError("%r does not exist in working tree" % f)
 
790
                bailout("%r does not exist in working tree" % f)
708
791
            f_id = inv.path2id(f)
709
792
            if f_id == None:
710
 
                raise BzrError("%r is not versioned" % f)
 
793
                bailout("%r is not versioned" % f)
711
794
            name_tail = splitpath(f)[-1]
712
795
            dest_path = appendpath(to_name, name_tail)
713
796
            if tree.has_filename(dest_path):
714
 
                raise BzrError("destination %r already exists" % dest_path)
 
797
                bailout("destination %r already exists" % dest_path)
715
798
            if f_id in to_idpath:
716
 
                raise BzrError("can't move %r to a subdirectory of itself" % f)
 
799
                bailout("can't move %r to a subdirectory of itself" % f)
717
800
 
718
801
        # OK, so there's a race here, it's possible that someone will
719
802
        # create a file in this interval and then the rename might be
727
810
            try:
728
811
                os.rename(self.abspath(f), self.abspath(dest_path))
729
812
            except OSError, e:
730
 
                raise BzrError("failed to rename %r to %r: %s" % (f, dest_path, e[1]),
 
813
                bailout("failed to rename %r to %r: %s" % (f, dest_path, e[1]),
731
814
                        ["rename rolled back"])
732
815
 
733
816
        self._write_inventory(inv)
734
817
 
735
818
 
736
819
 
 
820
    def show_status(self, show_all=False):
 
821
        """Display single-line status for non-ignored working files.
 
822
 
 
823
        The list is show sorted in order by file name.
 
824
 
 
825
        >>> b = ScratchBranch(files=['foo', 'foo~'])
 
826
        >>> b.show_status()
 
827
        ?       foo
 
828
        >>> b.add('foo')
 
829
        >>> b.show_status()
 
830
        A       foo
 
831
        >>> b.commit("add foo")
 
832
        >>> b.show_status()
 
833
        >>> os.unlink(b.abspath('foo'))
 
834
        >>> b.show_status()
 
835
        D       foo
 
836
        
 
837
 
 
838
        :todo: Get state for single files.
 
839
 
 
840
        :todo: Perhaps show a slash at the end of directory names.        
 
841
 
 
842
        """
 
843
 
 
844
        # We have to build everything into a list first so that it can
 
845
        # sorted by name, incorporating all the different sources.
 
846
 
 
847
        # FIXME: Rather than getting things in random order and then sorting,
 
848
        # just step through in order.
 
849
 
 
850
        # Interesting case: the old ID for a file has been removed,
 
851
        # but a new file has been created under that name.
 
852
 
 
853
        old = self.basis_tree()
 
854
        new = self.working_tree()
 
855
 
 
856
        for fs, fid, oldname, newname, kind in diff_trees(old, new):
 
857
            if fs == 'R':
 
858
                show_status(fs, kind,
 
859
                            oldname + ' => ' + newname)
 
860
            elif fs == 'A' or fs == 'M':
 
861
                show_status(fs, kind, newname)
 
862
            elif fs == 'D':
 
863
                show_status(fs, kind, oldname)
 
864
            elif fs == '.':
 
865
                if show_all:
 
866
                    show_status(fs, kind, newname)
 
867
            elif fs == 'I':
 
868
                if show_all:
 
869
                    show_status(fs, kind, newname)
 
870
            elif fs == '?':
 
871
                show_status(fs, kind, newname)
 
872
            else:
 
873
                bailout("wierd file state %r" % ((fs, fid),))
 
874
                
 
875
 
737
876
 
738
877
class ScratchBranch(Branch):
739
878
    """Special test class: a branch that cleans up after itself.
742
881
    >>> isdir(b.base)
743
882
    True
744
883
    >>> bd = b.base
745
 
    >>> b.destroy()
 
884
    >>> del b
746
885
    >>> isdir(bd)
747
886
    False
748
887
    """
762
901
 
763
902
 
764
903
    def __del__(self):
765
 
        self.destroy()
766
 
 
767
 
    def destroy(self):
768
904
        """Destroy the test branch, removing the scratch directory."""
769
905
        try:
770
 
            mutter("delete ScratchBranch %s" % self.base)
771
906
            shutil.rmtree(self.base)
772
 
        except OSError, e:
 
907
        except OSError:
773
908
            # Work around for shutil.rmtree failing on Windows when
774
909
            # readonly files are encountered
775
 
            mutter("hit exception in destroying ScratchBranch: %s" % e)
776
910
            for root, dirs, files in os.walk(self.base, topdown=False):
777
911
                for name in files:
778
912
                    os.chmod(os.path.join(root, name), 0700)
779
913
            shutil.rmtree(self.base)
780
 
        self.base = None
781
914
 
782
915
    
783
916
 
800
933
 
801
934
 
802
935
 
 
936
def _gen_revision_id(when):
 
937
    """Return new revision-id."""
 
938
    s = '%s-%s-' % (user_email(), compact_date(when))
 
939
    s += hexlify(rand_bytes(8))
 
940
    return s
 
941
 
 
942
 
803
943
def gen_file_id(name):
804
944
    """Return new file id.
805
945
 
806
946
    This should probably generate proper UUIDs, but for the moment we
807
947
    cope with just randomness because running uuidgen every time is
808
948
    slow."""
809
 
    import re
810
 
 
811
 
    # get last component
812
949
    idx = name.rfind('/')
813
950
    if idx != -1:
814
951
        name = name[idx+1 : ]
815
 
    idx = name.rfind('\\')
816
 
    if idx != -1:
817
 
        name = name[idx+1 : ]
818
952
 
819
 
    # make it not a hidden file
820
953
    name = name.lstrip('.')
821
954
 
822
 
    # remove any wierd characters; we don't escape them but rather
823
 
    # just pull them out
824
 
    name = re.sub(r'[^\w.]', '', name)
825
 
 
826
955
    s = hexlify(rand_bytes(8))
827
956
    return '-'.join((name, compact_date(time.time()), s))
 
957
 
 
958