~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/branch.py

  • Committer: Martin Pool
  • Date: 2005-05-11 08:07:56 UTC
  • Revision ID: mbp@sourcefrog.net-20050511080756-ce1fdb2d72f5e028
- more status form test fixes

Show diffs side-by-side

added added

removed removed

Lines of Context:
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
18
 
import sys
19
 
import os
 
18
from sets import Set
 
19
 
 
20
import sys, os, os.path, random, time, sha, sets, types, re, shutil, tempfile
 
21
import traceback, socket, fnmatch, difflib, time
 
22
from binascii import hexlify
20
23
 
21
24
import bzrlib
22
 
from bzrlib.trace import mutter, note
23
 
from bzrlib.osutils import isdir, quotefn, compact_date, rand_bytes, \
24
 
     splitpath, \
25
 
     sha_file, appendpath, file_kind
26
 
from bzrlib.errors import BzrError, InvalidRevisionNumber, InvalidRevisionId
27
 
import bzrlib.errors
28
 
from bzrlib.textui import show_status
29
 
from bzrlib.revision import Revision
30
 
from bzrlib.xml import unpack_xml
31
 
from bzrlib.delta import compare_trees
32
 
from bzrlib.tree import EmptyTree, RevisionTree
33
 
        
 
25
from inventory import Inventory
 
26
from trace import mutter, note
 
27
from tree import Tree, EmptyTree, RevisionTree
 
28
from inventory import InventoryEntry, Inventory
 
29
from osutils import isdir, quotefn, isfile, uuid, sha_file, username, \
 
30
     format_date, compact_date, pumpfile, user_email, rand_bytes, splitpath, \
 
31
     joinpath, sha_string, file_kind, local_time_offset, appendpath
 
32
from store import ImmutableStore
 
33
from revision import Revision
 
34
from errors import bailout, BzrError
 
35
from textui import show_status
 
36
 
34
37
BZR_BRANCH_FORMAT = "Bazaar-NG branch, format 0.0.4\n"
35
38
## TODO: Maybe include checks for common corruption of newlines, etc?
36
39
 
37
40
 
38
 
# TODO: Some operations like log might retrieve the same revisions
39
 
# repeatedly to calculate deltas.  We could perhaps have a weakref
40
 
# cache in memory to make this faster.
41
 
 
42
 
# TODO: please move the revision-string syntax stuff out of the branch
43
 
# object; it's clutter
44
 
 
45
41
 
46
42
def find_branch(f, **args):
47
43
    if f and (f.startswith('http://') or f.startswith('https://')):
49
45
        return remotebranch.RemoteBranch(f, **args)
50
46
    else:
51
47
        return Branch(f, **args)
52
 
 
53
 
 
54
 
def find_cached_branch(f, cache_root, **args):
55
 
    from remotebranch import RemoteBranch
56
 
    br = find_branch(f, **args)
57
 
    def cacheify(br, store_name):
58
 
        from meta_store import CachedStore
59
 
        cache_path = os.path.join(cache_root, store_name)
60
 
        os.mkdir(cache_path)
61
 
        new_store = CachedStore(getattr(br, store_name), cache_path)
62
 
        setattr(br, store_name, new_store)
63
 
 
64
 
    if isinstance(br, RemoteBranch):
65
 
        cacheify(br, 'inventory_store')
66
 
        cacheify(br, 'text_store')
67
 
        cacheify(br, 'revision_store')
68
 
    return br
69
 
 
70
 
 
71
 
def _relpath(base, path):
72
 
    """Return path relative to base, or raise exception.
73
 
 
74
 
    The path may be either an absolute path or a path relative to the
75
 
    current working directory.
76
 
 
77
 
    Lifted out of Branch.relpath for ease of testing.
78
 
 
79
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
80
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
81
 
    avoids that problem."""
82
 
    rp = os.path.abspath(path)
83
 
 
84
 
    s = []
85
 
    head = rp
86
 
    while len(head) >= len(base):
87
 
        if head == base:
88
 
            break
89
 
        head, tail = os.path.split(head)
90
 
        if tail:
91
 
            s.insert(0, tail)
92
 
    else:
93
 
        from errors import NotBranchError
94
 
        raise NotBranchError("path %r is not within branch %r" % (rp, base))
95
 
 
96
 
    return os.sep.join(s)
97
48
        
98
49
 
99
50
def find_branch_root(f=None):
104
55
    It is not necessary that f exists.
105
56
 
106
57
    Basically we keep looking up until we find the control directory or
107
 
    run into the root.  If there isn't one, raises NotBranchError.
108
 
    """
 
58
    run into the root."""
109
59
    if f == None:
110
60
        f = os.getcwd()
111
61
    elif hasattr(os.path, 'realpath'):
124
74
        head, tail = os.path.split(f)
125
75
        if head == f:
126
76
            # reached the root, whatever that may be
127
 
            raise bzrlib.errors.NotBranchError('%r is not in a branch' % orig_f)
 
77
            raise BzrError('%r is not in a branch' % orig_f)
128
78
        f = head
129
 
 
130
 
 
131
 
 
132
 
# XXX: move into bzrlib.errors; subclass BzrError    
133
 
class DivergedBranches(Exception):
134
 
    def __init__(self, branch1, branch2):
135
 
        self.branch1 = branch1
136
 
        self.branch2 = branch2
137
 
        Exception.__init__(self, "These branches have diverged.")
 
79
    
138
80
 
139
81
 
140
82
######################################################################
141
83
# branch objects
142
84
 
143
 
class Branch(object):
 
85
class Branch:
144
86
    """Branch holding a history of revisions.
145
87
 
146
88
    base
147
89
        Base directory of the branch.
148
 
 
149
 
    _lock_mode
150
 
        None, or 'r' or 'w'
151
 
 
152
 
    _lock_count
153
 
        If _lock_mode is true, a positive count of the number of times the
154
 
        lock has been taken.
155
 
 
156
 
    _lock
157
 
        Lock object from bzrlib.lock.
158
90
    """
159
 
    base = None
160
 
    _lock_mode = None
161
 
    _lock_count = None
162
 
    _lock = None
 
91
    _lockmode = None
163
92
    
164
 
    # Map some sort of prefix into a namespace
165
 
    # stuff like "revno:10", "revid:", etc.
166
 
    # This should match a prefix with a function which accepts
167
 
    REVISION_NAMESPACES = {}
168
 
 
169
 
    def __init__(self, base, init=False, find_root=True):
 
93
    def __init__(self, base, init=False, find_root=True, lock_mode='w'):
170
94
        """Create new branch object at a particular location.
171
95
 
172
96
        base -- Base directory for the branch.
181
105
        In the test suite, creation of new trees is tested using the
182
106
        `ScratchBranch` class.
183
107
        """
184
 
        from bzrlib.store import ImmutableStore
185
108
        if init:
186
109
            self.base = os.path.realpath(base)
187
110
            self._make_control()
190
113
        else:
191
114
            self.base = os.path.realpath(base)
192
115
            if not isdir(self.controlfilename('.')):
193
 
                from errors import NotBranchError
194
 
                raise NotBranchError("not a bzr branch: %s" % quotefn(base),
195
 
                                     ['use "bzr init" to initialize a new working tree',
196
 
                                      'current bzr can only operate from top-of-tree'])
 
116
                bailout("not a bzr branch: %s" % quotefn(base),
 
117
                        ['use "bzr init" to initialize a new working tree',
 
118
                         'current bzr can only operate from top-of-tree'])
197
119
        self._check_format()
 
120
        self.lock(lock_mode)
198
121
 
199
122
        self.text_store = ImmutableStore(self.controlfilename('text-store'))
200
123
        self.revision_store = ImmutableStore(self.controlfilename('revision-store'))
208
131
    __repr__ = __str__
209
132
 
210
133
 
211
 
    def __del__(self):
212
 
        if self._lock_mode or self._lock:
213
 
            from warnings import warn
214
 
            warn("branch %r was not explicitly unlocked" % self)
215
 
            self._lock.unlock()
216
 
 
217
 
 
218
 
 
219
 
    def lock_write(self):
220
 
        if self._lock_mode:
221
 
            if self._lock_mode != 'w':
222
 
                from errors import LockError
223
 
                raise LockError("can't upgrade to a write lock from %r" %
224
 
                                self._lock_mode)
225
 
            self._lock_count += 1
226
 
        else:
227
 
            from bzrlib.lock import WriteLock
228
 
 
229
 
            self._lock = WriteLock(self.controlfilename('branch-lock'))
230
 
            self._lock_mode = 'w'
231
 
            self._lock_count = 1
232
 
 
233
 
 
234
 
 
235
 
    def lock_read(self):
236
 
        if self._lock_mode:
237
 
            assert self._lock_mode in ('r', 'w'), \
238
 
                   "invalid lock mode %r" % self._lock_mode
239
 
            self._lock_count += 1
240
 
        else:
241
 
            from bzrlib.lock import ReadLock
242
 
 
243
 
            self._lock = ReadLock(self.controlfilename('branch-lock'))
244
 
            self._lock_mode = 'r'
245
 
            self._lock_count = 1
246
 
                        
247
 
 
 
134
 
 
135
    def lock(self, mode='w'):
 
136
        """Lock the on-disk branch, excluding other processes."""
 
137
        try:
 
138
            import fcntl, errno
 
139
 
 
140
            if mode == 'w':
 
141
                lm = fcntl.LOCK_EX
 
142
                om = os.O_WRONLY | os.O_CREAT
 
143
            elif mode == 'r':
 
144
                lm = fcntl.LOCK_SH
 
145
                om = os.O_RDONLY
 
146
            else:
 
147
                raise BzrError("invalid locking mode %r" % mode)
 
148
 
 
149
            try:
 
150
                lockfile = os.open(self.controlfilename('branch-lock'), om)
 
151
            except OSError, e:
 
152
                if e.errno == errno.ENOENT:
 
153
                    # might not exist on branches from <0.0.4
 
154
                    self.controlfile('branch-lock', 'w').close()
 
155
                    lockfile = os.open(self.controlfilename('branch-lock'), om)
 
156
                else:
 
157
                    raise e
248
158
            
249
 
    def unlock(self):
250
 
        if not self._lock_mode:
251
 
            from errors import LockError
252
 
            raise LockError('branch %r is not locked' % (self))
253
 
 
254
 
        if self._lock_count > 1:
255
 
            self._lock_count -= 1
256
 
        else:
257
 
            self._lock.unlock()
258
 
            self._lock = None
259
 
            self._lock_mode = self._lock_count = None
 
159
            fcntl.lockf(lockfile, lm)
 
160
            def unlock():
 
161
                fcntl.lockf(lockfile, fcntl.LOCK_UN)
 
162
                os.close(lockfile)
 
163
                self._lockmode = None
 
164
            self.unlock = unlock
 
165
            self._lockmode = mode
 
166
        except ImportError:
 
167
            warning("please write a locking method for platform %r" % sys.platform)
 
168
            def unlock():
 
169
                self._lockmode = None
 
170
            self.unlock = unlock
 
171
            self._lockmode = mode
 
172
 
 
173
 
 
174
    def _need_readlock(self):
 
175
        if self._lockmode not in ['r', 'w']:
 
176
            raise BzrError('need read lock on branch, only have %r' % self._lockmode)
 
177
 
 
178
    def _need_writelock(self):
 
179
        if self._lockmode not in ['w']:
 
180
            raise BzrError('need write lock on branch, only have %r' % self._lockmode)
260
181
 
261
182
 
262
183
    def abspath(self, name):
268
189
        """Return path relative to this branch of something inside it.
269
190
 
270
191
        Raises an error if path is not in this branch."""
271
 
        return _relpath(self.base, path)
 
192
        rp = os.path.realpath(path)
 
193
        # FIXME: windows
 
194
        if not rp.startswith(self.base):
 
195
            bailout("path %r is not within branch %r" % (rp, self.base))
 
196
        rp = rp[len(self.base):]
 
197
        rp = rp.lstrip(os.sep)
 
198
        return rp
272
199
 
273
200
 
274
201
    def controlfilename(self, file_or_path):
275
202
        """Return location relative to branch."""
276
 
        if isinstance(file_or_path, basestring):
 
203
        if isinstance(file_or_path, types.StringTypes):
277
204
            file_or_path = [file_or_path]
278
205
        return os.path.join(self.base, bzrlib.BZRDIR, *file_or_path)
279
206
 
306
233
 
307
234
 
308
235
    def _make_control(self):
309
 
        from bzrlib.inventory import Inventory
310
 
        from bzrlib.xml import pack_xml
311
 
        
312
236
        os.mkdir(self.controlfilename([]))
313
237
        self.controlfile('README', 'w').write(
314
238
            "This is a Bazaar-NG control directory.\n"
315
 
            "Do not change any files in this directory.\n")
 
239
            "Do not change any files in this directory.")
316
240
        self.controlfile('branch-format', 'w').write(BZR_BRANCH_FORMAT)
317
241
        for d in ('text-store', 'inventory-store', 'revision-store'):
318
242
            os.mkdir(self.controlfilename(d))
319
243
        for f in ('revision-history', 'merged-patches',
320
244
                  'pending-merged-patches', 'branch-name',
321
 
                  'branch-lock',
322
 
                  'pending-merges'):
 
245
                  'branch-lock'):
323
246
            self.controlfile(f, 'w').write('')
324
247
        mutter('created control directory in ' + self.base)
325
 
 
326
 
        # if we want per-tree root ids then this is the place to set
327
 
        # them; they're not needed for now and so ommitted for
328
 
        # simplicity.
329
 
        pack_xml(Inventory(), self.controlfile('inventory','w'))
 
248
        Inventory().write_xml(self.controlfile('inventory','w'))
330
249
 
331
250
 
332
251
    def _check_format(self):
343
262
        fmt = self.controlfile('branch-format', 'r').read()
344
263
        fmt.replace('\r\n', '')
345
264
        if fmt != BZR_BRANCH_FORMAT:
346
 
            raise BzrError('sorry, branch format %r not supported' % fmt,
347
 
                           ['use a different bzr version',
348
 
                            'or remove the .bzr directory and "bzr init" again'])
349
 
 
350
 
    def get_root_id(self):
351
 
        """Return the id of this branches root"""
352
 
        inv = self.read_working_inventory()
353
 
        return inv.root.file_id
354
 
 
355
 
    def set_root_id(self, file_id):
356
 
        inv = self.read_working_inventory()
357
 
        orig_root_id = inv.root.file_id
358
 
        del inv._byid[inv.root.file_id]
359
 
        inv.root.file_id = file_id
360
 
        inv._byid[inv.root.file_id] = inv.root
361
 
        for fid in inv:
362
 
            entry = inv[fid]
363
 
            if entry.parent_id in (None, orig_root_id):
364
 
                entry.parent_id = inv.root.file_id
365
 
        self._write_inventory(inv)
 
265
            bailout('sorry, branch format %r not supported' % fmt,
 
266
                    ['use a different bzr version',
 
267
                     'or remove the .bzr directory and "bzr init" again'])
 
268
 
366
269
 
367
270
    def read_working_inventory(self):
368
271
        """Read the working inventory."""
369
 
        from bzrlib.inventory import Inventory
370
 
        from bzrlib.xml import unpack_xml
371
 
        from time import time
372
 
        before = time()
373
 
        self.lock_read()
374
 
        try:
375
 
            # ElementTree does its own conversion from UTF-8, so open in
376
 
            # binary.
377
 
            inv = unpack_xml(Inventory,
378
 
                             self.controlfile('inventory', 'rb'))
379
 
            mutter("loaded inventory of %d items in %f"
380
 
                   % (len(inv), time() - before))
381
 
            return inv
382
 
        finally:
383
 
            self.unlock()
384
 
            
 
272
        self._need_readlock()
 
273
        before = time.time()
 
274
        # ElementTree does its own conversion from UTF-8, so open in
 
275
        # binary.
 
276
        inv = Inventory.read_xml(self.controlfile('inventory', 'rb'))
 
277
        mutter("loaded inventory of %d items in %f"
 
278
               % (len(inv), time.time() - before))
 
279
        return inv
 
280
 
385
281
 
386
282
    def _write_inventory(self, inv):
387
283
        """Update the working inventory.
389
285
        That is to say, the inventory describing changes underway, that
390
286
        will be committed to the next revision.
391
287
        """
392
 
        from bzrlib.atomicfile import AtomicFile
393
 
        from bzrlib.xml import pack_xml
394
 
        
395
 
        self.lock_write()
396
 
        try:
397
 
            f = AtomicFile(self.controlfilename('inventory'), 'wb')
398
 
            try:
399
 
                pack_xml(inv, f)
400
 
                f.commit()
401
 
            finally:
402
 
                f.close()
403
 
        finally:
404
 
            self.unlock()
405
 
        
 
288
        self._need_writelock()
 
289
        ## TODO: factor out to atomicfile?  is rename safe on windows?
 
290
        ## TODO: Maybe some kind of clean/dirty marker on inventory?
 
291
        tmpfname = self.controlfilename('inventory.tmp')
 
292
        tmpf = file(tmpfname, 'wb')
 
293
        inv.write_xml(tmpf)
 
294
        tmpf.close()
 
295
        inv_fname = self.controlfilename('inventory')
 
296
        if sys.platform == 'win32':
 
297
            os.remove(inv_fname)
 
298
        os.rename(tmpfname, inv_fname)
406
299
        mutter('wrote working inventory')
407
 
            
 
300
 
408
301
 
409
302
    inventory = property(read_working_inventory, _write_inventory, None,
410
303
                         """Inventory for the working copy.""")
411
304
 
412
305
 
413
 
    def add(self, files, verbose=False, ids=None):
 
306
    def add(self, files, verbose=False):
414
307
        """Make files versioned.
415
308
 
416
309
        Note that the command line normally calls smart_add instead.
418
311
        This puts the files in the Added state, so that they will be
419
312
        recorded by the next commit.
420
313
 
421
 
        files
422
 
            List of paths to add, relative to the base of the tree.
423
 
 
424
 
        ids
425
 
            If set, use these instead of automatically generated ids.
426
 
            Must be the same length as the list of files, but may
427
 
            contain None for ids that are to be autogenerated.
428
 
 
429
314
        TODO: Perhaps have an option to add the ids even if the files do
430
 
              not (yet) exist.
 
315
               not (yet) exist.
431
316
 
432
317
        TODO: Perhaps return the ids of the files?  But then again it
433
 
              is easy to retrieve them if they're needed.
 
318
               is easy to retrieve them if they're needed.
 
319
 
 
320
        TODO: Option to specify file id.
434
321
 
435
322
        TODO: Adding a directory should optionally recurse down and
436
 
              add all non-ignored children.  Perhaps do that in a
437
 
              higher-level method.
 
323
               add all non-ignored children.  Perhaps do that in a
 
324
               higher-level method.
 
325
 
 
326
        >>> b = ScratchBranch(files=['foo'])
 
327
        >>> 'foo' in b.unknowns()
 
328
        True
 
329
        >>> b.show_status()
 
330
        ?       foo
 
331
        >>> b.add('foo')
 
332
        >>> 'foo' in b.unknowns()
 
333
        False
 
334
        >>> bool(b.inventory.path2id('foo'))
 
335
        True
 
336
        >>> b.show_status()
 
337
        A       foo
 
338
 
 
339
        >>> b.add('foo')
 
340
        Traceback (most recent call last):
 
341
        ...
 
342
        BzrError: ('foo is already versioned', [])
 
343
 
 
344
        >>> b.add(['nothere'])
 
345
        Traceback (most recent call last):
 
346
        BzrError: ('cannot add: not a regular file or directory: nothere', [])
438
347
        """
 
348
        self._need_writelock()
 
349
 
439
350
        # TODO: Re-adding a file that is removed in the working copy
440
351
        # should probably put it back with the previous ID.
441
 
        if isinstance(files, basestring):
442
 
            assert(ids is None or isinstance(ids, basestring))
 
352
        if isinstance(files, types.StringTypes):
443
353
            files = [files]
444
 
            if ids is not None:
445
 
                ids = [ids]
446
 
 
447
 
        if ids is None:
448
 
            ids = [None] * len(files)
449
 
        else:
450
 
            assert(len(ids) == len(files))
451
 
 
452
 
        self.lock_write()
453
 
        try:
454
 
            inv = self.read_working_inventory()
455
 
            for f,file_id in zip(files, ids):
456
 
                if is_control_file(f):
457
 
                    raise BzrError("cannot add control file %s" % quotefn(f))
458
 
 
459
 
                fp = splitpath(f)
460
 
 
461
 
                if len(fp) == 0:
462
 
                    raise BzrError("cannot add top-level %r" % f)
463
 
 
464
 
                fullpath = os.path.normpath(self.abspath(f))
465
 
 
466
 
                try:
467
 
                    kind = file_kind(fullpath)
468
 
                except OSError:
469
 
                    # maybe something better?
470
 
                    raise BzrError('cannot add: not a regular file or directory: %s' % quotefn(f))
471
 
 
472
 
                if kind != 'file' and kind != 'directory':
473
 
                    raise BzrError('cannot add: not a regular file or directory: %s' % quotefn(f))
474
 
 
475
 
                if file_id is None:
476
 
                    file_id = gen_file_id(f)
477
 
                inv.add_path(f, kind=kind, file_id=file_id)
478
 
 
479
 
                if verbose:
480
 
                    print 'added', quotefn(f)
481
 
 
482
 
                mutter("add file %s file_id:{%s} kind=%r" % (f, file_id, kind))
483
 
 
484
 
            self._write_inventory(inv)
485
 
        finally:
486
 
            self.unlock()
487
 
            
 
354
        
 
355
        inv = self.read_working_inventory()
 
356
        for f in files:
 
357
            if is_control_file(f):
 
358
                bailout("cannot add control file %s" % quotefn(f))
 
359
 
 
360
            fp = splitpath(f)
 
361
 
 
362
            if len(fp) == 0:
 
363
                bailout("cannot add top-level %r" % f)
 
364
                
 
365
            fullpath = os.path.normpath(self.abspath(f))
 
366
 
 
367
            try:
 
368
                kind = file_kind(fullpath)
 
369
            except OSError:
 
370
                # maybe something better?
 
371
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
 
372
            
 
373
            if kind != 'file' and kind != 'directory':
 
374
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
 
375
 
 
376
            file_id = gen_file_id(f)
 
377
            inv.add_path(f, kind=kind, file_id=file_id)
 
378
 
 
379
            if verbose:
 
380
                show_status('A', kind, quotefn(f))
 
381
                
 
382
            mutter("add file %s file_id:{%s} kind=%r" % (f, file_id, kind))
 
383
            
 
384
        self._write_inventory(inv)
 
385
 
488
386
 
489
387
    def print_file(self, file, revno):
490
388
        """Print `file` to stdout."""
491
 
        self.lock_read()
492
 
        try:
493
 
            tree = self.revision_tree(self.lookup_revision(revno))
494
 
            # use inventory as it was in that revision
495
 
            file_id = tree.inventory.path2id(file)
496
 
            if not file_id:
497
 
                raise BzrError("%r is not present in revision %s" % (file, revno))
498
 
            tree.print_file(file_id)
499
 
        finally:
500
 
            self.unlock()
501
 
 
 
389
        self._need_readlock()
 
390
        tree = self.revision_tree(self.lookup_revision(revno))
 
391
        # use inventory as it was in that revision
 
392
        file_id = tree.inventory.path2id(file)
 
393
        if not file_id:
 
394
            bailout("%r is not present in revision %d" % (file, revno))
 
395
        tree.print_file(file_id)
 
396
        
502
397
 
503
398
    def remove(self, files, verbose=False):
504
399
        """Mark nominated files for removal from the inventory.
507
402
 
508
403
        TODO: Refuse to remove modified files unless --force is given?
509
404
 
 
405
        >>> b = ScratchBranch(files=['foo'])
 
406
        >>> b.add('foo')
 
407
        >>> b.inventory.has_filename('foo')
 
408
        True
 
409
        >>> b.remove('foo')
 
410
        >>> b.working_tree().has_filename('foo')
 
411
        True
 
412
        >>> b.inventory.has_filename('foo')
 
413
        False
 
414
        
 
415
        >>> b = ScratchBranch(files=['foo'])
 
416
        >>> b.add('foo')
 
417
        >>> b.commit('one')
 
418
        >>> b.remove('foo')
 
419
        >>> b.commit('two')
 
420
        >>> b.inventory.has_filename('foo') 
 
421
        False
 
422
        >>> b.basis_tree().has_filename('foo') 
 
423
        False
 
424
        >>> b.working_tree().has_filename('foo') 
 
425
        True
 
426
 
510
427
        TODO: Do something useful with directories.
511
428
 
512
429
        TODO: Should this remove the text or not?  Tough call; not
516
433
        """
517
434
        ## TODO: Normalize names
518
435
        ## TODO: Remove nested loops; better scalability
519
 
        if isinstance(files, basestring):
 
436
        self._need_writelock()
 
437
 
 
438
        if isinstance(files, types.StringTypes):
520
439
            files = [files]
521
 
 
522
 
        self.lock_write()
523
 
 
524
 
        try:
525
 
            tree = self.working_tree()
526
 
            inv = tree.inventory
527
 
 
528
 
            # do this before any modifications
529
 
            for f in files:
530
 
                fid = inv.path2id(f)
531
 
                if not fid:
532
 
                    raise BzrError("cannot remove unversioned file %s" % quotefn(f))
533
 
                mutter("remove inventory entry %s {%s}" % (quotefn(f), fid))
534
 
                if verbose:
535
 
                    # having remove it, it must be either ignored or unknown
536
 
                    if tree.is_ignored(f):
537
 
                        new_status = 'I'
538
 
                    else:
539
 
                        new_status = '?'
540
 
                    show_status(new_status, inv[fid].kind, quotefn(f))
541
 
                del inv[fid]
542
 
 
543
 
            self._write_inventory(inv)
544
 
        finally:
545
 
            self.unlock()
546
 
 
547
 
 
548
 
    # FIXME: this doesn't need to be a branch method
549
 
    def set_inventory(self, new_inventory_list):
550
 
        from bzrlib.inventory import Inventory, InventoryEntry
551
 
        inv = Inventory(self.get_root_id())
552
 
        for path, file_id, parent, kind in new_inventory_list:
553
 
            name = os.path.basename(path)
554
 
            if name == "":
555
 
                continue
556
 
            inv.add(InventoryEntry(file_id, name, kind, parent))
 
440
        
 
441
        tree = self.working_tree()
 
442
        inv = tree.inventory
 
443
 
 
444
        # do this before any modifications
 
445
        for f in files:
 
446
            fid = inv.path2id(f)
 
447
            if not fid:
 
448
                bailout("cannot remove unversioned file %s" % quotefn(f))
 
449
            mutter("remove inventory entry %s {%s}" % (quotefn(f), fid))
 
450
            if verbose:
 
451
                # having remove it, it must be either ignored or unknown
 
452
                if tree.is_ignored(f):
 
453
                    new_status = 'I'
 
454
                else:
 
455
                    new_status = '?'
 
456
                show_status(new_status, inv[fid].kind, quotefn(f))
 
457
            del inv[fid]
 
458
 
557
459
        self._write_inventory(inv)
558
460
 
559
461
 
576
478
        return self.working_tree().unknowns()
577
479
 
578
480
 
579
 
    def append_revision(self, *revision_ids):
580
 
        from bzrlib.atomicfile import AtomicFile
581
 
 
582
 
        for revision_id in revision_ids:
583
 
            mutter("add {%s} to revision-history" % revision_id)
584
 
 
 
481
    def commit(self, message, timestamp=None, timezone=None,
 
482
               committer=None,
 
483
               verbose=False):
 
484
        """Commit working copy as a new revision.
 
485
        
 
486
        The basic approach is to add all the file texts into the
 
487
        store, then the inventory, then make a new revision pointing
 
488
        to that inventory and store that.
 
489
        
 
490
        This is not quite safe if the working copy changes during the
 
491
        commit; for the moment that is simply not allowed.  A better
 
492
        approach is to make a temporary copy of the files before
 
493
        computing their hashes, and then add those hashes in turn to
 
494
        the inventory.  This should mean at least that there are no
 
495
        broken hash pointers.  There is no way we can get a snapshot
 
496
        of the whole directory at an instant.  This would also have to
 
497
        be robust against files disappearing, moving, etc.  So the
 
498
        whole thing is a bit hard.
 
499
 
 
500
        timestamp -- if not None, seconds-since-epoch for a
 
501
             postdated/predated commit.
 
502
        """
 
503
        self._need_writelock()
 
504
 
 
505
        ## TODO: Show branch names
 
506
 
 
507
        # TODO: Don't commit if there are no changes, unless forced?
 
508
 
 
509
        # First walk over the working inventory; and both update that
 
510
        # and also build a new revision inventory.  The revision
 
511
        # inventory needs to hold the text-id, sha1 and size of the
 
512
        # actual file versions committed in the revision.  (These are
 
513
        # not present in the working inventory.)  We also need to
 
514
        # detect missing/deleted files, and remove them from the
 
515
        # working inventory.
 
516
 
 
517
        work_inv = self.read_working_inventory()
 
518
        inv = Inventory()
 
519
        basis = self.basis_tree()
 
520
        basis_inv = basis.inventory
 
521
        missing_ids = []
 
522
        for path, entry in work_inv.iter_entries():
 
523
            ## TODO: Cope with files that have gone missing.
 
524
 
 
525
            ## TODO: Check that the file kind has not changed from the previous
 
526
            ## revision of this file (if any).
 
527
 
 
528
            entry = entry.copy()
 
529
 
 
530
            p = self.abspath(path)
 
531
            file_id = entry.file_id
 
532
            mutter('commit prep file %s, id %r ' % (p, file_id))
 
533
 
 
534
            if not os.path.exists(p):
 
535
                mutter("    file is missing, removing from inventory")
 
536
                if verbose:
 
537
                    show_status('D', entry.kind, quotefn(path))
 
538
                missing_ids.append(file_id)
 
539
                continue
 
540
 
 
541
            # TODO: Handle files that have been deleted
 
542
 
 
543
            # TODO: Maybe a special case for empty files?  Seems a
 
544
            # waste to store them many times.
 
545
 
 
546
            inv.add(entry)
 
547
 
 
548
            if basis_inv.has_id(file_id):
 
549
                old_kind = basis_inv[file_id].kind
 
550
                if old_kind != entry.kind:
 
551
                    bailout("entry %r changed kind from %r to %r"
 
552
                            % (file_id, old_kind, entry.kind))
 
553
 
 
554
            if entry.kind == 'directory':
 
555
                if not isdir(p):
 
556
                    bailout("%s is entered as directory but not a directory" % quotefn(p))
 
557
            elif entry.kind == 'file':
 
558
                if not isfile(p):
 
559
                    bailout("%s is entered as file but is not a file" % quotefn(p))
 
560
 
 
561
                content = file(p, 'rb').read()
 
562
 
 
563
                entry.text_sha1 = sha_string(content)
 
564
                entry.text_size = len(content)
 
565
 
 
566
                old_ie = basis_inv.has_id(file_id) and basis_inv[file_id]
 
567
                if (old_ie
 
568
                    and (old_ie.text_size == entry.text_size)
 
569
                    and (old_ie.text_sha1 == entry.text_sha1)):
 
570
                    ## assert content == basis.get_file(file_id).read()
 
571
                    entry.text_id = basis_inv[file_id].text_id
 
572
                    mutter('    unchanged from previous text_id {%s}' %
 
573
                           entry.text_id)
 
574
                    
 
575
                else:
 
576
                    entry.text_id = gen_file_id(entry.name)
 
577
                    self.text_store.add(content, entry.text_id)
 
578
                    mutter('    stored with text_id {%s}' % entry.text_id)
 
579
                    if verbose:
 
580
                        if not old_ie:
 
581
                            state = 'A'
 
582
                        elif (old_ie.name == entry.name
 
583
                              and old_ie.parent_id == entry.parent_id):
 
584
                            state = 'M'
 
585
                        else:
 
586
                            state = 'R'
 
587
 
 
588
                        show_status(state, entry.kind, quotefn(path))
 
589
 
 
590
        for file_id in missing_ids:
 
591
            # have to do this later so we don't mess up the iterator.
 
592
            # since parents may be removed before their children we
 
593
            # have to test.
 
594
 
 
595
            # FIXME: There's probably a better way to do this; perhaps
 
596
            # the workingtree should know how to filter itself.
 
597
            if work_inv.has_id(file_id):
 
598
                del work_inv[file_id]
 
599
 
 
600
 
 
601
        inv_id = rev_id = _gen_revision_id(time.time())
 
602
        
 
603
        inv_tmp = tempfile.TemporaryFile()
 
604
        inv.write_xml(inv_tmp)
 
605
        inv_tmp.seek(0)
 
606
        self.inventory_store.add(inv_tmp, inv_id)
 
607
        mutter('new inventory_id is {%s}' % inv_id)
 
608
 
 
609
        self._write_inventory(work_inv)
 
610
 
 
611
        if timestamp == None:
 
612
            timestamp = time.time()
 
613
 
 
614
        if committer == None:
 
615
            committer = username()
 
616
 
 
617
        if timezone == None:
 
618
            timezone = local_time_offset()
 
619
 
 
620
        mutter("building commit log message")
 
621
        rev = Revision(timestamp=timestamp,
 
622
                       timezone=timezone,
 
623
                       committer=committer,
 
624
                       precursor = self.last_patch(),
 
625
                       message = message,
 
626
                       inventory_id=inv_id,
 
627
                       revision_id=rev_id)
 
628
 
 
629
        rev_tmp = tempfile.TemporaryFile()
 
630
        rev.write_xml(rev_tmp)
 
631
        rev_tmp.seek(0)
 
632
        self.revision_store.add(rev_tmp, rev_id)
 
633
        mutter("new revision_id is {%s}" % rev_id)
 
634
        
 
635
        ## XXX: Everything up to here can simply be orphaned if we abort
 
636
        ## the commit; it will leave junk files behind but that doesn't
 
637
        ## matter.
 
638
 
 
639
        ## TODO: Read back the just-generated changeset, and make sure it
 
640
        ## applies and recreates the right state.
 
641
 
 
642
        ## TODO: Also calculate and store the inventory SHA1
 
643
        mutter("committing patch r%d" % (self.revno() + 1))
 
644
 
 
645
 
 
646
        self.append_revision(rev_id)
 
647
        
 
648
        if verbose:
 
649
            note("commited r%d" % self.revno())
 
650
 
 
651
 
 
652
    def append_revision(self, revision_id):
 
653
        mutter("add {%s} to revision-history" % revision_id)
585
654
        rev_history = self.revision_history()
586
 
        rev_history.extend(revision_ids)
587
 
 
588
 
        f = AtomicFile(self.controlfilename('revision-history'))
589
 
        try:
590
 
            for rev_id in rev_history:
591
 
                print >>f, rev_id
592
 
            f.commit()
593
 
        finally:
594
 
            f.close()
595
 
 
596
 
 
597
 
    def get_revision_xml(self, revision_id):
598
 
        """Return XML file object for revision object."""
599
 
        if not revision_id or not isinstance(revision_id, basestring):
600
 
            raise InvalidRevisionId(revision_id)
601
 
 
602
 
        self.lock_read()
603
 
        try:
604
 
            try:
605
 
                return self.revision_store[revision_id]
606
 
            except IndexError:
607
 
                raise bzrlib.errors.NoSuchRevision(self, revision_id)
608
 
        finally:
609
 
            self.unlock()
 
655
 
 
656
        tmprhname = self.controlfilename('revision-history.tmp')
 
657
        rhname = self.controlfilename('revision-history')
 
658
        
 
659
        f = file(tmprhname, 'wt')
 
660
        rev_history.append(revision_id)
 
661
        f.write('\n'.join(rev_history))
 
662
        f.write('\n')
 
663
        f.close()
 
664
 
 
665
        if sys.platform == 'win32':
 
666
            os.remove(rhname)
 
667
        os.rename(tmprhname, rhname)
 
668
        
610
669
 
611
670
 
612
671
    def get_revision(self, revision_id):
613
672
        """Return the Revision object for a named revision"""
614
 
        xml_file = self.get_revision_xml(revision_id)
615
 
 
616
 
        try:
617
 
            r = unpack_xml(Revision, xml_file)
618
 
        except SyntaxError, e:
619
 
            raise bzrlib.errors.BzrError('failed to unpack revision_xml',
620
 
                                         [revision_id,
621
 
                                          str(e)])
622
 
            
 
673
        self._need_readlock()
 
674
        r = Revision.read_xml(self.revision_store[revision_id])
623
675
        assert r.revision_id == revision_id
624
676
        return r
625
677
 
626
678
 
627
 
    def get_revision_delta(self, revno):
628
 
        """Return the delta for one revision.
629
 
 
630
 
        The delta is relative to its mainline predecessor, or the
631
 
        empty tree for revision 1.
632
 
        """
633
 
        assert isinstance(revno, int)
634
 
        rh = self.revision_history()
635
 
        if not (1 <= revno <= len(rh)):
636
 
            raise InvalidRevisionNumber(revno)
637
 
 
638
 
        # revno is 1-based; list is 0-based
639
 
 
640
 
        new_tree = self.revision_tree(rh[revno-1])
641
 
        if revno == 1:
642
 
            old_tree = EmptyTree()
643
 
        else:
644
 
            old_tree = self.revision_tree(rh[revno-2])
645
 
 
646
 
        return compare_trees(old_tree, new_tree)
647
 
 
648
 
        
649
 
 
650
 
    def get_revision_sha1(self, revision_id):
651
 
        """Hash the stored value of a revision, and return it."""
652
 
        # In the future, revision entries will be signed. At that
653
 
        # point, it is probably best *not* to include the signature
654
 
        # in the revision hash. Because that lets you re-sign
655
 
        # the revision, (add signatures/remove signatures) and still
656
 
        # have all hash pointers stay consistent.
657
 
        # But for now, just hash the contents.
658
 
        return bzrlib.osutils.sha_file(self.get_revision_xml(revision_id))
659
 
 
660
 
 
661
679
    def get_inventory(self, inventory_id):
662
680
        """Get Inventory object by hash.
663
681
 
664
682
        TODO: Perhaps for this and similar methods, take a revision
665
683
               parameter which can be either an integer revno or a
666
684
               string hash."""
667
 
        from bzrlib.inventory import Inventory
668
 
        from bzrlib.xml import unpack_xml
669
 
 
670
 
        return unpack_xml(Inventory, self.get_inventory_xml(inventory_id))
671
 
 
672
 
 
673
 
    def get_inventory_xml(self, inventory_id):
674
 
        """Get inventory XML as a file object."""
675
 
        return self.inventory_store[inventory_id]
676
 
            
677
 
 
678
 
    def get_inventory_sha1(self, inventory_id):
679
 
        """Return the sha1 hash of the inventory entry
680
 
        """
681
 
        return sha_file(self.get_inventory_xml(inventory_id))
 
685
        self._need_readlock()
 
686
        i = Inventory.read_xml(self.inventory_store[inventory_id])
 
687
        return i
682
688
 
683
689
 
684
690
    def get_revision_inventory(self, revision_id):
685
691
        """Return inventory of a past revision."""
686
 
        # bzr 0.0.6 imposes the constraint that the inventory_id
687
 
        # must be the same as its revision, so this is trivial.
 
692
        self._need_readlock()
688
693
        if revision_id == None:
689
 
            from bzrlib.inventory import Inventory
690
 
            return Inventory(self.get_root_id())
 
694
            return Inventory()
691
695
        else:
692
 
            return self.get_inventory(revision_id)
 
696
            return self.get_inventory(self.get_revision(revision_id).inventory_id)
693
697
 
694
698
 
695
699
    def revision_history(self):
698
702
        >>> ScratchBranch().revision_history()
699
703
        []
700
704
        """
701
 
        self.lock_read()
702
 
        try:
703
 
            return [l.rstrip('\r\n') for l in
704
 
                    self.controlfile('revision-history', 'r').readlines()]
705
 
        finally:
706
 
            self.unlock()
707
 
 
708
 
 
709
 
    def common_ancestor(self, other, self_revno=None, other_revno=None):
710
 
        """
711
 
        >>> import commit
712
 
        >>> sb = ScratchBranch(files=['foo', 'foo~'])
713
 
        >>> sb.common_ancestor(sb) == (None, None)
714
 
        True
715
 
        >>> commit.commit(sb, "Committing first revision", verbose=False)
716
 
        >>> sb.common_ancestor(sb)[0]
717
 
        1
718
 
        >>> clone = sb.clone()
719
 
        >>> commit.commit(sb, "Committing second revision", verbose=False)
720
 
        >>> sb.common_ancestor(sb)[0]
721
 
        2
722
 
        >>> sb.common_ancestor(clone)[0]
723
 
        1
724
 
        >>> commit.commit(clone, "Committing divergent second revision", 
725
 
        ...               verbose=False)
726
 
        >>> sb.common_ancestor(clone)[0]
727
 
        1
728
 
        >>> sb.common_ancestor(clone) == clone.common_ancestor(sb)
729
 
        True
730
 
        >>> sb.common_ancestor(sb) != clone.common_ancestor(clone)
731
 
        True
732
 
        >>> clone2 = sb.clone()
733
 
        >>> sb.common_ancestor(clone2)[0]
734
 
        2
735
 
        >>> sb.common_ancestor(clone2, self_revno=1)[0]
736
 
        1
737
 
        >>> sb.common_ancestor(clone2, other_revno=1)[0]
738
 
        1
739
 
        """
740
 
        my_history = self.revision_history()
741
 
        other_history = other.revision_history()
742
 
        if self_revno is None:
743
 
            self_revno = len(my_history)
744
 
        if other_revno is None:
745
 
            other_revno = len(other_history)
746
 
        indices = range(min((self_revno, other_revno)))
747
 
        indices.reverse()
748
 
        for r in indices:
749
 
            if my_history[r] == other_history[r]:
750
 
                return r+1, my_history[r]
751
 
        return None, None
 
705
        self._need_readlock()
 
706
        return [l.rstrip('\r\n') for l in self.controlfile('revision-history', 'r').readlines()]
 
707
 
 
708
 
 
709
    def enum_history(self, direction):
 
710
        """Return (revno, revision_id) for history of branch.
 
711
 
 
712
        direction
 
713
            'forward' is from earliest to latest
 
714
            'reverse' is from latest to earliest
 
715
        """
 
716
        rh = self.revision_history()
 
717
        if direction == 'forward':
 
718
            i = 1
 
719
            for rid in rh:
 
720
                yield i, rid
 
721
                i += 1
 
722
        elif direction == 'reverse':
 
723
            i = len(rh)
 
724
            while i > 0:
 
725
                yield i, rh[i-1]
 
726
                i -= 1
 
727
        else:
 
728
            raise BzrError('invalid history direction %r' % direction)
752
729
 
753
730
 
754
731
    def revno(self):
756
733
 
757
734
        That is equivalent to the number of revisions committed to
758
735
        this branch.
 
736
 
 
737
        >>> b = ScratchBranch()
 
738
        >>> b.revno()
 
739
        0
 
740
        >>> b.commit('no foo')
 
741
        >>> b.revno()
 
742
        1
759
743
        """
760
744
        return len(self.revision_history())
761
745
 
762
746
 
763
747
    def last_patch(self):
764
748
        """Return last patch hash, or None if no history.
 
749
 
 
750
        >>> ScratchBranch().last_patch() == None
 
751
        True
765
752
        """
766
753
        ph = self.revision_history()
767
754
        if ph:
768
755
            return ph[-1]
769
756
        else:
770
757
            return None
771
 
 
772
 
 
773
 
    def missing_revisions(self, other, stop_revision=None):
774
 
        """
775
 
        If self and other have not diverged, return a list of the revisions
776
 
        present in other, but missing from self.
777
 
 
778
 
        >>> from bzrlib.commit import commit
779
 
        >>> bzrlib.trace.silent = True
780
 
        >>> br1 = ScratchBranch()
781
 
        >>> br2 = ScratchBranch()
782
 
        >>> br1.missing_revisions(br2)
783
 
        []
784
 
        >>> commit(br2, "lala!", rev_id="REVISION-ID-1")
785
 
        >>> br1.missing_revisions(br2)
786
 
        [u'REVISION-ID-1']
787
 
        >>> br2.missing_revisions(br1)
788
 
        []
789
 
        >>> commit(br1, "lala!", rev_id="REVISION-ID-1")
790
 
        >>> br1.missing_revisions(br2)
791
 
        []
792
 
        >>> commit(br2, "lala!", rev_id="REVISION-ID-2A")
793
 
        >>> br1.missing_revisions(br2)
794
 
        [u'REVISION-ID-2A']
795
 
        >>> commit(br1, "lala!", rev_id="REVISION-ID-2B")
796
 
        >>> br1.missing_revisions(br2)
797
 
        Traceback (most recent call last):
798
 
        DivergedBranches: These branches have diverged.
799
 
        """
800
 
        self_history = self.revision_history()
801
 
        self_len = len(self_history)
802
 
        other_history = other.revision_history()
803
 
        other_len = len(other_history)
804
 
        common_index = min(self_len, other_len) -1
805
 
        if common_index >= 0 and \
806
 
            self_history[common_index] != other_history[common_index]:
807
 
            raise DivergedBranches(self, other)
808
 
 
809
 
        if stop_revision is None:
810
 
            stop_revision = other_len
811
 
        elif stop_revision > other_len:
812
 
            raise NoSuchRevision(self, stop_revision)
813
 
        
814
 
        return other_history[self_len:stop_revision]
815
 
 
816
 
 
817
 
    def update_revisions(self, other, stop_revision=None):
818
 
        """Pull in all new revisions from other branch.
819
 
        
820
 
        >>> from bzrlib.commit import commit
821
 
        >>> bzrlib.trace.silent = True
822
 
        >>> br1 = ScratchBranch(files=['foo', 'bar'])
823
 
        >>> br1.add('foo')
824
 
        >>> br1.add('bar')
825
 
        >>> commit(br1, "lala!", rev_id="REVISION-ID-1", verbose=False)
826
 
        >>> br2 = ScratchBranch()
827
 
        >>> br2.update_revisions(br1)
828
 
        Added 2 texts.
829
 
        Added 1 inventories.
830
 
        Added 1 revisions.
831
 
        >>> br2.revision_history()
832
 
        [u'REVISION-ID-1']
833
 
        >>> br2.update_revisions(br1)
834
 
        Added 0 texts.
835
 
        Added 0 inventories.
836
 
        Added 0 revisions.
837
 
        >>> br1.text_store.total_size() == br2.text_store.total_size()
838
 
        True
839
 
        """
840
 
        from bzrlib.progress import ProgressBar
841
 
 
842
 
        pb = ProgressBar()
843
 
 
844
 
        pb.update('comparing histories')
845
 
        revision_ids = self.missing_revisions(other, stop_revision)
846
 
 
847
 
        if hasattr(other.revision_store, "prefetch"):
848
 
            other.revision_store.prefetch(revision_ids)
849
 
        if hasattr(other.inventory_store, "prefetch"):
850
 
            inventory_ids = [other.get_revision(r).inventory_id
851
 
                             for r in revision_ids]
852
 
            other.inventory_store.prefetch(inventory_ids)
853
 
                
854
 
        revisions = []
855
 
        needed_texts = set()
856
 
        i = 0
857
 
        for rev_id in revision_ids:
858
 
            i += 1
859
 
            pb.update('fetching revision', i, len(revision_ids))
860
 
            rev = other.get_revision(rev_id)
861
 
            revisions.append(rev)
862
 
            inv = other.get_inventory(str(rev.inventory_id))
863
 
            for key, entry in inv.iter_entries():
864
 
                if entry.text_id is None:
865
 
                    continue
866
 
                if entry.text_id not in self.text_store:
867
 
                    needed_texts.add(entry.text_id)
868
 
 
869
 
        pb.clear()
870
 
                    
871
 
        count = self.text_store.copy_multi(other.text_store, needed_texts)
872
 
        print "Added %d texts." % count 
873
 
        inventory_ids = [ f.inventory_id for f in revisions ]
874
 
        count = self.inventory_store.copy_multi(other.inventory_store, 
875
 
                                                inventory_ids)
876
 
        print "Added %d inventories." % count 
877
 
        revision_ids = [ f.revision_id for f in revisions]
878
 
        count = self.revision_store.copy_multi(other.revision_store, 
879
 
                                               revision_ids)
880
 
        for revision_id in revision_ids:
881
 
            self.append_revision(revision_id)
882
 
        print "Added %d revisions." % count
883
 
                    
884
 
        
885
 
    def commit(self, *args, **kw):
886
 
        from bzrlib.commit import commit
887
 
        commit(self, *args, **kw)
888
 
        
889
 
 
890
 
    def lookup_revision(self, revision):
891
 
        """Return the revision identifier for a given revision information."""
892
 
        revno, info = self.get_revision_info(revision)
893
 
        return info
894
 
 
895
 
    def get_revision_info(self, revision):
896
 
        """Return (revno, revision id) for revision identifier.
897
 
 
898
 
        revision can be an integer, in which case it is assumed to be revno (though
899
 
            this will translate negative values into positive ones)
900
 
        revision can also be a string, in which case it is parsed for something like
901
 
            'date:' or 'revid:' etc.
902
 
        """
903
 
        if revision is None:
904
 
            return 0, None
905
 
        revno = None
906
 
        try:# Convert to int if possible
907
 
            revision = int(revision)
908
 
        except ValueError:
909
 
            pass
910
 
        revs = self.revision_history()
911
 
        if isinstance(revision, int):
912
 
            if revision == 0:
913
 
                return 0, None
914
 
            # Mabye we should do this first, but we don't need it if revision == 0
915
 
            if revision < 0:
916
 
                revno = len(revs) + revision + 1
917
 
            else:
918
 
                revno = revision
919
 
        elif isinstance(revision, basestring):
920
 
            for prefix, func in Branch.REVISION_NAMESPACES.iteritems():
921
 
                if revision.startswith(prefix):
922
 
                    revno = func(self, revs, revision)
923
 
                    break
924
 
            else:
925
 
                raise BzrError('No namespace registered for string: %r' % revision)
926
 
 
927
 
        if revno is None or revno <= 0 or revno > len(revs):
928
 
            raise BzrError("no such revision %s" % revision)
929
 
        return revno, revs[revno-1]
930
 
 
931
 
    def _namespace_revno(self, revs, revision):
932
 
        """Lookup a revision by revision number"""
933
 
        assert revision.startswith('revno:')
934
 
        try:
935
 
            return int(revision[6:])
936
 
        except ValueError:
937
 
            return None
938
 
    REVISION_NAMESPACES['revno:'] = _namespace_revno
939
 
 
940
 
    def _namespace_revid(self, revs, revision):
941
 
        assert revision.startswith('revid:')
942
 
        try:
943
 
            return revs.index(revision[6:]) + 1
944
 
        except ValueError:
945
 
            return None
946
 
    REVISION_NAMESPACES['revid:'] = _namespace_revid
947
 
 
948
 
    def _namespace_last(self, revs, revision):
949
 
        assert revision.startswith('last:')
950
 
        try:
951
 
            offset = int(revision[5:])
952
 
        except ValueError:
953
 
            return None
954
 
        else:
955
 
            if offset <= 0:
956
 
                raise BzrError('You must supply a positive value for --revision last:XXX')
957
 
            return len(revs) - offset + 1
958
 
    REVISION_NAMESPACES['last:'] = _namespace_last
959
 
 
960
 
    def _namespace_tag(self, revs, revision):
961
 
        assert revision.startswith('tag:')
962
 
        raise BzrError('tag: namespace registered, but not implemented.')
963
 
    REVISION_NAMESPACES['tag:'] = _namespace_tag
964
 
 
965
 
    def _namespace_date(self, revs, revision):
966
 
        assert revision.startswith('date:')
967
 
        import datetime
968
 
        # Spec for date revisions:
969
 
        #   date:value
970
 
        #   value can be 'yesterday', 'today', 'tomorrow' or a YYYY-MM-DD string.
971
 
        #   it can also start with a '+/-/='. '+' says match the first
972
 
        #   entry after the given date. '-' is match the first entry before the date
973
 
        #   '=' is match the first entry after, but still on the given date.
974
 
        #
975
 
        #   +2005-05-12 says find the first matching entry after May 12th, 2005 at 0:00
976
 
        #   -2005-05-12 says find the first matching entry before May 12th, 2005 at 0:00
977
 
        #   =2005-05-12 says find the first match after May 12th, 2005 at 0:00 but before
978
 
        #       May 13th, 2005 at 0:00
979
 
        #
980
 
        #   So the proper way of saying 'give me all entries for today' is:
981
 
        #       -r {date:+today}:{date:-tomorrow}
982
 
        #   The default is '=' when not supplied
983
 
        val = revision[5:]
984
 
        match_style = '='
985
 
        if val[:1] in ('+', '-', '='):
986
 
            match_style = val[:1]
987
 
            val = val[1:]
988
 
 
989
 
        today = datetime.datetime.today().replace(hour=0,minute=0,second=0,microsecond=0)
990
 
        if val.lower() == 'yesterday':
991
 
            dt = today - datetime.timedelta(days=1)
992
 
        elif val.lower() == 'today':
993
 
            dt = today
994
 
        elif val.lower() == 'tomorrow':
995
 
            dt = today + datetime.timedelta(days=1)
996
 
        else:
997
 
            import re
998
 
            # This should be done outside the function to avoid recompiling it.
999
 
            _date_re = re.compile(
1000
 
                    r'(?P<date>(?P<year>\d\d\d\d)-(?P<month>\d\d)-(?P<day>\d\d))?'
1001
 
                    r'(,|T)?\s*'
1002
 
                    r'(?P<time>(?P<hour>\d\d):(?P<minute>\d\d)(:(?P<second>\d\d))?)?'
1003
 
                )
1004
 
            m = _date_re.match(val)
1005
 
            if not m or (not m.group('date') and not m.group('time')):
1006
 
                raise BzrError('Invalid revision date %r' % revision)
1007
 
 
1008
 
            if m.group('date'):
1009
 
                year, month, day = int(m.group('year')), int(m.group('month')), int(m.group('day'))
1010
 
            else:
1011
 
                year, month, day = today.year, today.month, today.day
1012
 
            if m.group('time'):
1013
 
                hour = int(m.group('hour'))
1014
 
                minute = int(m.group('minute'))
1015
 
                if m.group('second'):
1016
 
                    second = int(m.group('second'))
1017
 
                else:
1018
 
                    second = 0
1019
 
            else:
1020
 
                hour, minute, second = 0,0,0
1021
 
 
1022
 
            dt = datetime.datetime(year=year, month=month, day=day,
1023
 
                    hour=hour, minute=minute, second=second)
1024
 
        first = dt
1025
 
        last = None
1026
 
        reversed = False
1027
 
        if match_style == '-':
1028
 
            reversed = True
1029
 
        elif match_style == '=':
1030
 
            last = dt + datetime.timedelta(days=1)
1031
 
 
1032
 
        if reversed:
1033
 
            for i in range(len(revs)-1, -1, -1):
1034
 
                r = self.get_revision(revs[i])
1035
 
                # TODO: Handle timezone.
1036
 
                dt = datetime.datetime.fromtimestamp(r.timestamp)
1037
 
                if first >= dt and (last is None or dt >= last):
1038
 
                    return i+1
1039
 
        else:
1040
 
            for i in range(len(revs)):
1041
 
                r = self.get_revision(revs[i])
1042
 
                # TODO: Handle timezone.
1043
 
                dt = datetime.datetime.fromtimestamp(r.timestamp)
1044
 
                if first <= dt and (last is None or dt <= last):
1045
 
                    return i+1
1046
 
    REVISION_NAMESPACES['date:'] = _namespace_date
 
758
        
 
759
 
 
760
    def lookup_revision(self, revno):
 
761
        """Return revision hash for revision number."""
 
762
        if revno == 0:
 
763
            return None
 
764
 
 
765
        try:
 
766
            # list is 0-based; revisions are 1-based
 
767
            return self.revision_history()[revno-1]
 
768
        except IndexError:
 
769
            raise BzrError("no such revision %s" % revno)
 
770
 
1047
771
 
1048
772
    def revision_tree(self, revision_id):
1049
773
        """Return Tree for a revision on this branch.
1050
774
 
1051
775
        `revision_id` may be None for the null revision, in which case
1052
776
        an `EmptyTree` is returned."""
1053
 
        # TODO: refactor this to use an existing revision object
1054
 
        # so we don't need to read it in twice.
 
777
        self._need_readlock()
1055
778
        if revision_id == None:
1056
779
            return EmptyTree()
1057
780
        else:
1069
792
        """Return `Tree` object for last revision.
1070
793
 
1071
794
        If there are no revisions yet, return an `EmptyTree`.
 
795
 
 
796
        >>> b = ScratchBranch(files=['foo'])
 
797
        >>> b.basis_tree().has_filename('foo')
 
798
        False
 
799
        >>> b.working_tree().has_filename('foo')
 
800
        True
 
801
        >>> b.add('foo')
 
802
        >>> b.commit('add foo')
 
803
        >>> b.basis_tree().has_filename('foo')
 
804
        True
1072
805
        """
1073
806
        r = self.last_patch()
1074
807
        if r == None:
1083
816
 
1084
817
        This can change the directory or the filename or both.
1085
818
        """
1086
 
        self.lock_write()
 
819
        self._need_writelock()
 
820
        tree = self.working_tree()
 
821
        inv = tree.inventory
 
822
        if not tree.has_filename(from_rel):
 
823
            bailout("can't rename: old working file %r does not exist" % from_rel)
 
824
        if tree.has_filename(to_rel):
 
825
            bailout("can't rename: new working file %r already exists" % to_rel)
 
826
            
 
827
        file_id = inv.path2id(from_rel)
 
828
        if file_id == None:
 
829
            bailout("can't rename: old name %r is not versioned" % from_rel)
 
830
 
 
831
        if inv.path2id(to_rel):
 
832
            bailout("can't rename: new name %r is already versioned" % to_rel)
 
833
 
 
834
        to_dir, to_tail = os.path.split(to_rel)
 
835
        to_dir_id = inv.path2id(to_dir)
 
836
        if to_dir_id == None and to_dir != '':
 
837
            bailout("can't determine destination directory id for %r" % to_dir)
 
838
 
 
839
        mutter("rename_one:")
 
840
        mutter("  file_id    {%s}" % file_id)
 
841
        mutter("  from_rel   %r" % from_rel)
 
842
        mutter("  to_rel     %r" % to_rel)
 
843
        mutter("  to_dir     %r" % to_dir)
 
844
        mutter("  to_dir_id  {%s}" % to_dir_id)
 
845
            
 
846
        inv.rename(file_id, to_dir_id, to_tail)
 
847
 
 
848
        print "%s => %s" % (from_rel, to_rel)
 
849
        
 
850
        from_abs = self.abspath(from_rel)
 
851
        to_abs = self.abspath(to_rel)
1087
852
        try:
1088
 
            tree = self.working_tree()
1089
 
            inv = tree.inventory
1090
 
            if not tree.has_filename(from_rel):
1091
 
                raise BzrError("can't rename: old working file %r does not exist" % from_rel)
1092
 
            if tree.has_filename(to_rel):
1093
 
                raise BzrError("can't rename: new working file %r already exists" % to_rel)
1094
 
 
1095
 
            file_id = inv.path2id(from_rel)
1096
 
            if file_id == None:
1097
 
                raise BzrError("can't rename: old name %r is not versioned" % from_rel)
1098
 
 
1099
 
            if inv.path2id(to_rel):
1100
 
                raise BzrError("can't rename: new name %r is already versioned" % to_rel)
1101
 
 
1102
 
            to_dir, to_tail = os.path.split(to_rel)
1103
 
            to_dir_id = inv.path2id(to_dir)
1104
 
            if to_dir_id == None and to_dir != '':
1105
 
                raise BzrError("can't determine destination directory id for %r" % to_dir)
1106
 
 
1107
 
            mutter("rename_one:")
1108
 
            mutter("  file_id    {%s}" % file_id)
1109
 
            mutter("  from_rel   %r" % from_rel)
1110
 
            mutter("  to_rel     %r" % to_rel)
1111
 
            mutter("  to_dir     %r" % to_dir)
1112
 
            mutter("  to_dir_id  {%s}" % to_dir_id)
1113
 
 
1114
 
            inv.rename(file_id, to_dir_id, to_tail)
1115
 
 
1116
 
            print "%s => %s" % (from_rel, to_rel)
1117
 
 
1118
 
            from_abs = self.abspath(from_rel)
1119
 
            to_abs = self.abspath(to_rel)
1120
 
            try:
1121
 
                os.rename(from_abs, to_abs)
1122
 
            except OSError, e:
1123
 
                raise BzrError("failed to rename %r to %r: %s"
1124
 
                        % (from_abs, to_abs, e[1]),
1125
 
                        ["rename rolled back"])
1126
 
 
1127
 
            self._write_inventory(inv)
1128
 
        finally:
1129
 
            self.unlock()
 
853
            os.rename(from_abs, to_abs)
 
854
        except OSError, e:
 
855
            bailout("failed to rename %r to %r: %s"
 
856
                    % (from_abs, to_abs, e[1]),
 
857
                    ["rename rolled back"])
 
858
 
 
859
        self._write_inventory(inv)
 
860
            
1130
861
 
1131
862
 
1132
863
    def move(self, from_paths, to_name):
1140
871
        Note that to_name is only the last component of the new name;
1141
872
        this doesn't change the directory.
1142
873
        """
1143
 
        self.lock_write()
1144
 
        try:
1145
 
            ## TODO: Option to move IDs only
1146
 
            assert not isinstance(from_paths, basestring)
1147
 
            tree = self.working_tree()
1148
 
            inv = tree.inventory
1149
 
            to_abs = self.abspath(to_name)
1150
 
            if not isdir(to_abs):
1151
 
                raise BzrError("destination %r is not a directory" % to_abs)
1152
 
            if not tree.has_filename(to_name):
1153
 
                raise BzrError("destination %r not in working directory" % to_abs)
1154
 
            to_dir_id = inv.path2id(to_name)
1155
 
            if to_dir_id == None and to_name != '':
1156
 
                raise BzrError("destination %r is not a versioned directory" % to_name)
1157
 
            to_dir_ie = inv[to_dir_id]
1158
 
            if to_dir_ie.kind not in ('directory', 'root_directory'):
1159
 
                raise BzrError("destination %r is not a directory" % to_abs)
1160
 
 
1161
 
            to_idpath = inv.get_idpath(to_dir_id)
1162
 
 
1163
 
            for f in from_paths:
1164
 
                if not tree.has_filename(f):
1165
 
                    raise BzrError("%r does not exist in working tree" % f)
1166
 
                f_id = inv.path2id(f)
1167
 
                if f_id == None:
1168
 
                    raise BzrError("%r is not versioned" % f)
1169
 
                name_tail = splitpath(f)[-1]
1170
 
                dest_path = appendpath(to_name, name_tail)
1171
 
                if tree.has_filename(dest_path):
1172
 
                    raise BzrError("destination %r already exists" % dest_path)
1173
 
                if f_id in to_idpath:
1174
 
                    raise BzrError("can't move %r to a subdirectory of itself" % f)
1175
 
 
1176
 
            # OK, so there's a race here, it's possible that someone will
1177
 
            # create a file in this interval and then the rename might be
1178
 
            # left half-done.  But we should have caught most problems.
1179
 
 
1180
 
            for f in from_paths:
1181
 
                name_tail = splitpath(f)[-1]
1182
 
                dest_path = appendpath(to_name, name_tail)
1183
 
                print "%s => %s" % (f, dest_path)
1184
 
                inv.rename(inv.path2id(f), to_dir_id, name_tail)
1185
 
                try:
1186
 
                    os.rename(self.abspath(f), self.abspath(dest_path))
1187
 
                except OSError, e:
1188
 
                    raise BzrError("failed to rename %r to %r: %s" % (f, dest_path, e[1]),
1189
 
                            ["rename rolled back"])
1190
 
 
1191
 
            self._write_inventory(inv)
1192
 
        finally:
1193
 
            self.unlock()
1194
 
 
1195
 
 
1196
 
    def revert(self, filenames, old_tree=None, backups=True):
1197
 
        """Restore selected files to the versions from a previous tree.
1198
 
 
1199
 
        backups
1200
 
            If true (default) backups are made of files before
1201
 
            they're renamed.
1202
 
        """
1203
 
        from bzrlib.errors import NotVersionedError, BzrError
1204
 
        from bzrlib.atomicfile import AtomicFile
1205
 
        from bzrlib.osutils import backup_file
1206
 
        
1207
 
        inv = self.read_working_inventory()
1208
 
        if old_tree is None:
1209
 
            old_tree = self.basis_tree()
1210
 
        old_inv = old_tree.inventory
1211
 
 
1212
 
        nids = []
1213
 
        for fn in filenames:
1214
 
            file_id = inv.path2id(fn)
1215
 
            if not file_id:
1216
 
                raise NotVersionedError("not a versioned file", fn)
1217
 
            if not old_inv.has_id(file_id):
1218
 
                raise BzrError("file not present in old tree", fn, file_id)
1219
 
            nids.append((fn, file_id))
1220
 
            
1221
 
        # TODO: Rename back if it was previously at a different location
1222
 
 
1223
 
        # TODO: If given a directory, restore the entire contents from
1224
 
        # the previous version.
1225
 
 
1226
 
        # TODO: Make a backup to a temporary file.
1227
 
 
1228
 
        # TODO: If the file previously didn't exist, delete it?
1229
 
        for fn, file_id in nids:
1230
 
            backup_file(fn)
1231
 
            
1232
 
            f = AtomicFile(fn, 'wb')
1233
 
            try:
1234
 
                f.write(old_tree.get_file(file_id).read())
1235
 
                f.commit()
1236
 
            finally:
1237
 
                f.close()
1238
 
 
1239
 
 
1240
 
    def pending_merges(self):
1241
 
        """Return a list of pending merges.
1242
 
 
1243
 
        These are revisions that have been merged into the working
1244
 
        directory but not yet committed.
1245
 
        """
1246
 
        cfn = self.controlfilename('pending-merges')
1247
 
        if not os.path.exists(cfn):
1248
 
            return []
1249
 
        p = []
1250
 
        for l in self.controlfile('pending-merges', 'r').readlines():
1251
 
            p.append(l.rstrip('\n'))
1252
 
        return p
1253
 
 
1254
 
 
1255
 
    def add_pending_merge(self, revision_id):
1256
 
        from bzrlib.revision import validate_revision_id
1257
 
 
1258
 
        validate_revision_id(revision_id)
1259
 
 
1260
 
        p = self.pending_merges()
1261
 
        if revision_id in p:
1262
 
            return
1263
 
        p.append(revision_id)
1264
 
        self.set_pending_merges(p)
1265
 
 
1266
 
 
1267
 
    def set_pending_merges(self, rev_list):
1268
 
        from bzrlib.atomicfile import AtomicFile
1269
 
        self.lock_write()
1270
 
        try:
1271
 
            f = AtomicFile(self.controlfilename('pending-merges'))
1272
 
            try:
1273
 
                for l in rev_list:
1274
 
                    print >>f, l
1275
 
                f.commit()
1276
 
            finally:
1277
 
                f.close()
1278
 
        finally:
1279
 
            self.unlock()
 
874
        self._need_writelock()
 
875
        ## TODO: Option to move IDs only
 
876
        assert not isinstance(from_paths, basestring)
 
877
        tree = self.working_tree()
 
878
        inv = tree.inventory
 
879
        to_abs = self.abspath(to_name)
 
880
        if not isdir(to_abs):
 
881
            bailout("destination %r is not a directory" % to_abs)
 
882
        if not tree.has_filename(to_name):
 
883
            bailout("destination %r not in working directory" % to_abs)
 
884
        to_dir_id = inv.path2id(to_name)
 
885
        if to_dir_id == None and to_name != '':
 
886
            bailout("destination %r is not a versioned directory" % to_name)
 
887
        to_dir_ie = inv[to_dir_id]
 
888
        if to_dir_ie.kind not in ('directory', 'root_directory'):
 
889
            bailout("destination %r is not a directory" % to_abs)
 
890
 
 
891
        to_idpath = Set(inv.get_idpath(to_dir_id))
 
892
 
 
893
        for f in from_paths:
 
894
            if not tree.has_filename(f):
 
895
                bailout("%r does not exist in working tree" % f)
 
896
            f_id = inv.path2id(f)
 
897
            if f_id == None:
 
898
                bailout("%r is not versioned" % f)
 
899
            name_tail = splitpath(f)[-1]
 
900
            dest_path = appendpath(to_name, name_tail)
 
901
            if tree.has_filename(dest_path):
 
902
                bailout("destination %r already exists" % dest_path)
 
903
            if f_id in to_idpath:
 
904
                bailout("can't move %r to a subdirectory of itself" % f)
 
905
 
 
906
        # OK, so there's a race here, it's possible that someone will
 
907
        # create a file in this interval and then the rename might be
 
908
        # left half-done.  But we should have caught most problems.
 
909
 
 
910
        for f in from_paths:
 
911
            name_tail = splitpath(f)[-1]
 
912
            dest_path = appendpath(to_name, name_tail)
 
913
            print "%s => %s" % (f, dest_path)
 
914
            inv.rename(inv.path2id(f), to_dir_id, name_tail)
 
915
            try:
 
916
                os.rename(self.abspath(f), self.abspath(dest_path))
 
917
            except OSError, e:
 
918
                bailout("failed to rename %r to %r: %s" % (f, dest_path, e[1]),
 
919
                        ["rename rolled back"])
 
920
 
 
921
        self._write_inventory(inv)
 
922
 
1280
923
 
1281
924
 
1282
925
 
1291
934
    >>> isdir(bd)
1292
935
    False
1293
936
    """
1294
 
    def __init__(self, files=[], dirs=[], base=None):
 
937
    def __init__(self, files=[], dirs=[]):
1295
938
        """Make a test branch.
1296
939
 
1297
940
        This creates a temporary directory and runs init-tree in it.
1298
941
 
1299
942
        If any files are listed, they are created in the working copy.
1300
943
        """
1301
 
        from tempfile import mkdtemp
1302
 
        init = False
1303
 
        if base is None:
1304
 
            base = mkdtemp()
1305
 
            init = True
1306
 
        Branch.__init__(self, base, init=init)
 
944
        Branch.__init__(self, tempfile.mkdtemp(), init=True)
1307
945
        for d in dirs:
1308
946
            os.mkdir(self.abspath(d))
1309
947
            
1311
949
            file(os.path.join(self.base, f), 'w').write('content of %s' % f)
1312
950
 
1313
951
 
1314
 
    def clone(self):
1315
 
        """
1316
 
        >>> orig = ScratchBranch(files=["file1", "file2"])
1317
 
        >>> clone = orig.clone()
1318
 
        >>> os.path.samefile(orig.base, clone.base)
1319
 
        False
1320
 
        >>> os.path.isfile(os.path.join(clone.base, "file1"))
1321
 
        True
1322
 
        """
1323
 
        from shutil import copytree
1324
 
        from tempfile import mkdtemp
1325
 
        base = mkdtemp()
1326
 
        os.rmdir(base)
1327
 
        copytree(self.base, base, symlinks=True)
1328
 
        return ScratchBranch(base=base)
1329
 
        
1330
952
    def __del__(self):
1331
953
        self.destroy()
1332
954
 
1333
955
    def destroy(self):
1334
956
        """Destroy the test branch, removing the scratch directory."""
1335
 
        from shutil import rmtree
1336
957
        try:
1337
 
            if self.base:
1338
 
                mutter("delete ScratchBranch %s" % self.base)
1339
 
                rmtree(self.base)
 
958
            mutter("delete ScratchBranch %s" % self.base)
 
959
            shutil.rmtree(self.base)
1340
960
        except OSError, e:
1341
961
            # Work around for shutil.rmtree failing on Windows when
1342
962
            # readonly files are encountered
1344
964
            for root, dirs, files in os.walk(self.base, topdown=False):
1345
965
                for name in files:
1346
966
                    os.chmod(os.path.join(root, name), 0700)
1347
 
            rmtree(self.base)
 
967
            shutil.rmtree(self.base)
1348
968
        self.base = None
1349
969
 
1350
970
    
1368
988
 
1369
989
 
1370
990
 
 
991
def _gen_revision_id(when):
 
992
    """Return new revision-id."""
 
993
    s = '%s-%s-' % (user_email(), compact_date(when))
 
994
    s += hexlify(rand_bytes(8))
 
995
    return s
 
996
 
 
997
 
1371
998
def gen_file_id(name):
1372
999
    """Return new file id.
1373
1000
 
1374
1001
    This should probably generate proper UUIDs, but for the moment we
1375
1002
    cope with just randomness because running uuidgen every time is
1376
1003
    slow."""
1377
 
    import re
1378
 
    from binascii import hexlify
1379
 
    from time import time
1380
 
 
1381
 
    # get last component
1382
1004
    idx = name.rfind('/')
1383
1005
    if idx != -1:
1384
1006
        name = name[idx+1 : ]
1386
1008
    if idx != -1:
1387
1009
        name = name[idx+1 : ]
1388
1010
 
1389
 
    # make it not a hidden file
1390
1011
    name = name.lstrip('.')
1391
1012
 
1392
 
    # remove any wierd characters; we don't escape them but rather
1393
 
    # just pull them out
1394
 
    name = re.sub(r'[^\w.]', '', name)
1395
 
 
1396
1013
    s = hexlify(rand_bytes(8))
1397
 
    return '-'.join((name, compact_date(time()), s))
1398
 
 
1399
 
 
1400
 
def gen_root_id():
1401
 
    """Return a new tree-root file id."""
1402
 
    return gen_file_id('TREE_ROOT')
1403
 
 
 
1014
    return '-'.join((name, compact_date(time.time()), s))