~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/branch.py

  • Committer: Harald Meland
  • Date: 2005-09-23 12:49:00 UTC
  • mto: (1185.1.45)
  • mto: This revision was merged to the branch mainline in revision 1391.
  • Revision ID: hmeland@twoflower.uio.no-20050923124900-fa7d79d29f1e537d
Use fcntl.lockf() rather than fcntl.flock() to support NFS file systems.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
#! /usr/bin/env python
2
 
# -*- coding: UTF-8 -*-
 
1
# Copyright (C) 2005 Canonical Ltd
3
2
 
4
3
# This program is free software; you can redistribute it and/or modify
5
4
# it under the terms of the GNU General Public License as published by
16
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
16
 
18
17
 
19
 
from sets import Set
20
 
 
21
 
import sys, os, os.path, random, time, sha, sets, types, re, shutil, tempfile
22
 
import traceback, socket, fnmatch, difflib, time
23
 
from binascii import hexlify
 
18
import sys
 
19
import os
24
20
 
25
21
import bzrlib
26
 
from inventory import Inventory
27
 
from trace import mutter, note
28
 
from tree import Tree, EmptyTree, RevisionTree, WorkingTree
29
 
from inventory import InventoryEntry, Inventory
30
 
from osutils import isdir, quotefn, isfile, uuid, sha_file, username, chomp, \
31
 
     format_date, compact_date, pumpfile, user_email, rand_bytes, splitpath, \
32
 
     joinpath, sha_string, file_kind, local_time_offset
33
 
from store import ImmutableStore
34
 
from revision import Revision
35
 
from errors import bailout
36
 
from textui import show_status
37
 
from diff import diff_trees
 
22
from bzrlib.trace import mutter, note
 
23
from bzrlib.osutils import isdir, quotefn, compact_date, rand_bytes, \
 
24
     splitpath, \
 
25
     sha_file, appendpath, file_kind
 
26
 
 
27
from bzrlib.errors import BzrError, InvalidRevisionNumber, InvalidRevisionId, \
 
28
     DivergedBranches, NotBranchError
 
29
from bzrlib.textui import show_status
 
30
from bzrlib.revision import Revision
 
31
from bzrlib.delta import compare_trees
 
32
from bzrlib.tree import EmptyTree, RevisionTree
 
33
import bzrlib.xml
 
34
import bzrlib.ui
 
35
 
 
36
 
38
37
 
39
38
BZR_BRANCH_FORMAT = "Bazaar-NG branch, format 0.0.4\n"
40
39
## TODO: Maybe include checks for common corruption of newlines, etc?
41
40
 
42
41
 
 
42
# TODO: Some operations like log might retrieve the same revisions
 
43
# repeatedly to calculate deltas.  We could perhaps have a weakref
 
44
# cache in memory to make this faster.
 
45
 
 
46
def find_branch(*ignored, **ignored_too):
 
47
    # XXX: leave this here for about one release, then remove it
 
48
    raise NotImplementedError('find_branch() is not supported anymore, '
 
49
                              'please use one of the new branch constructors')
 
50
 
 
51
def _relpath(base, path):
 
52
    """Return path relative to base, or raise exception.
 
53
 
 
54
    The path may be either an absolute path or a path relative to the
 
55
    current working directory.
 
56
 
 
57
    Lifted out of Branch.relpath for ease of testing.
 
58
 
 
59
    os.path.commonprefix (python2.4) has a bad bug that it works just
 
60
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
 
61
    avoids that problem."""
 
62
    rp = os.path.abspath(path)
 
63
 
 
64
    s = []
 
65
    head = rp
 
66
    while len(head) >= len(base):
 
67
        if head == base:
 
68
            break
 
69
        head, tail = os.path.split(head)
 
70
        if tail:
 
71
            s.insert(0, tail)
 
72
    else:
 
73
        raise NotBranchError("path %r is not within branch %r" % (rp, base))
 
74
 
 
75
    return os.sep.join(s)
 
76
        
 
77
 
 
78
def find_branch_root(f=None):
 
79
    """Find the branch root enclosing f, or pwd.
 
80
 
 
81
    f may be a filename or a URL.
 
82
 
 
83
    It is not necessary that f exists.
 
84
 
 
85
    Basically we keep looking up until we find the control directory or
 
86
    run into the root.  If there isn't one, raises NotBranchError.
 
87
    """
 
88
    if f == None:
 
89
        f = os.getcwd()
 
90
    elif hasattr(os.path, 'realpath'):
 
91
        f = os.path.realpath(f)
 
92
    else:
 
93
        f = os.path.abspath(f)
 
94
    if not os.path.exists(f):
 
95
        raise BzrError('%r does not exist' % f)
 
96
        
 
97
 
 
98
    orig_f = f
 
99
 
 
100
    while True:
 
101
        if os.path.exists(os.path.join(f, bzrlib.BZRDIR)):
 
102
            return f
 
103
        head, tail = os.path.split(f)
 
104
        if head == f:
 
105
            # reached the root, whatever that may be
 
106
            raise NotBranchError('%s is not in a branch' % orig_f)
 
107
        f = head
 
108
 
43
109
 
44
110
 
45
111
 
46
112
######################################################################
47
113
# branch objects
48
114
 
49
 
class Branch:
 
115
class Branch(object):
50
116
    """Branch holding a history of revisions.
51
117
 
52
 
    :todo: Perhaps use different stores for different classes of object,
53
 
           so that we can keep track of how much space each one uses,
54
 
           or garbage-collect them.
55
 
 
56
 
    :todo: Add a RemoteBranch subclass.  For the basic case of read-only
57
 
           HTTP access this should be very easy by, 
58
 
           just redirecting controlfile access into HTTP requests.
59
 
           We would need a RemoteStore working similarly.
60
 
 
61
 
    :todo: Keep the on-disk branch locked while the object exists.
62
 
 
63
 
    :todo: mkdir() method.
64
 
    """
65
 
    def __init__(self, base, init=False):
 
118
    base
 
119
        Base directory/url of the branch.
 
120
    """
 
121
    base = None
 
122
 
 
123
    def __init__(self, *ignored, **ignored_too):
 
124
        raise NotImplementedError('The Branch class is abstract')
 
125
 
 
126
    @staticmethod
 
127
    def open(base):
 
128
        """Open an existing branch, rooted at 'base' (url)"""
 
129
        if base and (base.startswith('http://') or base.startswith('https://')):
 
130
            from bzrlib.remotebranch import RemoteBranch
 
131
            return RemoteBranch(base, find_root=False)
 
132
        else:
 
133
            return LocalBranch(base, find_root=False)
 
134
 
 
135
    @staticmethod
 
136
    def open_containing(url):
 
137
        """Open an existing branch, containing url (search upwards for the root)
 
138
        """
 
139
        if url and (url.startswith('http://') or url.startswith('https://')):
 
140
            from bzrlib.remotebranch import RemoteBranch
 
141
            return RemoteBranch(url)
 
142
        else:
 
143
            return LocalBranch(url)
 
144
 
 
145
    @staticmethod
 
146
    def initialize(base):
 
147
        """Create a new branch, rooted at 'base' (url)"""
 
148
        if base and (base.startswith('http://') or base.startswith('https://')):
 
149
            from bzrlib.remotebranch import RemoteBranch
 
150
            return RemoteBranch(base, init=True)
 
151
        else:
 
152
            return LocalBranch(base, init=True)
 
153
 
 
154
    def setup_caching(self, cache_root):
 
155
        """Subclasses that care about caching should override this, and set
 
156
        up cached stores located under cache_root.
 
157
        """
 
158
 
 
159
 
 
160
class LocalBranch(Branch):
 
161
    """A branch stored in the actual filesystem.
 
162
 
 
163
    Note that it's "local" in the context of the filesystem; it doesn't
 
164
    really matter if it's on an nfs/smb/afs/coda/... share, as long as
 
165
    it's writable, and can be accessed via the normal filesystem API.
 
166
 
 
167
    _lock_mode
 
168
        None, or 'r' or 'w'
 
169
 
 
170
    _lock_count
 
171
        If _lock_mode is true, a positive count of the number of times the
 
172
        lock has been taken.
 
173
 
 
174
    _lock
 
175
        Lock object from bzrlib.lock.
 
176
    """
 
177
    # We actually expect this class to be somewhat short-lived; part of its
 
178
    # purpose is to try to isolate what bits of the branch logic are tied to
 
179
    # filesystem access, so that in a later step, we can extricate them to
 
180
    # a separarte ("storage") class.
 
181
    _lock_mode = None
 
182
    _lock_count = None
 
183
    _lock = None
 
184
 
 
185
    def __init__(self, base, init=False, find_root=True):
66
186
        """Create new branch object at a particular location.
67
187
 
68
 
        :param base: Base directory for the branch.
69
 
 
70
 
        :param init: If True, create new control files in a previously
 
188
        base -- Base directory for the branch. May be a file:// url.
 
189
        
 
190
        init -- If True, create new control files in a previously
71
191
             unversioned directory.  If False, the branch must already
72
192
             be versioned.
73
193
 
 
194
        find_root -- If true and init is false, find the root of the
 
195
             existing branch containing base.
 
196
 
74
197
        In the test suite, creation of new trees is tested using the
75
198
        `ScratchBranch` class.
76
199
        """
77
 
        self.base = os.path.realpath(base)
 
200
        from bzrlib.store import ImmutableStore
78
201
        if init:
 
202
            self.base = os.path.realpath(base)
79
203
            self._make_control()
 
204
        elif find_root:
 
205
            self.base = find_branch_root(base)
80
206
        else:
 
207
            if base.startswith("file://"):
 
208
                base = base[7:]
 
209
            self.base = os.path.realpath(base)
81
210
            if not isdir(self.controlfilename('.')):
82
 
                bailout("not a bzr branch: %s" % quotefn(base),
83
 
                        ['use "bzr init" to initialize a new working tree',
84
 
                         'current bzr can only operate from top-of-tree'])
85
 
            self._check_format()
 
211
                raise NotBranchError("not a bzr branch: %s" % quotefn(base),
 
212
                                     ['use "bzr init" to initialize a new working tree',
 
213
                                      'current bzr can only operate from top-of-tree'])
 
214
        self._check_format()
86
215
 
87
216
        self.text_store = ImmutableStore(self.controlfilename('text-store'))
88
217
        self.revision_store = ImmutableStore(self.controlfilename('revision-store'))
96
225
    __repr__ = __str__
97
226
 
98
227
 
99
 
    def _rel(self, name):
100
 
        """Return filename relative to branch top"""
 
228
    def __del__(self):
 
229
        if self._lock_mode or self._lock:
 
230
            from bzrlib.warnings import warn
 
231
            warn("branch %r was not explicitly unlocked" % self)
 
232
            self._lock.unlock()
 
233
 
 
234
    def lock_write(self):
 
235
        if self._lock_mode:
 
236
            if self._lock_mode != 'w':
 
237
                from bzrlib.errors import LockError
 
238
                raise LockError("can't upgrade to a write lock from %r" %
 
239
                                self._lock_mode)
 
240
            self._lock_count += 1
 
241
        else:
 
242
            from bzrlib.lock import WriteLock
 
243
 
 
244
            self._lock = WriteLock(self.controlfilename('branch-lock'))
 
245
            self._lock_mode = 'w'
 
246
            self._lock_count = 1
 
247
 
 
248
 
 
249
    def lock_read(self):
 
250
        if self._lock_mode:
 
251
            assert self._lock_mode in ('r', 'w'), \
 
252
                   "invalid lock mode %r" % self._lock_mode
 
253
            self._lock_count += 1
 
254
        else:
 
255
            from bzrlib.lock import ReadLock
 
256
 
 
257
            self._lock = ReadLock(self.controlfilename('branch-lock'))
 
258
            self._lock_mode = 'r'
 
259
            self._lock_count = 1
 
260
                        
 
261
    def unlock(self):
 
262
        if not self._lock_mode:
 
263
            from bzrlib.errors import LockError
 
264
            raise LockError('branch %r is not locked' % (self))
 
265
 
 
266
        if self._lock_count > 1:
 
267
            self._lock_count -= 1
 
268
        else:
 
269
            self._lock.unlock()
 
270
            self._lock = None
 
271
            self._lock_mode = self._lock_count = None
 
272
 
 
273
    def abspath(self, name):
 
274
        """Return absolute filename for something in the branch"""
101
275
        return os.path.join(self.base, name)
102
 
        
 
276
 
 
277
    def relpath(self, path):
 
278
        """Return path relative to this branch of something inside it.
 
279
 
 
280
        Raises an error if path is not in this branch."""
 
281
        return _relpath(self.base, path)
103
282
 
104
283
    def controlfilename(self, file_or_path):
105
284
        """Return location relative to branch."""
106
 
        if isinstance(file_or_path, types.StringTypes):
 
285
        if isinstance(file_or_path, basestring):
107
286
            file_or_path = [file_or_path]
108
287
        return os.path.join(self.base, bzrlib.BZRDIR, *file_or_path)
109
288
 
110
289
 
111
290
    def controlfile(self, file_or_path, mode='r'):
112
 
        """Open a control file for this branch"""
113
 
        return file(self.controlfilename(file_or_path), mode)
114
 
 
 
291
        """Open a control file for this branch.
 
292
 
 
293
        There are two classes of file in the control directory: text
 
294
        and binary.  binary files are untranslated byte streams.  Text
 
295
        control files are stored with Unix newlines and in UTF-8, even
 
296
        if the platform or locale defaults are different.
 
297
 
 
298
        Controlfiles should almost never be opened in write mode but
 
299
        rather should be atomically copied and replaced using atomicfile.
 
300
        """
 
301
 
 
302
        fn = self.controlfilename(file_or_path)
 
303
 
 
304
        if mode == 'rb' or mode == 'wb':
 
305
            return file(fn, mode)
 
306
        elif mode == 'r' or mode == 'w':
 
307
            # open in binary mode anyhow so there's no newline translation;
 
308
            # codecs uses line buffering by default; don't want that.
 
309
            import codecs
 
310
            return codecs.open(fn, mode + 'b', 'utf-8',
 
311
                               buffering=60000)
 
312
        else:
 
313
            raise BzrError("invalid controlfile mode %r" % mode)
115
314
 
116
315
    def _make_control(self):
 
316
        from bzrlib.inventory import Inventory
 
317
        
117
318
        os.mkdir(self.controlfilename([]))
118
319
        self.controlfile('README', 'w').write(
119
320
            "This is a Bazaar-NG control directory.\n"
120
 
            "Do not change any files in this directory.")
 
321
            "Do not change any files in this directory.\n")
121
322
        self.controlfile('branch-format', 'w').write(BZR_BRANCH_FORMAT)
122
323
        for d in ('text-store', 'inventory-store', 'revision-store'):
123
324
            os.mkdir(self.controlfilename(d))
124
325
        for f in ('revision-history', 'merged-patches',
125
 
                  'pending-merged-patches', 'branch-name'):
 
326
                  'pending-merged-patches', 'branch-name',
 
327
                  'branch-lock',
 
328
                  'pending-merges'):
126
329
            self.controlfile(f, 'w').write('')
127
330
        mutter('created control directory in ' + self.base)
128
 
        Inventory().write_xml(self.controlfile('inventory','w'))
 
331
 
 
332
        # if we want per-tree root ids then this is the place to set
 
333
        # them; they're not needed for now and so ommitted for
 
334
        # simplicity.
 
335
        f = self.controlfile('inventory','w')
 
336
        bzrlib.xml.serializer_v4.write_inventory(Inventory(), f)
129
337
 
130
338
 
131
339
    def _check_format(self):
135
343
 
136
344
        In the future, we might need different in-memory Branch
137
345
        classes to support downlevel branches.  But not yet.
138
 
        """        
139
 
        # read in binary mode to detect newline wierdness.
140
 
        fmt = self.controlfile('branch-format', 'rb').read()
 
346
        """
 
347
        # This ignores newlines so that we can open branches created
 
348
        # on Windows from Linux and so on.  I think it might be better
 
349
        # to always make all internal files in unix format.
 
350
        fmt = self.controlfile('branch-format', 'r').read()
 
351
        fmt = fmt.replace('\r\n', '\n')
141
352
        if fmt != BZR_BRANCH_FORMAT:
142
 
            bailout('sorry, branch format %r not supported' % fmt,
143
 
                    ['use a different bzr version',
144
 
                     'or remove the .bzr directory and "bzr init" again'])
145
 
 
 
353
            raise BzrError('sorry, branch format %r not supported' % fmt,
 
354
                           ['use a different bzr version',
 
355
                            'or remove the .bzr directory and "bzr init" again'])
 
356
 
 
357
    def get_root_id(self):
 
358
        """Return the id of this branches root"""
 
359
        inv = self.read_working_inventory()
 
360
        return inv.root.file_id
 
361
 
 
362
    def set_root_id(self, file_id):
 
363
        inv = self.read_working_inventory()
 
364
        orig_root_id = inv.root.file_id
 
365
        del inv._byid[inv.root.file_id]
 
366
        inv.root.file_id = file_id
 
367
        inv._byid[inv.root.file_id] = inv.root
 
368
        for fid in inv:
 
369
            entry = inv[fid]
 
370
            if entry.parent_id in (None, orig_root_id):
 
371
                entry.parent_id = inv.root.file_id
 
372
        self._write_inventory(inv)
146
373
 
147
374
    def read_working_inventory(self):
148
375
        """Read the working inventory."""
149
 
        before = time.time()
150
 
        inv = Inventory.read_xml(self.controlfile('inventory', 'r'))
151
 
        mutter("loaded inventory of %d items in %f"
152
 
               % (len(inv), time.time() - before))
153
 
        return inv
154
 
 
 
376
        from bzrlib.inventory import Inventory
 
377
        self.lock_read()
 
378
        try:
 
379
            # ElementTree does its own conversion from UTF-8, so open in
 
380
            # binary.
 
381
            f = self.controlfile('inventory', 'rb')
 
382
            return bzrlib.xml.serializer_v4.read_inventory(f)
 
383
        finally:
 
384
            self.unlock()
 
385
            
155
386
 
156
387
    def _write_inventory(self, inv):
157
388
        """Update the working inventory.
159
390
        That is to say, the inventory describing changes underway, that
160
391
        will be committed to the next revision.
161
392
        """
162
 
        ## TODO: factor out to atomicfile?  is rename safe on windows?
163
 
        tmpfname = self.controlfilename('inventory.tmp')
164
 
        tmpf = file(tmpfname, 'w')
165
 
        inv.write_xml(tmpf)
166
 
        tmpf.close()
167
 
        os.rename(tmpfname, self.controlfilename('inventory'))
 
393
        from bzrlib.atomicfile import AtomicFile
 
394
        
 
395
        self.lock_write()
 
396
        try:
 
397
            f = AtomicFile(self.controlfilename('inventory'), 'wb')
 
398
            try:
 
399
                bzrlib.xml.serializer_v4.write_inventory(inv, f)
 
400
                f.commit()
 
401
            finally:
 
402
                f.close()
 
403
        finally:
 
404
            self.unlock()
 
405
        
168
406
        mutter('wrote working inventory')
169
 
 
 
407
            
170
408
 
171
409
    inventory = property(read_working_inventory, _write_inventory, None,
172
410
                         """Inventory for the working copy.""")
173
411
 
174
412
 
175
 
    def add(self, files, verbose=False):
 
413
    def add(self, files, ids=None):
176
414
        """Make files versioned.
177
415
 
 
416
        Note that the command line normally calls smart_add instead,
 
417
        which can automatically recurse.
 
418
 
178
419
        This puts the files in the Added state, so that they will be
179
420
        recorded by the next commit.
180
421
 
181
 
        :todo: Perhaps have an option to add the ids even if the files do
182
 
               not (yet) exist.
183
 
 
184
 
        :todo: Perhaps return the ids of the files?  But then again it
185
 
               is easy to retrieve them if they're needed.
186
 
 
187
 
        :todo: Option to specify file id.
188
 
 
189
 
        :todo: Adding a directory should optionally recurse down and
190
 
               add all non-ignored children.  Perhaps do that in a
191
 
               higher-level method.
192
 
 
193
 
        >>> b = ScratchBranch(files=['foo'])
194
 
        >>> 'foo' in b.unknowns()
195
 
        True
196
 
        >>> b.show_status()
197
 
        ?       foo
198
 
        >>> b.add('foo')
199
 
        >>> 'foo' in b.unknowns()
200
 
        False
201
 
        >>> bool(b.inventory.path2id('foo'))
202
 
        True
203
 
        >>> b.show_status()
204
 
        A       foo
205
 
 
206
 
        >>> b.add('foo')
207
 
        Traceback (most recent call last):
208
 
        ...
209
 
        BzrError: ('foo is already versioned', [])
210
 
 
211
 
        >>> b.add(['nothere'])
212
 
        Traceback (most recent call last):
213
 
        BzrError: ('cannot add: not a regular file or directory: nothere', [])
 
422
        files
 
423
            List of paths to add, relative to the base of the tree.
 
424
 
 
425
        ids
 
426
            If set, use these instead of automatically generated ids.
 
427
            Must be the same length as the list of files, but may
 
428
            contain None for ids that are to be autogenerated.
 
429
 
 
430
        TODO: Perhaps have an option to add the ids even if the files do
 
431
              not (yet) exist.
 
432
 
 
433
        TODO: Perhaps yield the ids and paths as they're added.
214
434
        """
215
 
 
216
435
        # TODO: Re-adding a file that is removed in the working copy
217
436
        # should probably put it back with the previous ID.
218
 
        if isinstance(files, types.StringTypes):
 
437
        if isinstance(files, basestring):
 
438
            assert(ids is None or isinstance(ids, basestring))
219
439
            files = [files]
220
 
        
221
 
        inv = self.read_working_inventory()
222
 
        for f in files:
223
 
            if is_control_file(f):
224
 
                bailout("cannot add control file %s" % quotefn(f))
225
 
 
226
 
            fp = splitpath(f)
227
 
 
228
 
            if len(fp) == 0:
229
 
                bailout("cannot add top-level %r" % f)
230
 
                
231
 
            fullpath = os.path.normpath(self._rel(f))
232
 
 
233
 
            if isfile(fullpath):
234
 
                kind = 'file'
235
 
            elif isdir(fullpath):
236
 
                kind = 'directory'
237
 
            else:
238
 
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
239
 
 
240
 
            if len(fp) > 1:
241
 
                parent_name = joinpath(fp[:-1])
242
 
                mutter("lookup parent %r" % parent_name)
243
 
                parent_id = inv.path2id(parent_name)
244
 
                if parent_id == None:
245
 
                    bailout("cannot add: parent %r is not versioned"
246
 
                            % joinpath(fp[:-1]))
247
 
            else:
248
 
                parent_id = None
249
 
 
250
 
            file_id = _gen_file_id(fp[-1])
251
 
            inv.add(InventoryEntry(file_id, fp[-1], kind=kind, parent_id=parent_id))
252
 
            if verbose:
253
 
                show_status('A', kind, quotefn(f))
254
 
                
255
 
            mutter("add file %s file_id:{%s} kind=%r parent_id={%s}"
256
 
                   % (f, file_id, kind, parent_id))
257
 
        self._write_inventory(inv)
258
 
 
 
440
            if ids is not None:
 
441
                ids = [ids]
 
442
 
 
443
        if ids is None:
 
444
            ids = [None] * len(files)
 
445
        else:
 
446
            assert(len(ids) == len(files))
 
447
 
 
448
        self.lock_write()
 
449
        try:
 
450
            inv = self.read_working_inventory()
 
451
            for f,file_id in zip(files, ids):
 
452
                if is_control_file(f):
 
453
                    raise BzrError("cannot add control file %s" % quotefn(f))
 
454
 
 
455
                fp = splitpath(f)
 
456
 
 
457
                if len(fp) == 0:
 
458
                    raise BzrError("cannot add top-level %r" % f)
 
459
 
 
460
                fullpath = os.path.normpath(self.abspath(f))
 
461
 
 
462
                try:
 
463
                    kind = file_kind(fullpath)
 
464
                except OSError:
 
465
                    # maybe something better?
 
466
                    raise BzrError('cannot add: not a regular file or directory: %s' % quotefn(f))
 
467
 
 
468
                if kind != 'file' and kind != 'directory':
 
469
                    raise BzrError('cannot add: not a regular file or directory: %s' % quotefn(f))
 
470
 
 
471
                if file_id is None:
 
472
                    file_id = gen_file_id(f)
 
473
                inv.add_path(f, kind=kind, file_id=file_id)
 
474
 
 
475
                mutter("add file %s file_id:{%s} kind=%r" % (f, file_id, kind))
 
476
 
 
477
            self._write_inventory(inv)
 
478
        finally:
 
479
            self.unlock()
 
480
            
 
481
 
 
482
    def print_file(self, file, revno):
 
483
        """Print `file` to stdout."""
 
484
        self.lock_read()
 
485
        try:
 
486
            tree = self.revision_tree(self.get_rev_id(revno))
 
487
            # use inventory as it was in that revision
 
488
            file_id = tree.inventory.path2id(file)
 
489
            if not file_id:
 
490
                raise BzrError("%r is not present in revision %s" % (file, revno))
 
491
            tree.print_file(file_id)
 
492
        finally:
 
493
            self.unlock()
259
494
 
260
495
 
261
496
    def remove(self, files, verbose=False):
263
498
 
264
499
        This does not remove their text.  This does not run on 
265
500
 
266
 
        :todo: Refuse to remove modified files unless --force is given?
267
 
 
268
 
        >>> b = ScratchBranch(files=['foo'])
269
 
        >>> b.add('foo')
270
 
        >>> b.inventory.has_filename('foo')
271
 
        True
272
 
        >>> b.remove('foo')
273
 
        >>> b.working_tree().has_filename('foo')
274
 
        True
275
 
        >>> b.inventory.has_filename('foo')
276
 
        False
277
 
        
278
 
        >>> b = ScratchBranch(files=['foo'])
279
 
        >>> b.add('foo')
280
 
        >>> b.commit('one')
281
 
        >>> b.remove('foo')
282
 
        >>> b.commit('two')
283
 
        >>> b.inventory.has_filename('foo') 
284
 
        False
285
 
        >>> b.basis_tree().has_filename('foo') 
286
 
        False
287
 
        >>> b.working_tree().has_filename('foo') 
288
 
        True
289
 
 
290
 
        :todo: Do something useful with directories.
291
 
 
292
 
        :todo: Should this remove the text or not?  Tough call; not
 
501
        TODO: Refuse to remove modified files unless --force is given?
 
502
 
 
503
        TODO: Do something useful with directories.
 
504
 
 
505
        TODO: Should this remove the text or not?  Tough call; not
293
506
        removing may be useful and the user can just use use rm, and
294
507
        is the opposite of add.  Removing it is consistent with most
295
508
        other tools.  Maybe an option.
296
509
        """
297
510
        ## TODO: Normalize names
298
511
        ## TODO: Remove nested loops; better scalability
299
 
 
300
 
        if isinstance(files, types.StringTypes):
 
512
        if isinstance(files, basestring):
301
513
            files = [files]
302
 
        
303
 
        tree = self.working_tree()
304
 
        inv = tree.inventory
305
 
 
306
 
        # do this before any modifications
307
 
        for f in files:
308
 
            fid = inv.path2id(f)
309
 
            if not fid:
310
 
                bailout("cannot remove unversioned file %s" % quotefn(f))
311
 
            mutter("remove inventory entry %s {%s}" % (quotefn(f), fid))
312
 
            if verbose:
313
 
                # having remove it, it must be either ignored or unknown
314
 
                if tree.is_ignored(f):
315
 
                    new_status = 'I'
316
 
                else:
317
 
                    new_status = '?'
318
 
                show_status(new_status, inv[fid].kind, quotefn(f))
319
 
            del inv[fid]
320
 
 
 
514
 
 
515
        self.lock_write()
 
516
 
 
517
        try:
 
518
            tree = self.working_tree()
 
519
            inv = tree.inventory
 
520
 
 
521
            # do this before any modifications
 
522
            for f in files:
 
523
                fid = inv.path2id(f)
 
524
                if not fid:
 
525
                    raise BzrError("cannot remove unversioned file %s" % quotefn(f))
 
526
                mutter("remove inventory entry %s {%s}" % (quotefn(f), fid))
 
527
                if verbose:
 
528
                    # having remove it, it must be either ignored or unknown
 
529
                    if tree.is_ignored(f):
 
530
                        new_status = 'I'
 
531
                    else:
 
532
                        new_status = '?'
 
533
                    show_status(new_status, inv[fid].kind, quotefn(f))
 
534
                del inv[fid]
 
535
 
 
536
            self._write_inventory(inv)
 
537
        finally:
 
538
            self.unlock()
 
539
 
 
540
 
 
541
    # FIXME: this doesn't need to be a branch method
 
542
    def set_inventory(self, new_inventory_list):
 
543
        from bzrlib.inventory import Inventory, InventoryEntry
 
544
        inv = Inventory(self.get_root_id())
 
545
        for path, file_id, parent, kind in new_inventory_list:
 
546
            name = os.path.basename(path)
 
547
            if name == "":
 
548
                continue
 
549
            inv.add(InventoryEntry(file_id, name, kind, parent))
321
550
        self._write_inventory(inv)
322
551
 
323
552
 
340
569
        return self.working_tree().unknowns()
341
570
 
342
571
 
343
 
    def commit(self, message, timestamp=None, timezone=None,
344
 
               committer=None,
345
 
               verbose=False):
346
 
        """Commit working copy as a new revision.
347
 
        
348
 
        The basic approach is to add all the file texts into the
349
 
        store, then the inventory, then make a new revision pointing
350
 
        to that inventory and store that.
351
 
        
352
 
        This is not quite safe if the working copy changes during the
353
 
        commit; for the moment that is simply not allowed.  A better
354
 
        approach is to make a temporary copy of the files before
355
 
        computing their hashes, and then add those hashes in turn to
356
 
        the inventory.  This should mean at least that there are no
357
 
        broken hash pointers.  There is no way we can get a snapshot
358
 
        of the whole directory at an instant.  This would also have to
359
 
        be robust against files disappearing, moving, etc.  So the
360
 
        whole thing is a bit hard.
361
 
 
362
 
        :param timestamp: if not None, seconds-since-epoch for a
363
 
             postdated/predated commit.
364
 
        """
365
 
 
366
 
        ## TODO: Show branch names
367
 
 
368
 
        # TODO: Don't commit if there are no changes, unless forced?
369
 
 
370
 
        # First walk over the working inventory; and both update that
371
 
        # and also build a new revision inventory.  The revision
372
 
        # inventory needs to hold the text-id, sha1 and size of the
373
 
        # actual file versions committed in the revision.  (These are
374
 
        # not present in the working inventory.)  We also need to
375
 
        # detect missing/deleted files, and remove them from the
376
 
        # working inventory.
377
 
 
378
 
        work_inv = self.read_working_inventory()
379
 
        inv = Inventory()
380
 
        basis = self.basis_tree()
381
 
        basis_inv = basis.inventory
382
 
        missing_ids = []
383
 
        for path, entry in work_inv.iter_entries():
384
 
            ## TODO: Cope with files that have gone missing.
385
 
 
386
 
            ## TODO: Check that the file kind has not changed from the previous
387
 
            ## revision of this file (if any).
388
 
 
389
 
            entry = entry.copy()
390
 
 
391
 
            p = self._rel(path)
392
 
            file_id = entry.file_id
393
 
            mutter('commit prep file %s, id %r ' % (p, file_id))
394
 
 
395
 
            if not os.path.exists(p):
396
 
                mutter("    file is missing, removing from inventory")
397
 
                if verbose:
398
 
                    show_status('D', entry.kind, quotefn(path))
399
 
                missing_ids.append(file_id)
400
 
                continue
401
 
 
402
 
            # TODO: Handle files that have been deleted
403
 
 
404
 
            # TODO: Maybe a special case for empty files?  Seems a
405
 
            # waste to store them many times.
406
 
 
407
 
            inv.add(entry)
408
 
 
409
 
            if basis_inv.has_id(file_id):
410
 
                old_kind = basis_inv[file_id].kind
411
 
                if old_kind != entry.kind:
412
 
                    bailout("entry %r changed kind from %r to %r"
413
 
                            % (file_id, old_kind, entry.kind))
414
 
 
415
 
            if entry.kind == 'directory':
416
 
                if not isdir(p):
417
 
                    bailout("%s is entered as directory but not a directory" % quotefn(p))
418
 
            elif entry.kind == 'file':
419
 
                if not isfile(p):
420
 
                    bailout("%s is entered as file but is not a file" % quotefn(p))
421
 
 
422
 
                content = file(p, 'rb').read()
423
 
 
424
 
                entry.text_sha1 = sha_string(content)
425
 
                entry.text_size = len(content)
426
 
 
427
 
                old_ie = basis_inv.has_id(file_id) and basis_inv[file_id]
428
 
                if (old_ie
429
 
                    and (old_ie.text_size == entry.text_size)
430
 
                    and (old_ie.text_sha1 == entry.text_sha1)):
431
 
                    ## assert content == basis.get_file(file_id).read()
432
 
                    entry.text_id = basis_inv[file_id].text_id
433
 
                    mutter('    unchanged from previous text_id {%s}' %
434
 
                           entry.text_id)
435
 
                    
436
 
                else:
437
 
                    entry.text_id = _gen_file_id(entry.name)
438
 
                    self.text_store.add(content, entry.text_id)
439
 
                    mutter('    stored with text_id {%s}' % entry.text_id)
440
 
                    if verbose:
441
 
                        if not old_ie:
442
 
                            state = 'A'
443
 
                        elif (old_ie.name == entry.name
444
 
                              and old_ie.parent_id == entry.parent_id):
445
 
                            state = 'R'
446
 
                        else:
447
 
                            state = 'M'
448
 
 
449
 
                        show_status(state, entry.kind, quotefn(path))
450
 
 
451
 
        for file_id in missing_ids:
452
 
            # have to do this later so we don't mess up the iterator.
453
 
            # since parents may be removed before their children we
454
 
            # have to test.
455
 
 
456
 
            # FIXME: There's probably a better way to do this; perhaps
457
 
            # the workingtree should know how to filter itself.
458
 
            if work_inv.has_id(file_id):
459
 
                del work_inv[file_id]
460
 
 
461
 
 
462
 
        inv_id = rev_id = _gen_revision_id(time.time())
463
 
        
464
 
        inv_tmp = tempfile.TemporaryFile()
465
 
        inv.write_xml(inv_tmp)
466
 
        inv_tmp.seek(0)
467
 
        self.inventory_store.add(inv_tmp, inv_id)
468
 
        mutter('new inventory_id is {%s}' % inv_id)
469
 
 
470
 
        self._write_inventory(work_inv)
471
 
 
472
 
        if timestamp == None:
473
 
            timestamp = time.time()
474
 
 
475
 
        if committer == None:
476
 
            committer = username()
477
 
 
478
 
        if timezone == None:
479
 
            timezone = local_time_offset()
480
 
 
481
 
        mutter("building commit log message")
482
 
        rev = Revision(timestamp=timestamp,
483
 
                       timezone=timezone,
484
 
                       committer=committer,
485
 
                       precursor = self.last_patch(),
486
 
                       message = message,
487
 
                       inventory_id=inv_id,
488
 
                       revision_id=rev_id)
489
 
 
490
 
        rev_tmp = tempfile.TemporaryFile()
491
 
        rev.write_xml(rev_tmp)
492
 
        rev_tmp.seek(0)
493
 
        self.revision_store.add(rev_tmp, rev_id)
494
 
        mutter("new revision_id is {%s}" % rev_id)
495
 
        
496
 
        ## XXX: Everything up to here can simply be orphaned if we abort
497
 
        ## the commit; it will leave junk files behind but that doesn't
498
 
        ## matter.
499
 
 
500
 
        ## TODO: Read back the just-generated changeset, and make sure it
501
 
        ## applies and recreates the right state.
502
 
 
503
 
        ## TODO: Also calculate and store the inventory SHA1
504
 
        mutter("committing patch r%d" % (self.revno() + 1))
505
 
 
506
 
        mutter("append to revision-history")
507
 
        self.controlfile('revision-history', 'at').write(rev_id + '\n')
508
 
 
509
 
        mutter("done!")
 
572
    def append_revision(self, *revision_ids):
 
573
        from bzrlib.atomicfile import AtomicFile
 
574
 
 
575
        for revision_id in revision_ids:
 
576
            mutter("add {%s} to revision-history" % revision_id)
 
577
 
 
578
        rev_history = self.revision_history()
 
579
        rev_history.extend(revision_ids)
 
580
 
 
581
        f = AtomicFile(self.controlfilename('revision-history'))
 
582
        try:
 
583
            for rev_id in rev_history:
 
584
                print >>f, rev_id
 
585
            f.commit()
 
586
        finally:
 
587
            f.close()
 
588
 
 
589
 
 
590
    def get_revision_xml_file(self, revision_id):
 
591
        """Return XML file object for revision object."""
 
592
        if not revision_id or not isinstance(revision_id, basestring):
 
593
            raise InvalidRevisionId(revision_id)
 
594
 
 
595
        self.lock_read()
 
596
        try:
 
597
            try:
 
598
                return self.revision_store[revision_id]
 
599
            except (IndexError, KeyError):
 
600
                raise bzrlib.errors.NoSuchRevision(self, revision_id)
 
601
        finally:
 
602
            self.unlock()
 
603
 
 
604
 
 
605
    #deprecated
 
606
    get_revision_xml = get_revision_xml_file
510
607
 
511
608
 
512
609
    def get_revision(self, revision_id):
513
610
        """Return the Revision object for a named revision"""
514
 
        r = Revision.read_xml(self.revision_store[revision_id])
 
611
        xml_file = self.get_revision_xml_file(revision_id)
 
612
 
 
613
        try:
 
614
            r = bzrlib.xml.serializer_v4.read_revision(xml_file)
 
615
        except SyntaxError, e:
 
616
            raise bzrlib.errors.BzrError('failed to unpack revision_xml',
 
617
                                         [revision_id,
 
618
                                          str(e)])
 
619
            
515
620
        assert r.revision_id == revision_id
516
621
        return r
517
622
 
518
623
 
 
624
    def get_revision_delta(self, revno):
 
625
        """Return the delta for one revision.
 
626
 
 
627
        The delta is relative to its mainline predecessor, or the
 
628
        empty tree for revision 1.
 
629
        """
 
630
        assert isinstance(revno, int)
 
631
        rh = self.revision_history()
 
632
        if not (1 <= revno <= len(rh)):
 
633
            raise InvalidRevisionNumber(revno)
 
634
 
 
635
        # revno is 1-based; list is 0-based
 
636
 
 
637
        new_tree = self.revision_tree(rh[revno-1])
 
638
        if revno == 1:
 
639
            old_tree = EmptyTree()
 
640
        else:
 
641
            old_tree = self.revision_tree(rh[revno-2])
 
642
 
 
643
        return compare_trees(old_tree, new_tree)
 
644
 
 
645
        
 
646
 
 
647
    def get_revision_sha1(self, revision_id):
 
648
        """Hash the stored value of a revision, and return it."""
 
649
        # In the future, revision entries will be signed. At that
 
650
        # point, it is probably best *not* to include the signature
 
651
        # in the revision hash. Because that lets you re-sign
 
652
        # the revision, (add signatures/remove signatures) and still
 
653
        # have all hash pointers stay consistent.
 
654
        # But for now, just hash the contents.
 
655
        return bzrlib.osutils.sha_file(self.get_revision_xml(revision_id))
 
656
 
 
657
 
519
658
    def get_inventory(self, inventory_id):
520
659
        """Get Inventory object by hash.
521
660
 
522
 
        :todo: Perhaps for this and similar methods, take a revision
 
661
        TODO: Perhaps for this and similar methods, take a revision
523
662
               parameter which can be either an integer revno or a
524
663
               string hash."""
525
 
        i = Inventory.read_xml(self.inventory_store[inventory_id])
526
 
        return i
 
664
        from bzrlib.inventory import Inventory
 
665
 
 
666
        f = self.get_inventory_xml_file(inventory_id)
 
667
        return bzrlib.xml.serializer_v4.read_inventory(f)
 
668
 
 
669
 
 
670
    def get_inventory_xml(self, inventory_id):
 
671
        """Get inventory XML as a file object."""
 
672
        return self.inventory_store[inventory_id]
 
673
 
 
674
    get_inventory_xml_file = get_inventory_xml
 
675
            
 
676
 
 
677
    def get_inventory_sha1(self, inventory_id):
 
678
        """Return the sha1 hash of the inventory entry
 
679
        """
 
680
        return sha_file(self.get_inventory_xml(inventory_id))
527
681
 
528
682
 
529
683
    def get_revision_inventory(self, revision_id):
530
684
        """Return inventory of a past revision."""
 
685
        # bzr 0.0.6 imposes the constraint that the inventory_id
 
686
        # must be the same as its revision, so this is trivial.
531
687
        if revision_id == None:
532
 
            return Inventory()
 
688
            from bzrlib.inventory import Inventory
 
689
            return Inventory(self.get_root_id())
533
690
        else:
534
 
            return self.get_inventory(self.get_revision(revision_id).inventory_id)
 
691
            return self.get_inventory(revision_id)
535
692
 
536
693
 
537
694
    def revision_history(self):
540
697
        >>> ScratchBranch().revision_history()
541
698
        []
542
699
        """
543
 
        return [chomp(l) for l in self.controlfile('revision-history').readlines()]
 
700
        self.lock_read()
 
701
        try:
 
702
            return [l.rstrip('\r\n') for l in
 
703
                    self.controlfile('revision-history', 'r').readlines()]
 
704
        finally:
 
705
            self.unlock()
 
706
 
 
707
 
 
708
    def common_ancestor(self, other, self_revno=None, other_revno=None):
 
709
        """
 
710
        >>> from bzrlib.commit import commit
 
711
        >>> sb = ScratchBranch(files=['foo', 'foo~'])
 
712
        >>> sb.common_ancestor(sb) == (None, None)
 
713
        True
 
714
        >>> commit(sb, "Committing first revision", verbose=False)
 
715
        >>> sb.common_ancestor(sb)[0]
 
716
        1
 
717
        >>> clone = sb.clone()
 
718
        >>> commit(sb, "Committing second revision", verbose=False)
 
719
        >>> sb.common_ancestor(sb)[0]
 
720
        2
 
721
        >>> sb.common_ancestor(clone)[0]
 
722
        1
 
723
        >>> commit(clone, "Committing divergent second revision", 
 
724
        ...               verbose=False)
 
725
        >>> sb.common_ancestor(clone)[0]
 
726
        1
 
727
        >>> sb.common_ancestor(clone) == clone.common_ancestor(sb)
 
728
        True
 
729
        >>> sb.common_ancestor(sb) != clone.common_ancestor(clone)
 
730
        True
 
731
        >>> clone2 = sb.clone()
 
732
        >>> sb.common_ancestor(clone2)[0]
 
733
        2
 
734
        >>> sb.common_ancestor(clone2, self_revno=1)[0]
 
735
        1
 
736
        >>> sb.common_ancestor(clone2, other_revno=1)[0]
 
737
        1
 
738
        """
 
739
        my_history = self.revision_history()
 
740
        other_history = other.revision_history()
 
741
        if self_revno is None:
 
742
            self_revno = len(my_history)
 
743
        if other_revno is None:
 
744
            other_revno = len(other_history)
 
745
        indices = range(min((self_revno, other_revno)))
 
746
        indices.reverse()
 
747
        for r in indices:
 
748
            if my_history[r] == other_history[r]:
 
749
                return r+1, my_history[r]
 
750
        return None, None
544
751
 
545
752
 
546
753
    def revno(self):
548
755
 
549
756
        That is equivalent to the number of revisions committed to
550
757
        this branch.
551
 
 
552
 
        >>> b = ScratchBranch()
553
 
        >>> b.revno()
554
 
        0
555
 
        >>> b.commit('no foo')
556
 
        >>> b.revno()
557
 
        1
558
758
        """
559
759
        return len(self.revision_history())
560
760
 
561
761
 
562
762
    def last_patch(self):
563
763
        """Return last patch hash, or None if no history.
564
 
 
565
 
        >>> ScratchBranch().last_patch() == None
566
 
        True
567
764
        """
568
765
        ph = self.revision_history()
569
766
        if ph:
570
767
            return ph[-1]
571
 
 
572
 
 
573
 
    def lookup_revision(self, revno):
574
 
        """Return revision hash for revision number."""
 
768
        else:
 
769
            return None
 
770
 
 
771
 
 
772
    def missing_revisions(self, other, stop_revision=None, diverged_ok=False):
 
773
        """
 
774
        If self and other have not diverged, return a list of the revisions
 
775
        present in other, but missing from self.
 
776
 
 
777
        >>> from bzrlib.commit import commit
 
778
        >>> bzrlib.trace.silent = True
 
779
        >>> br1 = ScratchBranch()
 
780
        >>> br2 = ScratchBranch()
 
781
        >>> br1.missing_revisions(br2)
 
782
        []
 
783
        >>> commit(br2, "lala!", rev_id="REVISION-ID-1")
 
784
        >>> br1.missing_revisions(br2)
 
785
        [u'REVISION-ID-1']
 
786
        >>> br2.missing_revisions(br1)
 
787
        []
 
788
        >>> commit(br1, "lala!", rev_id="REVISION-ID-1")
 
789
        >>> br1.missing_revisions(br2)
 
790
        []
 
791
        >>> commit(br2, "lala!", rev_id="REVISION-ID-2A")
 
792
        >>> br1.missing_revisions(br2)
 
793
        [u'REVISION-ID-2A']
 
794
        >>> commit(br1, "lala!", rev_id="REVISION-ID-2B")
 
795
        >>> br1.missing_revisions(br2)
 
796
        Traceback (most recent call last):
 
797
        DivergedBranches: These branches have diverged.
 
798
        """
 
799
        self_history = self.revision_history()
 
800
        self_len = len(self_history)
 
801
        other_history = other.revision_history()
 
802
        other_len = len(other_history)
 
803
        common_index = min(self_len, other_len) -1
 
804
        if common_index >= 0 and \
 
805
            self_history[common_index] != other_history[common_index]:
 
806
            raise DivergedBranches(self, other)
 
807
 
 
808
        if stop_revision is None:
 
809
            stop_revision = other_len
 
810
        elif stop_revision > other_len:
 
811
            raise bzrlib.errors.NoSuchRevision(self, stop_revision)
 
812
        
 
813
        return other_history[self_len:stop_revision]
 
814
 
 
815
 
 
816
    def update_revisions(self, other, stop_revision=None):
 
817
        """Pull in all new revisions from other branch.
 
818
        """
 
819
        from bzrlib.fetch import greedy_fetch
 
820
        from bzrlib.revision import get_intervening_revisions
 
821
 
 
822
        pb = bzrlib.ui.ui_factory.progress_bar()
 
823
        pb.update('comparing histories')
 
824
        if stop_revision is None:
 
825
            other_revision = other.last_patch()
 
826
        else:
 
827
            other_revision = other.get_rev_id(stop_revision)
 
828
        count = greedy_fetch(self, other, other_revision, pb)[0]
 
829
        try:
 
830
            revision_ids = self.missing_revisions(other, stop_revision)
 
831
        except DivergedBranches, e:
 
832
            try:
 
833
                revision_ids = get_intervening_revisions(self.last_patch(), 
 
834
                                                         other_revision, self)
 
835
                assert self.last_patch() not in revision_ids
 
836
            except bzrlib.errors.NotAncestor:
 
837
                raise e
 
838
 
 
839
        self.append_revision(*revision_ids)
 
840
        pb.clear()
 
841
 
 
842
    def install_revisions(self, other, revision_ids, pb):
 
843
        if hasattr(other.revision_store, "prefetch"):
 
844
            other.revision_store.prefetch(revision_ids)
 
845
        if hasattr(other.inventory_store, "prefetch"):
 
846
            inventory_ids = []
 
847
            for rev_id in revision_ids:
 
848
                try:
 
849
                    revision = other.get_revision(rev_id).inventory_id
 
850
                    inventory_ids.append(revision)
 
851
                except bzrlib.errors.NoSuchRevision:
 
852
                    pass
 
853
            other.inventory_store.prefetch(inventory_ids)
 
854
 
 
855
        if pb is None:
 
856
            pb = bzrlib.ui.ui_factory.progress_bar()
 
857
                
 
858
        revisions = []
 
859
        needed_texts = set()
 
860
        i = 0
 
861
 
 
862
        failures = set()
 
863
        for i, rev_id in enumerate(revision_ids):
 
864
            pb.update('fetching revision', i+1, len(revision_ids))
 
865
            try:
 
866
                rev = other.get_revision(rev_id)
 
867
            except bzrlib.errors.NoSuchRevision:
 
868
                failures.add(rev_id)
 
869
                continue
 
870
 
 
871
            revisions.append(rev)
 
872
            inv = other.get_inventory(str(rev.inventory_id))
 
873
            for key, entry in inv.iter_entries():
 
874
                if entry.text_id is None:
 
875
                    continue
 
876
                if entry.text_id not in self.text_store:
 
877
                    needed_texts.add(entry.text_id)
 
878
 
 
879
        pb.clear()
 
880
                    
 
881
        count, cp_fail = self.text_store.copy_multi(other.text_store, 
 
882
                                                    needed_texts)
 
883
        #print "Added %d texts." % count 
 
884
        inventory_ids = [ f.inventory_id for f in revisions ]
 
885
        count, cp_fail = self.inventory_store.copy_multi(other.inventory_store, 
 
886
                                                         inventory_ids)
 
887
        #print "Added %d inventories." % count 
 
888
        revision_ids = [ f.revision_id for f in revisions]
 
889
 
 
890
        count, cp_fail = self.revision_store.copy_multi(other.revision_store, 
 
891
                                                          revision_ids,
 
892
                                                          permit_failure=True)
 
893
        assert len(cp_fail) == 0 
 
894
        return count, failures
 
895
       
 
896
 
 
897
    def commit(self, *args, **kw):
 
898
        from bzrlib.commit import commit
 
899
        commit(self, *args, **kw)
 
900
        
 
901
    def revision_id_to_revno(self, revision_id):
 
902
        """Given a revision id, return its revno"""
 
903
        history = self.revision_history()
 
904
        try:
 
905
            return history.index(revision_id) + 1
 
906
        except ValueError:
 
907
            raise bzrlib.errors.NoSuchRevision(self, revision_id)
 
908
 
 
909
    def get_rev_id(self, revno, history=None):
 
910
        """Find the revision id of the specified revno."""
575
911
        if revno == 0:
576
912
            return None
577
 
 
578
 
        try:
579
 
            # list is 0-based; revisions are 1-based
580
 
            return self.revision_history()[revno-1]
581
 
        except IndexError:
582
 
            bailout("no such revision %s" % revno)
 
913
        if history is None:
 
914
            history = self.revision_history()
 
915
        elif revno <= 0 or revno > len(history):
 
916
            raise bzrlib.errors.NoSuchRevision(self, revno)
 
917
        return history[revno - 1]
583
918
 
584
919
 
585
920
    def revision_tree(self, revision_id):
587
922
 
588
923
        `revision_id` may be None for the null revision, in which case
589
924
        an `EmptyTree` is returned."""
590
 
 
 
925
        # TODO: refactor this to use an existing revision object
 
926
        # so we don't need to read it in twice.
591
927
        if revision_id == None:
592
928
            return EmptyTree()
593
929
        else:
597
933
 
598
934
    def working_tree(self):
599
935
        """Return a `Tree` for the working copy."""
 
936
        from bzrlib.workingtree import WorkingTree
600
937
        return WorkingTree(self.base, self.read_working_inventory())
601
938
 
602
939
 
604
941
        """Return `Tree` object for last revision.
605
942
 
606
943
        If there are no revisions yet, return an `EmptyTree`.
607
 
 
608
 
        >>> b = ScratchBranch(files=['foo'])
609
 
        >>> b.basis_tree().has_filename('foo')
610
 
        False
611
 
        >>> b.working_tree().has_filename('foo')
612
 
        True
613
 
        >>> b.add('foo')
614
 
        >>> b.commit('add foo')
615
 
        >>> b.basis_tree().has_filename('foo')
616
 
        True
617
944
        """
618
945
        r = self.last_patch()
619
946
        if r == None:
623
950
 
624
951
 
625
952
 
626
 
    def write_log(self, show_timezone='original'):
627
 
        """Write out human-readable log of commits to this branch
628
 
 
629
 
        :param utc: If true, show dates in universal time, not local time."""
630
 
        ## TODO: Option to choose either original, utc or local timezone
631
 
        revno = 1
632
 
        precursor = None
633
 
        for p in self.revision_history():
634
 
            print '-' * 40
635
 
            print 'revno:', revno
636
 
            ## TODO: Show hash if --id is given.
637
 
            ##print 'revision-hash:', p
638
 
            rev = self.get_revision(p)
639
 
            print 'committer:', rev.committer
640
 
            print 'timestamp: %s' % (format_date(rev.timestamp, rev.timezone or 0,
641
 
                                                 show_timezone))
642
 
 
643
 
            ## opportunistic consistency check, same as check_patch_chaining
644
 
            if rev.precursor != precursor:
645
 
                bailout("mismatched precursor!")
646
 
 
647
 
            print 'message:'
648
 
            if not rev.message:
649
 
                print '  (no message)'
650
 
            else:
651
 
                for l in rev.message.split('\n'):
652
 
                    print '  ' + l
653
 
 
654
 
            revno += 1
655
 
            precursor = p
656
 
 
657
 
 
658
 
 
659
 
    def show_status(branch, show_all=False):
660
 
        """Display single-line status for non-ignored working files.
661
 
 
662
 
        The list is show sorted in order by file name.
663
 
 
664
 
        >>> b = ScratchBranch(files=['foo', 'foo~'])
665
 
        >>> b.show_status()
666
 
        ?       foo
667
 
        >>> b.add('foo')
668
 
        >>> b.show_status()
669
 
        A       foo
670
 
        >>> b.commit("add foo")
671
 
        >>> b.show_status()
672
 
        >>> os.unlink(b._rel('foo'))
673
 
        >>> b.show_status()
674
 
        D       foo
675
 
        
676
 
 
677
 
        :todo: Get state for single files.
678
 
 
679
 
        :todo: Perhaps show a slash at the end of directory names.        
680
 
 
681
 
        """
682
 
 
683
 
        # We have to build everything into a list first so that it can
684
 
        # sorted by name, incorporating all the different sources.
685
 
 
686
 
        # FIXME: Rather than getting things in random order and then sorting,
687
 
        # just step through in order.
688
 
 
689
 
        # Interesting case: the old ID for a file has been removed,
690
 
        # but a new file has been created under that name.
691
 
 
692
 
        old = branch.basis_tree()
693
 
        old_inv = old.inventory
694
 
        new = branch.working_tree()
695
 
        new_inv = new.inventory
696
 
 
697
 
        for fs, fid, oldname, newname, kind in diff_trees(old, new):
698
 
            if fs == 'R':
699
 
                show_status(fs, kind,
700
 
                            oldname + ' => ' + newname)
701
 
            elif fs == 'A' or fs == 'M':
702
 
                show_status(fs, kind, newname)
703
 
            elif fs == 'D':
704
 
                show_status(fs, kind, oldname)
705
 
            elif fs == '.':
706
 
                if show_all:
707
 
                    show_status(fs, kind, newname)
708
 
            elif fs == 'I':
709
 
                if show_all:
710
 
                    show_status(fs, kind, newname)
711
 
            elif fs == '?':
712
 
                show_status(fs, kind, newname)
713
 
            else:
714
 
                bailout("wierd file state %r" % ((fs, fid),))
715
 
                
716
 
 
717
 
 
718
 
class ScratchBranch(Branch):
 
953
    def rename_one(self, from_rel, to_rel):
 
954
        """Rename one file.
 
955
 
 
956
        This can change the directory or the filename or both.
 
957
        """
 
958
        self.lock_write()
 
959
        try:
 
960
            tree = self.working_tree()
 
961
            inv = tree.inventory
 
962
            if not tree.has_filename(from_rel):
 
963
                raise BzrError("can't rename: old working file %r does not exist" % from_rel)
 
964
            if tree.has_filename(to_rel):
 
965
                raise BzrError("can't rename: new working file %r already exists" % to_rel)
 
966
 
 
967
            file_id = inv.path2id(from_rel)
 
968
            if file_id == None:
 
969
                raise BzrError("can't rename: old name %r is not versioned" % from_rel)
 
970
 
 
971
            if inv.path2id(to_rel):
 
972
                raise BzrError("can't rename: new name %r is already versioned" % to_rel)
 
973
 
 
974
            to_dir, to_tail = os.path.split(to_rel)
 
975
            to_dir_id = inv.path2id(to_dir)
 
976
            if to_dir_id == None and to_dir != '':
 
977
                raise BzrError("can't determine destination directory id for %r" % to_dir)
 
978
 
 
979
            mutter("rename_one:")
 
980
            mutter("  file_id    {%s}" % file_id)
 
981
            mutter("  from_rel   %r" % from_rel)
 
982
            mutter("  to_rel     %r" % to_rel)
 
983
            mutter("  to_dir     %r" % to_dir)
 
984
            mutter("  to_dir_id  {%s}" % to_dir_id)
 
985
 
 
986
            inv.rename(file_id, to_dir_id, to_tail)
 
987
 
 
988
            from_abs = self.abspath(from_rel)
 
989
            to_abs = self.abspath(to_rel)
 
990
            try:
 
991
                os.rename(from_abs, to_abs)
 
992
            except OSError, e:
 
993
                raise BzrError("failed to rename %r to %r: %s"
 
994
                        % (from_abs, to_abs, e[1]),
 
995
                        ["rename rolled back"])
 
996
 
 
997
            self._write_inventory(inv)
 
998
        finally:
 
999
            self.unlock()
 
1000
 
 
1001
 
 
1002
    def move(self, from_paths, to_name):
 
1003
        """Rename files.
 
1004
 
 
1005
        to_name must exist as a versioned directory.
 
1006
 
 
1007
        If to_name exists and is a directory, the files are moved into
 
1008
        it, keeping their old names.  If it is a directory, 
 
1009
 
 
1010
        Note that to_name is only the last component of the new name;
 
1011
        this doesn't change the directory.
 
1012
 
 
1013
        This returns a list of (from_path, to_path) pairs for each
 
1014
        entry that is moved.
 
1015
        """
 
1016
        result = []
 
1017
        self.lock_write()
 
1018
        try:
 
1019
            ## TODO: Option to move IDs only
 
1020
            assert not isinstance(from_paths, basestring)
 
1021
            tree = self.working_tree()
 
1022
            inv = tree.inventory
 
1023
            to_abs = self.abspath(to_name)
 
1024
            if not isdir(to_abs):
 
1025
                raise BzrError("destination %r is not a directory" % to_abs)
 
1026
            if not tree.has_filename(to_name):
 
1027
                raise BzrError("destination %r not in working directory" % to_abs)
 
1028
            to_dir_id = inv.path2id(to_name)
 
1029
            if to_dir_id == None and to_name != '':
 
1030
                raise BzrError("destination %r is not a versioned directory" % to_name)
 
1031
            to_dir_ie = inv[to_dir_id]
 
1032
            if to_dir_ie.kind not in ('directory', 'root_directory'):
 
1033
                raise BzrError("destination %r is not a directory" % to_abs)
 
1034
 
 
1035
            to_idpath = inv.get_idpath(to_dir_id)
 
1036
 
 
1037
            for f in from_paths:
 
1038
                if not tree.has_filename(f):
 
1039
                    raise BzrError("%r does not exist in working tree" % f)
 
1040
                f_id = inv.path2id(f)
 
1041
                if f_id == None:
 
1042
                    raise BzrError("%r is not versioned" % f)
 
1043
                name_tail = splitpath(f)[-1]
 
1044
                dest_path = appendpath(to_name, name_tail)
 
1045
                if tree.has_filename(dest_path):
 
1046
                    raise BzrError("destination %r already exists" % dest_path)
 
1047
                if f_id in to_idpath:
 
1048
                    raise BzrError("can't move %r to a subdirectory of itself" % f)
 
1049
 
 
1050
            # OK, so there's a race here, it's possible that someone will
 
1051
            # create a file in this interval and then the rename might be
 
1052
            # left half-done.  But we should have caught most problems.
 
1053
 
 
1054
            for f in from_paths:
 
1055
                name_tail = splitpath(f)[-1]
 
1056
                dest_path = appendpath(to_name, name_tail)
 
1057
                result.append((f, dest_path))
 
1058
                inv.rename(inv.path2id(f), to_dir_id, name_tail)
 
1059
                try:
 
1060
                    os.rename(self.abspath(f), self.abspath(dest_path))
 
1061
                except OSError, e:
 
1062
                    raise BzrError("failed to rename %r to %r: %s" % (f, dest_path, e[1]),
 
1063
                            ["rename rolled back"])
 
1064
 
 
1065
            self._write_inventory(inv)
 
1066
        finally:
 
1067
            self.unlock()
 
1068
 
 
1069
        return result
 
1070
 
 
1071
 
 
1072
    def revert(self, filenames, old_tree=None, backups=True):
 
1073
        """Restore selected files to the versions from a previous tree.
 
1074
 
 
1075
        backups
 
1076
            If true (default) backups are made of files before
 
1077
            they're renamed.
 
1078
        """
 
1079
        from bzrlib.errors import NotVersionedError, BzrError
 
1080
        from bzrlib.atomicfile import AtomicFile
 
1081
        from bzrlib.osutils import backup_file
 
1082
        
 
1083
        inv = self.read_working_inventory()
 
1084
        if old_tree is None:
 
1085
            old_tree = self.basis_tree()
 
1086
        old_inv = old_tree.inventory
 
1087
 
 
1088
        nids = []
 
1089
        for fn in filenames:
 
1090
            file_id = inv.path2id(fn)
 
1091
            if not file_id:
 
1092
                raise NotVersionedError("not a versioned file", fn)
 
1093
            if not old_inv.has_id(file_id):
 
1094
                raise BzrError("file not present in old tree", fn, file_id)
 
1095
            nids.append((fn, file_id))
 
1096
            
 
1097
        # TODO: Rename back if it was previously at a different location
 
1098
 
 
1099
        # TODO: If given a directory, restore the entire contents from
 
1100
        # the previous version.
 
1101
 
 
1102
        # TODO: Make a backup to a temporary file.
 
1103
 
 
1104
        # TODO: If the file previously didn't exist, delete it?
 
1105
        for fn, file_id in nids:
 
1106
            backup_file(fn)
 
1107
            
 
1108
            f = AtomicFile(fn, 'wb')
 
1109
            try:
 
1110
                f.write(old_tree.get_file(file_id).read())
 
1111
                f.commit()
 
1112
            finally:
 
1113
                f.close()
 
1114
 
 
1115
 
 
1116
    def pending_merges(self):
 
1117
        """Return a list of pending merges.
 
1118
 
 
1119
        These are revisions that have been merged into the working
 
1120
        directory but not yet committed.
 
1121
        """
 
1122
        cfn = self.controlfilename('pending-merges')
 
1123
        if not os.path.exists(cfn):
 
1124
            return []
 
1125
        p = []
 
1126
        for l in self.controlfile('pending-merges', 'r').readlines():
 
1127
            p.append(l.rstrip('\n'))
 
1128
        return p
 
1129
 
 
1130
 
 
1131
    def add_pending_merge(self, revision_id):
 
1132
        from bzrlib.revision import validate_revision_id
 
1133
 
 
1134
        validate_revision_id(revision_id)
 
1135
 
 
1136
        p = self.pending_merges()
 
1137
        if revision_id in p:
 
1138
            return
 
1139
        p.append(revision_id)
 
1140
        self.set_pending_merges(p)
 
1141
 
 
1142
 
 
1143
    def set_pending_merges(self, rev_list):
 
1144
        from bzrlib.atomicfile import AtomicFile
 
1145
        self.lock_write()
 
1146
        try:
 
1147
            f = AtomicFile(self.controlfilename('pending-merges'))
 
1148
            try:
 
1149
                for l in rev_list:
 
1150
                    print >>f, l
 
1151
                f.commit()
 
1152
            finally:
 
1153
                f.close()
 
1154
        finally:
 
1155
            self.unlock()
 
1156
 
 
1157
 
 
1158
    def get_parent(self):
 
1159
        """Return the parent location of the branch.
 
1160
 
 
1161
        This is the default location for push/pull/missing.  The usual
 
1162
        pattern is that the user can override it by specifying a
 
1163
        location.
 
1164
        """
 
1165
        import errno
 
1166
        _locs = ['parent', 'pull', 'x-pull']
 
1167
        for l in _locs:
 
1168
            try:
 
1169
                return self.controlfile(l, 'r').read().strip('\n')
 
1170
            except IOError, e:
 
1171
                if e.errno != errno.ENOENT:
 
1172
                    raise
 
1173
        return None
 
1174
 
 
1175
 
 
1176
    def set_parent(self, url):
 
1177
        # TODO: Maybe delete old location files?
 
1178
        from bzrlib.atomicfile import AtomicFile
 
1179
        self.lock_write()
 
1180
        try:
 
1181
            f = AtomicFile(self.controlfilename('parent'))
 
1182
            try:
 
1183
                f.write(url + '\n')
 
1184
                f.commit()
 
1185
            finally:
 
1186
                f.close()
 
1187
        finally:
 
1188
            self.unlock()
 
1189
 
 
1190
    def check_revno(self, revno):
 
1191
        """\
 
1192
        Check whether a revno corresponds to any revision.
 
1193
        Zero (the NULL revision) is considered valid.
 
1194
        """
 
1195
        if revno != 0:
 
1196
            self.check_real_revno(revno)
 
1197
            
 
1198
    def check_real_revno(self, revno):
 
1199
        """\
 
1200
        Check whether a revno corresponds to a real revision.
 
1201
        Zero (the NULL revision) is considered invalid
 
1202
        """
 
1203
        if revno < 1 or revno > self.revno():
 
1204
            raise InvalidRevisionNumber(revno)
 
1205
        
 
1206
        
 
1207
        
 
1208
 
 
1209
 
 
1210
class ScratchBranch(LocalBranch):
719
1211
    """Special test class: a branch that cleans up after itself.
720
1212
 
721
1213
    >>> b = ScratchBranch()
722
1214
    >>> isdir(b.base)
723
1215
    True
724
1216
    >>> bd = b.base
725
 
    >>> del b
 
1217
    >>> b.destroy()
726
1218
    >>> isdir(bd)
727
1219
    False
728
1220
    """
729
 
    def __init__(self, files = []):
 
1221
    def __init__(self, files=[], dirs=[], base=None):
730
1222
        """Make a test branch.
731
1223
 
732
1224
        This creates a temporary directory and runs init-tree in it.
733
1225
 
734
1226
        If any files are listed, they are created in the working copy.
735
1227
        """
736
 
        Branch.__init__(self, tempfile.mkdtemp(), init=True)
 
1228
        from tempfile import mkdtemp
 
1229
        init = False
 
1230
        if base is None:
 
1231
            base = mkdtemp()
 
1232
            init = True
 
1233
        LocalBranch.__init__(self, base, init=init)
 
1234
        for d in dirs:
 
1235
            os.mkdir(self.abspath(d))
 
1236
            
737
1237
        for f in files:
738
1238
            file(os.path.join(self.base, f), 'w').write('content of %s' % f)
739
1239
 
740
1240
 
 
1241
    def clone(self):
 
1242
        """
 
1243
        >>> orig = ScratchBranch(files=["file1", "file2"])
 
1244
        >>> clone = orig.clone()
 
1245
        >>> os.path.samefile(orig.base, clone.base)
 
1246
        False
 
1247
        >>> os.path.isfile(os.path.join(clone.base, "file1"))
 
1248
        True
 
1249
        """
 
1250
        from shutil import copytree
 
1251
        from tempfile import mkdtemp
 
1252
        base = mkdtemp()
 
1253
        os.rmdir(base)
 
1254
        copytree(self.base, base, symlinks=True)
 
1255
        return ScratchBranch(base=base)
 
1256
 
 
1257
 
 
1258
        
741
1259
    def __del__(self):
 
1260
        self.destroy()
 
1261
 
 
1262
    def destroy(self):
742
1263
        """Destroy the test branch, removing the scratch directory."""
743
 
        shutil.rmtree(self.base)
 
1264
        from shutil import rmtree
 
1265
        try:
 
1266
            if self.base:
 
1267
                mutter("delete ScratchBranch %s" % self.base)
 
1268
                rmtree(self.base)
 
1269
        except OSError, e:
 
1270
            # Work around for shutil.rmtree failing on Windows when
 
1271
            # readonly files are encountered
 
1272
            mutter("hit exception in destroying ScratchBranch: %s" % e)
 
1273
            for root, dirs, files in os.walk(self.base, topdown=False):
 
1274
                for name in files:
 
1275
                    os.chmod(os.path.join(root, name), 0700)
 
1276
            rmtree(self.base)
 
1277
        self.base = None
744
1278
 
745
1279
    
746
1280
 
756
1290
        ## mutter('check %r for control file' % ((head, tail), ))
757
1291
        if tail == bzrlib.BZRDIR:
758
1292
            return True
 
1293
        if filename == head:
 
1294
            break
759
1295
        filename = head
760
1296
    return False
761
1297
 
762
1298
 
763
1299
 
764
 
def _gen_revision_id(when):
765
 
    """Return new revision-id."""
766
 
    s = '%s-%s-' % (user_email(), compact_date(when))
767
 
    s += hexlify(rand_bytes(8))
768
 
    return s
769
 
 
770
 
 
771
 
def _gen_file_id(name):
 
1300
def gen_file_id(name):
772
1301
    """Return new file id.
773
1302
 
774
1303
    This should probably generate proper UUIDs, but for the moment we
775
1304
    cope with just randomness because running uuidgen every time is
776
1305
    slow."""
777
 
    assert '/' not in name
778
 
    while name[0] == '.':
779
 
        name = name[1:]
 
1306
    import re
 
1307
    from binascii import hexlify
 
1308
    from time import time
 
1309
 
 
1310
    # get last component
 
1311
    idx = name.rfind('/')
 
1312
    if idx != -1:
 
1313
        name = name[idx+1 : ]
 
1314
    idx = name.rfind('\\')
 
1315
    if idx != -1:
 
1316
        name = name[idx+1 : ]
 
1317
 
 
1318
    # make it not a hidden file
 
1319
    name = name.lstrip('.')
 
1320
 
 
1321
    # remove any wierd characters; we don't escape them but rather
 
1322
    # just pull them out
 
1323
    name = re.sub(r'[^\w.]', '', name)
 
1324
 
780
1325
    s = hexlify(rand_bytes(8))
781
 
    return '-'.join((name, compact_date(time.time()), s))
782
 
 
783
 
 
 
1326
    return '-'.join((name, compact_date(time()), s))
 
1327
 
 
1328
 
 
1329
def gen_root_id():
 
1330
    """Return a new tree-root file id."""
 
1331
    return gen_file_id('TREE_ROOT')
 
1332
 
 
1333
 
 
1334
def copy_branch(branch_from, to_location, revno=None):
 
1335
    """Copy branch_from into the existing directory to_location.
 
1336
 
 
1337
    revision
 
1338
        If not None, only revisions up to this point will be copied.
 
1339
        The head of the new branch will be that revision.
 
1340
 
 
1341
    to_location
 
1342
        The name of a local directory that exists but is empty.
 
1343
    """
 
1344
    from bzrlib.merge import merge
 
1345
 
 
1346
    assert isinstance(branch_from, Branch)
 
1347
    assert isinstance(to_location, basestring)
 
1348
    
 
1349
    br_to = Branch.initialize(to_location)
 
1350
    br_to.set_root_id(branch_from.get_root_id())
 
1351
    if revno is None:
 
1352
        revno = branch_from.revno()
 
1353
    br_to.update_revisions(branch_from, stop_revision=revno)
 
1354
    merge((to_location, -1), (to_location, 0), this_dir=to_location,
 
1355
          check_clean=False, ignore_zero=True)
 
1356
    br_to.set_parent(branch_from.base)
 
1357
    return br_to