~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/branch.py

  • Committer: Martin Pool
  • Date: 2005-07-18 10:21:43 UTC
  • Revision ID: mbp@sourcefrog.net-20050718102142-6a53001fa98bb066
todo

Show diffs side-by-side

added added

removed removed

Lines of Context:
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
18
 
from sets import Set
19
 
 
20
 
import sys, os, os.path, random, time, sha, sets, types, re, shutil, tempfile
21
 
import traceback, socket, fnmatch, difflib, time
22
 
from binascii import hexlify
 
18
import sys, os
23
19
 
24
20
import bzrlib
25
 
from inventory import Inventory
26
 
from trace import mutter, note
27
 
from tree import Tree, EmptyTree, RevisionTree, WorkingTree
28
 
from inventory import InventoryEntry, Inventory
29
 
from osutils import isdir, quotefn, isfile, uuid, sha_file, username, chomp, \
30
 
     format_date, compact_date, pumpfile, user_email, rand_bytes, splitpath, \
31
 
     joinpath, sha_string, file_kind, local_time_offset
32
 
from store import ImmutableStore
33
 
from revision import Revision
34
 
from errors import bailout
35
 
from textui import show_status
36
 
from diff import diff_trees
 
21
from bzrlib.trace import mutter, note
 
22
from bzrlib.osutils import isdir, quotefn, compact_date, rand_bytes, splitpath, \
 
23
     sha_file, appendpath, file_kind
 
24
from bzrlib.errors import BzrError
37
25
 
38
26
BZR_BRANCH_FORMAT = "Bazaar-NG branch, format 0.0.4\n"
39
27
## TODO: Maybe include checks for common corruption of newlines, etc?
40
28
 
41
29
 
42
30
 
 
31
def find_branch(f, **args):
 
32
    if f and (f.startswith('http://') or f.startswith('https://')):
 
33
        import remotebranch 
 
34
        return remotebranch.RemoteBranch(f, **args)
 
35
    else:
 
36
        return Branch(f, **args)
 
37
 
 
38
 
 
39
def find_cached_branch(f, cache_root, **args):
 
40
    from remotebranch import RemoteBranch
 
41
    br = find_branch(f, **args)
 
42
    def cacheify(br, store_name):
 
43
        from meta_store import CachedStore
 
44
        cache_path = os.path.join(cache_root, store_name)
 
45
        os.mkdir(cache_path)
 
46
        new_store = CachedStore(getattr(br, store_name), cache_path)
 
47
        setattr(br, store_name, new_store)
 
48
 
 
49
    if isinstance(br, RemoteBranch):
 
50
        cacheify(br, 'inventory_store')
 
51
        cacheify(br, 'text_store')
 
52
        cacheify(br, 'revision_store')
 
53
    return br
 
54
 
 
55
 
 
56
def _relpath(base, path):
 
57
    """Return path relative to base, or raise exception.
 
58
 
 
59
    The path may be either an absolute path or a path relative to the
 
60
    current working directory.
 
61
 
 
62
    Lifted out of Branch.relpath for ease of testing.
 
63
 
 
64
    os.path.commonprefix (python2.4) has a bad bug that it works just
 
65
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
 
66
    avoids that problem."""
 
67
    rp = os.path.abspath(path)
 
68
 
 
69
    s = []
 
70
    head = rp
 
71
    while len(head) >= len(base):
 
72
        if head == base:
 
73
            break
 
74
        head, tail = os.path.split(head)
 
75
        if tail:
 
76
            s.insert(0, tail)
 
77
    else:
 
78
        from errors import NotBranchError
 
79
        raise NotBranchError("path %r is not within branch %r" % (rp, base))
 
80
 
 
81
    return os.sep.join(s)
 
82
        
 
83
 
43
84
def find_branch_root(f=None):
44
85
    """Find the branch root enclosing f, or pwd.
45
86
 
 
87
    f may be a filename or a URL.
 
88
 
46
89
    It is not necessary that f exists.
47
90
 
48
91
    Basically we keep looking up until we find the control directory or
49
92
    run into the root."""
50
 
    if f is None:
 
93
    if f == None:
51
94
        f = os.getcwd()
52
95
    elif hasattr(os.path, 'realpath'):
53
96
        f = os.path.realpath(f)
54
97
    else:
55
98
        f = os.path.abspath(f)
 
99
    if not os.path.exists(f):
 
100
        raise BzrError('%r does not exist' % f)
 
101
        
56
102
 
57
103
    orig_f = f
58
104
 
59
 
    last_f = f
60
105
    while True:
61
106
        if os.path.exists(os.path.join(f, bzrlib.BZRDIR)):
62
107
            return f
63
108
        head, tail = os.path.split(f)
64
109
        if head == f:
65
110
            # reached the root, whatever that may be
66
 
            bailout('%r is not in a branch' % orig_f)
 
111
            raise BzrError('%r is not in a branch' % orig_f)
67
112
        f = head
68
113
    
 
114
class DivergedBranches(Exception):
 
115
    def __init__(self, branch1, branch2):
 
116
        self.branch1 = branch1
 
117
        self.branch2 = branch2
 
118
        Exception.__init__(self, "These branches have diverged.")
 
119
 
 
120
 
 
121
class NoSuchRevision(BzrError):
 
122
    def __init__(self, branch, revision):
 
123
        self.branch = branch
 
124
        self.revision = revision
 
125
        msg = "Branch %s has no revision %d" % (branch, revision)
 
126
        BzrError.__init__(self, msg)
69
127
 
70
128
 
71
129
######################################################################
72
130
# branch objects
73
131
 
74
 
class Branch:
 
132
class Branch(object):
75
133
    """Branch holding a history of revisions.
76
134
 
77
 
    :todo: Perhaps use different stores for different classes of object,
78
 
           so that we can keep track of how much space each one uses,
79
 
           or garbage-collect them.
80
 
 
81
 
    :todo: Add a RemoteBranch subclass.  For the basic case of read-only
82
 
           HTTP access this should be very easy by, 
83
 
           just redirecting controlfile access into HTTP requests.
84
 
           We would need a RemoteStore working similarly.
85
 
 
86
 
    :todo: Keep the on-disk branch locked while the object exists.
87
 
 
88
 
    :todo: mkdir() method.
 
135
    base
 
136
        Base directory of the branch.
 
137
 
 
138
    _lock_mode
 
139
        None, or 'r' or 'w'
 
140
 
 
141
    _lock_count
 
142
        If _lock_mode is true, a positive count of the number of times the
 
143
        lock has been taken.
 
144
 
 
145
    _lock
 
146
        Lock object from bzrlib.lock.
89
147
    """
 
148
    base = None
 
149
    _lock_mode = None
 
150
    _lock_count = None
 
151
    _lock = None
 
152
    
 
153
    # Map some sort of prefix into a namespace
 
154
    # stuff like "revno:10", "revid:", etc.
 
155
    # This should match a prefix with a function which accepts
 
156
    REVISION_NAMESPACES = {}
 
157
 
90
158
    def __init__(self, base, init=False, find_root=True):
91
159
        """Create new branch object at a particular location.
92
160
 
93
 
        :param base: Base directory for the branch.
 
161
        base -- Base directory for the branch.
94
162
        
95
 
        :param init: If True, create new control files in a previously
 
163
        init -- If True, create new control files in a previously
96
164
             unversioned directory.  If False, the branch must already
97
165
             be versioned.
98
166
 
99
 
        :param find_root: If true and init is false, find the root of the
 
167
        find_root -- If true and init is false, find the root of the
100
168
             existing branch containing base.
101
169
 
102
170
        In the test suite, creation of new trees is tested using the
103
171
        `ScratchBranch` class.
104
172
        """
 
173
        from bzrlib.store import ImmutableStore
105
174
        if init:
106
175
            self.base = os.path.realpath(base)
107
176
            self._make_control()
110
179
        else:
111
180
            self.base = os.path.realpath(base)
112
181
            if not isdir(self.controlfilename('.')):
113
 
                bailout("not a bzr branch: %s" % quotefn(base),
114
 
                        ['use "bzr init" to initialize a new working tree',
115
 
                         'current bzr can only operate from top-of-tree'])
 
182
                from errors import NotBranchError
 
183
                raise NotBranchError("not a bzr branch: %s" % quotefn(base),
 
184
                                     ['use "bzr init" to initialize a new working tree',
 
185
                                      'current bzr can only operate from top-of-tree'])
116
186
        self._check_format()
117
187
 
118
188
        self.text_store = ImmutableStore(self.controlfilename('text-store'))
127
197
    __repr__ = __str__
128
198
 
129
199
 
 
200
    def __del__(self):
 
201
        if self._lock_mode or self._lock:
 
202
            from warnings import warn
 
203
            warn("branch %r was not explicitly unlocked" % self)
 
204
            self._lock.unlock()
 
205
 
 
206
 
 
207
 
 
208
    def lock_write(self):
 
209
        if self._lock_mode:
 
210
            if self._lock_mode != 'w':
 
211
                from errors import LockError
 
212
                raise LockError("can't upgrade to a write lock from %r" %
 
213
                                self._lock_mode)
 
214
            self._lock_count += 1
 
215
        else:
 
216
            from bzrlib.lock import WriteLock
 
217
 
 
218
            self._lock = WriteLock(self.controlfilename('branch-lock'))
 
219
            self._lock_mode = 'w'
 
220
            self._lock_count = 1
 
221
 
 
222
 
 
223
 
 
224
    def lock_read(self):
 
225
        if self._lock_mode:
 
226
            assert self._lock_mode in ('r', 'w'), \
 
227
                   "invalid lock mode %r" % self._lock_mode
 
228
            self._lock_count += 1
 
229
        else:
 
230
            from bzrlib.lock import ReadLock
 
231
 
 
232
            self._lock = ReadLock(self.controlfilename('branch-lock'))
 
233
            self._lock_mode = 'r'
 
234
            self._lock_count = 1
 
235
                        
 
236
 
 
237
            
 
238
    def unlock(self):
 
239
        if not self._lock_mode:
 
240
            from errors import LockError
 
241
            raise LockError('branch %r is not locked' % (self))
 
242
 
 
243
        if self._lock_count > 1:
 
244
            self._lock_count -= 1
 
245
        else:
 
246
            self._lock.unlock()
 
247
            self._lock = None
 
248
            self._lock_mode = self._lock_count = None
 
249
 
 
250
 
130
251
    def abspath(self, name):
131
252
        """Return absolute filename for something in the branch"""
132
253
        return os.path.join(self.base, name)
136
257
        """Return path relative to this branch of something inside it.
137
258
 
138
259
        Raises an error if path is not in this branch."""
139
 
        rp = os.path.realpath(path)
140
 
        # FIXME: windows
141
 
        if not rp.startswith(self.base):
142
 
            bailout("path %r is not within branch %r" % (rp, self.base))
143
 
        rp = rp[len(self.base):]
144
 
        rp = rp.lstrip(os.sep)
145
 
        return rp
 
260
        return _relpath(self.base, path)
146
261
 
147
262
 
148
263
    def controlfilename(self, file_or_path):
149
264
        """Return location relative to branch."""
150
 
        if isinstance(file_or_path, types.StringTypes):
 
265
        if isinstance(file_or_path, basestring):
151
266
            file_or_path = [file_or_path]
152
267
        return os.path.join(self.base, bzrlib.BZRDIR, *file_or_path)
153
268
 
154
269
 
155
270
    def controlfile(self, file_or_path, mode='r'):
156
 
        """Open a control file for this branch"""
157
 
        return file(self.controlfilename(file_or_path), mode)
 
271
        """Open a control file for this branch.
 
272
 
 
273
        There are two classes of file in the control directory: text
 
274
        and binary.  binary files are untranslated byte streams.  Text
 
275
        control files are stored with Unix newlines and in UTF-8, even
 
276
        if the platform or locale defaults are different.
 
277
 
 
278
        Controlfiles should almost never be opened in write mode but
 
279
        rather should be atomically copied and replaced using atomicfile.
 
280
        """
 
281
 
 
282
        fn = self.controlfilename(file_or_path)
 
283
 
 
284
        if mode == 'rb' or mode == 'wb':
 
285
            return file(fn, mode)
 
286
        elif mode == 'r' or mode == 'w':
 
287
            # open in binary mode anyhow so there's no newline translation;
 
288
            # codecs uses line buffering by default; don't want that.
 
289
            import codecs
 
290
            return codecs.open(fn, mode + 'b', 'utf-8',
 
291
                               buffering=60000)
 
292
        else:
 
293
            raise BzrError("invalid controlfile mode %r" % mode)
 
294
 
158
295
 
159
296
 
160
297
    def _make_control(self):
 
298
        from bzrlib.inventory import Inventory
 
299
        from bzrlib.xml import pack_xml
 
300
        
161
301
        os.mkdir(self.controlfilename([]))
162
302
        self.controlfile('README', 'w').write(
163
303
            "This is a Bazaar-NG control directory.\n"
164
 
            "Do not change any files in this directory.")
 
304
            "Do not change any files in this directory.\n")
165
305
        self.controlfile('branch-format', 'w').write(BZR_BRANCH_FORMAT)
166
306
        for d in ('text-store', 'inventory-store', 'revision-store'):
167
307
            os.mkdir(self.controlfilename(d))
168
308
        for f in ('revision-history', 'merged-patches',
169
 
                  'pending-merged-patches', 'branch-name'):
 
309
                  'pending-merged-patches', 'branch-name',
 
310
                  'branch-lock',
 
311
                  'pending-merges'):
170
312
            self.controlfile(f, 'w').write('')
171
313
        mutter('created control directory in ' + self.base)
172
 
        Inventory().write_xml(self.controlfile('inventory','w'))
 
314
 
 
315
        pack_xml(Inventory(gen_root_id()), self.controlfile('inventory','w'))
173
316
 
174
317
 
175
318
    def _check_format(self):
179
322
 
180
323
        In the future, we might need different in-memory Branch
181
324
        classes to support downlevel branches.  But not yet.
182
 
        """        
183
 
        # read in binary mode to detect newline wierdness.
184
 
        fmt = self.controlfile('branch-format', 'rb').read()
 
325
        """
 
326
        # This ignores newlines so that we can open branches created
 
327
        # on Windows from Linux and so on.  I think it might be better
 
328
        # to always make all internal files in unix format.
 
329
        fmt = self.controlfile('branch-format', 'r').read()
 
330
        fmt.replace('\r\n', '')
185
331
        if fmt != BZR_BRANCH_FORMAT:
186
 
            bailout('sorry, branch format %r not supported' % fmt,
187
 
                    ['use a different bzr version',
188
 
                     'or remove the .bzr directory and "bzr init" again'])
189
 
 
 
332
            raise BzrError('sorry, branch format %r not supported' % fmt,
 
333
                           ['use a different bzr version',
 
334
                            'or remove the .bzr directory and "bzr init" again'])
 
335
 
 
336
    def get_root_id(self):
 
337
        """Return the id of this branches root"""
 
338
        inv = self.read_working_inventory()
 
339
        return inv.root.file_id
 
340
 
 
341
    def set_root_id(self, file_id):
 
342
        inv = self.read_working_inventory()
 
343
        orig_root_id = inv.root.file_id
 
344
        del inv._byid[inv.root.file_id]
 
345
        inv.root.file_id = file_id
 
346
        inv._byid[inv.root.file_id] = inv.root
 
347
        for fid in inv:
 
348
            entry = inv[fid]
 
349
            if entry.parent_id in (None, orig_root_id):
 
350
                entry.parent_id = inv.root.file_id
 
351
        self._write_inventory(inv)
190
352
 
191
353
    def read_working_inventory(self):
192
354
        """Read the working inventory."""
193
 
        before = time.time()
194
 
        inv = Inventory.read_xml(self.controlfile('inventory', 'r'))
195
 
        mutter("loaded inventory of %d items in %f"
196
 
               % (len(inv), time.time() - before))
197
 
        return inv
198
 
 
 
355
        from bzrlib.inventory import Inventory
 
356
        from bzrlib.xml import unpack_xml
 
357
        from time import time
 
358
        before = time()
 
359
        self.lock_read()
 
360
        try:
 
361
            # ElementTree does its own conversion from UTF-8, so open in
 
362
            # binary.
 
363
            inv = unpack_xml(Inventory,
 
364
                                  self.controlfile('inventory', 'rb'))
 
365
            mutter("loaded inventory of %d items in %f"
 
366
                   % (len(inv), time() - before))
 
367
            return inv
 
368
        finally:
 
369
            self.unlock()
 
370
            
199
371
 
200
372
    def _write_inventory(self, inv):
201
373
        """Update the working inventory.
203
375
        That is to say, the inventory describing changes underway, that
204
376
        will be committed to the next revision.
205
377
        """
206
 
        ## TODO: factor out to atomicfile?  is rename safe on windows?
207
 
        ## TODO: Maybe some kind of clean/dirty marker on inventory?
208
 
        tmpfname = self.controlfilename('inventory.tmp')
209
 
        tmpf = file(tmpfname, 'w')
210
 
        inv.write_xml(tmpf)
211
 
        tmpf.close()
212
 
        os.rename(tmpfname, self.controlfilename('inventory'))
 
378
        from bzrlib.atomicfile import AtomicFile
 
379
        from bzrlib.xml import pack_xml
 
380
        
 
381
        self.lock_write()
 
382
        try:
 
383
            f = AtomicFile(self.controlfilename('inventory'), 'wb')
 
384
            try:
 
385
                pack_xml(inv, f)
 
386
                f.commit()
 
387
            finally:
 
388
                f.close()
 
389
        finally:
 
390
            self.unlock()
 
391
        
213
392
        mutter('wrote working inventory')
214
 
 
 
393
            
215
394
 
216
395
    inventory = property(read_working_inventory, _write_inventory, None,
217
396
                         """Inventory for the working copy.""")
218
397
 
219
398
 
220
 
    def add(self, files, verbose=False):
 
399
    def add(self, files, verbose=False, ids=None):
221
400
        """Make files versioned.
222
401
 
 
402
        Note that the command line normally calls smart_add instead.
 
403
 
223
404
        This puts the files in the Added state, so that they will be
224
405
        recorded by the next commit.
225
406
 
226
 
        :todo: Perhaps have an option to add the ids even if the files do
227
 
               not (yet) exist.
228
 
 
229
 
        :todo: Perhaps return the ids of the files?  But then again it
230
 
               is easy to retrieve them if they're needed.
231
 
 
232
 
        :todo: Option to specify file id.
233
 
 
234
 
        :todo: Adding a directory should optionally recurse down and
235
 
               add all non-ignored children.  Perhaps do that in a
236
 
               higher-level method.
237
 
 
238
 
        >>> b = ScratchBranch(files=['foo'])
239
 
        >>> 'foo' in b.unknowns()
240
 
        True
241
 
        >>> b.show_status()
242
 
        ?       foo
243
 
        >>> b.add('foo')
244
 
        >>> 'foo' in b.unknowns()
245
 
        False
246
 
        >>> bool(b.inventory.path2id('foo'))
247
 
        True
248
 
        >>> b.show_status()
249
 
        A       foo
250
 
 
251
 
        >>> b.add('foo')
252
 
        Traceback (most recent call last):
253
 
        ...
254
 
        BzrError: ('foo is already versioned', [])
255
 
 
256
 
        >>> b.add(['nothere'])
257
 
        Traceback (most recent call last):
258
 
        BzrError: ('cannot add: not a regular file or directory: nothere', [])
 
407
        files
 
408
            List of paths to add, relative to the base of the tree.
 
409
 
 
410
        ids
 
411
            If set, use these instead of automatically generated ids.
 
412
            Must be the same length as the list of files, but may
 
413
            contain None for ids that are to be autogenerated.
 
414
 
 
415
        TODO: Perhaps have an option to add the ids even if the files do
 
416
              not (yet) exist.
 
417
 
 
418
        TODO: Perhaps return the ids of the files?  But then again it
 
419
              is easy to retrieve them if they're needed.
 
420
 
 
421
        TODO: Adding a directory should optionally recurse down and
 
422
              add all non-ignored children.  Perhaps do that in a
 
423
              higher-level method.
259
424
        """
260
 
 
 
425
        from bzrlib.textui import show_status
261
426
        # TODO: Re-adding a file that is removed in the working copy
262
427
        # should probably put it back with the previous ID.
263
 
        if isinstance(files, types.StringTypes):
 
428
        if isinstance(files, basestring):
 
429
            assert(ids is None or isinstance(ids, basestring))
264
430
            files = [files]
265
 
        
266
 
        inv = self.read_working_inventory()
267
 
        for f in files:
268
 
            if is_control_file(f):
269
 
                bailout("cannot add control file %s" % quotefn(f))
270
 
 
271
 
            fp = splitpath(f)
272
 
 
273
 
            if len(fp) == 0:
274
 
                bailout("cannot add top-level %r" % f)
275
 
                
276
 
            fullpath = os.path.normpath(self.abspath(f))
277
 
 
278
 
            try:
279
 
                kind = file_kind(fullpath)
280
 
            except OSError:
281
 
                # maybe something better?
282
 
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
283
 
            
284
 
            if kind != 'file' and kind != 'directory':
285
 
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
286
 
 
287
 
            file_id = gen_file_id(f)
288
 
            inv.add_path(f, kind=kind, file_id=file_id)
289
 
 
290
 
            if verbose:
291
 
                show_status('A', kind, quotefn(f))
292
 
                
293
 
            mutter("add file %s file_id:{%s} kind=%r" % (f, file_id, kind))
294
 
            
295
 
        self._write_inventory(inv)
296
 
 
 
431
            if ids is not None:
 
432
                ids = [ids]
 
433
 
 
434
        if ids is None:
 
435
            ids = [None] * len(files)
 
436
        else:
 
437
            assert(len(ids) == len(files))
 
438
 
 
439
        self.lock_write()
 
440
        try:
 
441
            inv = self.read_working_inventory()
 
442
            for f,file_id in zip(files, ids):
 
443
                if is_control_file(f):
 
444
                    raise BzrError("cannot add control file %s" % quotefn(f))
 
445
 
 
446
                fp = splitpath(f)
 
447
 
 
448
                if len(fp) == 0:
 
449
                    raise BzrError("cannot add top-level %r" % f)
 
450
 
 
451
                fullpath = os.path.normpath(self.abspath(f))
 
452
 
 
453
                try:
 
454
                    kind = file_kind(fullpath)
 
455
                except OSError:
 
456
                    # maybe something better?
 
457
                    raise BzrError('cannot add: not a regular file or directory: %s' % quotefn(f))
 
458
 
 
459
                if kind != 'file' and kind != 'directory':
 
460
                    raise BzrError('cannot add: not a regular file or directory: %s' % quotefn(f))
 
461
 
 
462
                if file_id is None:
 
463
                    file_id = gen_file_id(f)
 
464
                inv.add_path(f, kind=kind, file_id=file_id)
 
465
 
 
466
                if verbose:
 
467
                    print 'added', quotefn(f)
 
468
 
 
469
                mutter("add file %s file_id:{%s} kind=%r" % (f, file_id, kind))
 
470
 
 
471
            self._write_inventory(inv)
 
472
        finally:
 
473
            self.unlock()
 
474
            
 
475
 
 
476
    def print_file(self, file, revno):
 
477
        """Print `file` to stdout."""
 
478
        self.lock_read()
 
479
        try:
 
480
            tree = self.revision_tree(self.lookup_revision(revno))
 
481
            # use inventory as it was in that revision
 
482
            file_id = tree.inventory.path2id(file)
 
483
            if not file_id:
 
484
                raise BzrError("%r is not present in revision %s" % (file, revno))
 
485
            tree.print_file(file_id)
 
486
        finally:
 
487
            self.unlock()
297
488
 
298
489
 
299
490
    def remove(self, files, verbose=False):
301
492
 
302
493
        This does not remove their text.  This does not run on 
303
494
 
304
 
        :todo: Refuse to remove modified files unless --force is given?
305
 
 
306
 
        >>> b = ScratchBranch(files=['foo'])
307
 
        >>> b.add('foo')
308
 
        >>> b.inventory.has_filename('foo')
309
 
        True
310
 
        >>> b.remove('foo')
311
 
        >>> b.working_tree().has_filename('foo')
312
 
        True
313
 
        >>> b.inventory.has_filename('foo')
314
 
        False
315
 
        
316
 
        >>> b = ScratchBranch(files=['foo'])
317
 
        >>> b.add('foo')
318
 
        >>> b.commit('one')
319
 
        >>> b.remove('foo')
320
 
        >>> b.commit('two')
321
 
        >>> b.inventory.has_filename('foo') 
322
 
        False
323
 
        >>> b.basis_tree().has_filename('foo') 
324
 
        False
325
 
        >>> b.working_tree().has_filename('foo') 
326
 
        True
327
 
 
328
 
        :todo: Do something useful with directories.
329
 
 
330
 
        :todo: Should this remove the text or not?  Tough call; not
 
495
        TODO: Refuse to remove modified files unless --force is given?
 
496
 
 
497
        TODO: Do something useful with directories.
 
498
 
 
499
        TODO: Should this remove the text or not?  Tough call; not
331
500
        removing may be useful and the user can just use use rm, and
332
501
        is the opposite of add.  Removing it is consistent with most
333
502
        other tools.  Maybe an option.
334
503
        """
 
504
        from bzrlib.textui import show_status
335
505
        ## TODO: Normalize names
336
506
        ## TODO: Remove nested loops; better scalability
337
 
 
338
 
        if isinstance(files, types.StringTypes):
 
507
        if isinstance(files, basestring):
339
508
            files = [files]
340
 
        
341
 
        tree = self.working_tree()
342
 
        inv = tree.inventory
343
 
 
344
 
        # do this before any modifications
345
 
        for f in files:
346
 
            fid = inv.path2id(f)
347
 
            if not fid:
348
 
                bailout("cannot remove unversioned file %s" % quotefn(f))
349
 
            mutter("remove inventory entry %s {%s}" % (quotefn(f), fid))
350
 
            if verbose:
351
 
                # having remove it, it must be either ignored or unknown
352
 
                if tree.is_ignored(f):
353
 
                    new_status = 'I'
354
 
                else:
355
 
                    new_status = '?'
356
 
                show_status(new_status, inv[fid].kind, quotefn(f))
357
 
            del inv[fid]
358
 
 
 
509
 
 
510
        self.lock_write()
 
511
 
 
512
        try:
 
513
            tree = self.working_tree()
 
514
            inv = tree.inventory
 
515
 
 
516
            # do this before any modifications
 
517
            for f in files:
 
518
                fid = inv.path2id(f)
 
519
                if not fid:
 
520
                    raise BzrError("cannot remove unversioned file %s" % quotefn(f))
 
521
                mutter("remove inventory entry %s {%s}" % (quotefn(f), fid))
 
522
                if verbose:
 
523
                    # having remove it, it must be either ignored or unknown
 
524
                    if tree.is_ignored(f):
 
525
                        new_status = 'I'
 
526
                    else:
 
527
                        new_status = '?'
 
528
                    show_status(new_status, inv[fid].kind, quotefn(f))
 
529
                del inv[fid]
 
530
 
 
531
            self._write_inventory(inv)
 
532
        finally:
 
533
            self.unlock()
 
534
 
 
535
 
 
536
    # FIXME: this doesn't need to be a branch method
 
537
    def set_inventory(self, new_inventory_list):
 
538
        from bzrlib.inventory import Inventory, InventoryEntry
 
539
        inv = Inventory(self.get_root_id())
 
540
        for path, file_id, parent, kind in new_inventory_list:
 
541
            name = os.path.basename(path)
 
542
            if name == "":
 
543
                continue
 
544
            inv.add(InventoryEntry(file_id, name, kind, parent))
359
545
        self._write_inventory(inv)
360
546
 
361
547
 
378
564
        return self.working_tree().unknowns()
379
565
 
380
566
 
381
 
    def commit(self, message, timestamp=None, timezone=None,
382
 
               committer=None,
383
 
               verbose=False):
384
 
        """Commit working copy as a new revision.
385
 
        
386
 
        The basic approach is to add all the file texts into the
387
 
        store, then the inventory, then make a new revision pointing
388
 
        to that inventory and store that.
389
 
        
390
 
        This is not quite safe if the working copy changes during the
391
 
        commit; for the moment that is simply not allowed.  A better
392
 
        approach is to make a temporary copy of the files before
393
 
        computing their hashes, and then add those hashes in turn to
394
 
        the inventory.  This should mean at least that there are no
395
 
        broken hash pointers.  There is no way we can get a snapshot
396
 
        of the whole directory at an instant.  This would also have to
397
 
        be robust against files disappearing, moving, etc.  So the
398
 
        whole thing is a bit hard.
399
 
 
400
 
        :param timestamp: if not None, seconds-since-epoch for a
401
 
             postdated/predated commit.
402
 
        """
403
 
 
404
 
        ## TODO: Show branch names
405
 
 
406
 
        # TODO: Don't commit if there are no changes, unless forced?
407
 
 
408
 
        # First walk over the working inventory; and both update that
409
 
        # and also build a new revision inventory.  The revision
410
 
        # inventory needs to hold the text-id, sha1 and size of the
411
 
        # actual file versions committed in the revision.  (These are
412
 
        # not present in the working inventory.)  We also need to
413
 
        # detect missing/deleted files, and remove them from the
414
 
        # working inventory.
415
 
 
416
 
        work_inv = self.read_working_inventory()
417
 
        inv = Inventory()
418
 
        basis = self.basis_tree()
419
 
        basis_inv = basis.inventory
420
 
        missing_ids = []
421
 
        for path, entry in work_inv.iter_entries():
422
 
            ## TODO: Cope with files that have gone missing.
423
 
 
424
 
            ## TODO: Check that the file kind has not changed from the previous
425
 
            ## revision of this file (if any).
426
 
 
427
 
            entry = entry.copy()
428
 
 
429
 
            p = self.abspath(path)
430
 
            file_id = entry.file_id
431
 
            mutter('commit prep file %s, id %r ' % (p, file_id))
432
 
 
433
 
            if not os.path.exists(p):
434
 
                mutter("    file is missing, removing from inventory")
435
 
                if verbose:
436
 
                    show_status('D', entry.kind, quotefn(path))
437
 
                missing_ids.append(file_id)
438
 
                continue
439
 
 
440
 
            # TODO: Handle files that have been deleted
441
 
 
442
 
            # TODO: Maybe a special case for empty files?  Seems a
443
 
            # waste to store them many times.
444
 
 
445
 
            inv.add(entry)
446
 
 
447
 
            if basis_inv.has_id(file_id):
448
 
                old_kind = basis_inv[file_id].kind
449
 
                if old_kind != entry.kind:
450
 
                    bailout("entry %r changed kind from %r to %r"
451
 
                            % (file_id, old_kind, entry.kind))
452
 
 
453
 
            if entry.kind == 'directory':
454
 
                if not isdir(p):
455
 
                    bailout("%s is entered as directory but not a directory" % quotefn(p))
456
 
            elif entry.kind == 'file':
457
 
                if not isfile(p):
458
 
                    bailout("%s is entered as file but is not a file" % quotefn(p))
459
 
 
460
 
                content = file(p, 'rb').read()
461
 
 
462
 
                entry.text_sha1 = sha_string(content)
463
 
                entry.text_size = len(content)
464
 
 
465
 
                old_ie = basis_inv.has_id(file_id) and basis_inv[file_id]
466
 
                if (old_ie
467
 
                    and (old_ie.text_size == entry.text_size)
468
 
                    and (old_ie.text_sha1 == entry.text_sha1)):
469
 
                    ## assert content == basis.get_file(file_id).read()
470
 
                    entry.text_id = basis_inv[file_id].text_id
471
 
                    mutter('    unchanged from previous text_id {%s}' %
472
 
                           entry.text_id)
473
 
                    
474
 
                else:
475
 
                    entry.text_id = gen_file_id(entry.name)
476
 
                    self.text_store.add(content, entry.text_id)
477
 
                    mutter('    stored with text_id {%s}' % entry.text_id)
478
 
                    if verbose:
479
 
                        if not old_ie:
480
 
                            state = 'A'
481
 
                        elif (old_ie.name == entry.name
482
 
                              and old_ie.parent_id == entry.parent_id):
483
 
                            state = 'R'
484
 
                        else:
485
 
                            state = 'M'
486
 
 
487
 
                        show_status(state, entry.kind, quotefn(path))
488
 
 
489
 
        for file_id in missing_ids:
490
 
            # have to do this later so we don't mess up the iterator.
491
 
            # since parents may be removed before their children we
492
 
            # have to test.
493
 
 
494
 
            # FIXME: There's probably a better way to do this; perhaps
495
 
            # the workingtree should know how to filter itself.
496
 
            if work_inv.has_id(file_id):
497
 
                del work_inv[file_id]
498
 
 
499
 
 
500
 
        inv_id = rev_id = _gen_revision_id(time.time())
501
 
        
502
 
        inv_tmp = tempfile.TemporaryFile()
503
 
        inv.write_xml(inv_tmp)
504
 
        inv_tmp.seek(0)
505
 
        self.inventory_store.add(inv_tmp, inv_id)
506
 
        mutter('new inventory_id is {%s}' % inv_id)
507
 
 
508
 
        self._write_inventory(work_inv)
509
 
 
510
 
        if timestamp == None:
511
 
            timestamp = time.time()
512
 
 
513
 
        if committer == None:
514
 
            committer = username()
515
 
 
516
 
        if timezone == None:
517
 
            timezone = local_time_offset()
518
 
 
519
 
        mutter("building commit log message")
520
 
        rev = Revision(timestamp=timestamp,
521
 
                       timezone=timezone,
522
 
                       committer=committer,
523
 
                       precursor = self.last_patch(),
524
 
                       message = message,
525
 
                       inventory_id=inv_id,
526
 
                       revision_id=rev_id)
527
 
 
528
 
        rev_tmp = tempfile.TemporaryFile()
529
 
        rev.write_xml(rev_tmp)
530
 
        rev_tmp.seek(0)
531
 
        self.revision_store.add(rev_tmp, rev_id)
532
 
        mutter("new revision_id is {%s}" % rev_id)
533
 
        
534
 
        ## XXX: Everything up to here can simply be orphaned if we abort
535
 
        ## the commit; it will leave junk files behind but that doesn't
536
 
        ## matter.
537
 
 
538
 
        ## TODO: Read back the just-generated changeset, and make sure it
539
 
        ## applies and recreates the right state.
540
 
 
541
 
        ## TODO: Also calculate and store the inventory SHA1
542
 
        mutter("committing patch r%d" % (self.revno() + 1))
543
 
 
544
 
        mutter("append to revision-history")
545
 
        self.controlfile('revision-history', 'at').write(rev_id + '\n')
546
 
 
547
 
        mutter("done!")
 
567
    def append_revision(self, *revision_ids):
 
568
        from bzrlib.atomicfile import AtomicFile
 
569
 
 
570
        for revision_id in revision_ids:
 
571
            mutter("add {%s} to revision-history" % revision_id)
 
572
 
 
573
        rev_history = self.revision_history()
 
574
        rev_history.extend(revision_ids)
 
575
 
 
576
        f = AtomicFile(self.controlfilename('revision-history'))
 
577
        try:
 
578
            for rev_id in rev_history:
 
579
                print >>f, rev_id
 
580
            f.commit()
 
581
        finally:
 
582
            f.close()
548
583
 
549
584
 
550
585
    def get_revision(self, revision_id):
551
586
        """Return the Revision object for a named revision"""
552
 
        r = Revision.read_xml(self.revision_store[revision_id])
 
587
        from bzrlib.revision import Revision
 
588
        from bzrlib.xml import unpack_xml
 
589
 
 
590
        self.lock_read()
 
591
        try:
 
592
            if not revision_id or not isinstance(revision_id, basestring):
 
593
                raise ValueError('invalid revision-id: %r' % revision_id)
 
594
            r = unpack_xml(Revision, self.revision_store[revision_id])
 
595
        finally:
 
596
            self.unlock()
 
597
            
553
598
        assert r.revision_id == revision_id
554
599
        return r
 
600
        
 
601
 
 
602
    def get_revision_sha1(self, revision_id):
 
603
        """Hash the stored value of a revision, and return it."""
 
604
        # In the future, revision entries will be signed. At that
 
605
        # point, it is probably best *not* to include the signature
 
606
        # in the revision hash. Because that lets you re-sign
 
607
        # the revision, (add signatures/remove signatures) and still
 
608
        # have all hash pointers stay consistent.
 
609
        # But for now, just hash the contents.
 
610
        return sha_file(self.revision_store[revision_id])
555
611
 
556
612
 
557
613
    def get_inventory(self, inventory_id):
558
614
        """Get Inventory object by hash.
559
615
 
560
 
        :todo: Perhaps for this and similar methods, take a revision
 
616
        TODO: Perhaps for this and similar methods, take a revision
561
617
               parameter which can be either an integer revno or a
562
618
               string hash."""
563
 
        i = Inventory.read_xml(self.inventory_store[inventory_id])
564
 
        return i
 
619
        from bzrlib.inventory import Inventory
 
620
        from bzrlib.xml import unpack_xml
 
621
 
 
622
        return unpack_xml(Inventory, self.inventory_store[inventory_id])
 
623
            
 
624
 
 
625
    def get_inventory_sha1(self, inventory_id):
 
626
        """Return the sha1 hash of the inventory entry
 
627
        """
 
628
        return sha_file(self.inventory_store[inventory_id])
565
629
 
566
630
 
567
631
    def get_revision_inventory(self, revision_id):
568
632
        """Return inventory of a past revision."""
 
633
        # bzr 0.0.6 imposes the constraint that the inventory_id
 
634
        # must be the same as its revision, so this is trivial.
569
635
        if revision_id == None:
570
 
            return Inventory()
 
636
            from bzrlib.inventory import Inventory
 
637
            return Inventory(self.get_root_id())
571
638
        else:
572
 
            return self.get_inventory(self.get_revision(revision_id).inventory_id)
 
639
            return self.get_inventory(revision_id)
573
640
 
574
641
 
575
642
    def revision_history(self):
578
645
        >>> ScratchBranch().revision_history()
579
646
        []
580
647
        """
581
 
        return [chomp(l) for l in self.controlfile('revision-history').readlines()]
 
648
        self.lock_read()
 
649
        try:
 
650
            return [l.rstrip('\r\n') for l in
 
651
                    self.controlfile('revision-history', 'r').readlines()]
 
652
        finally:
 
653
            self.unlock()
 
654
 
 
655
 
 
656
    def common_ancestor(self, other, self_revno=None, other_revno=None):
 
657
        """
 
658
        >>> import commit
 
659
        >>> sb = ScratchBranch(files=['foo', 'foo~'])
 
660
        >>> sb.common_ancestor(sb) == (None, None)
 
661
        True
 
662
        >>> commit.commit(sb, "Committing first revision", verbose=False)
 
663
        >>> sb.common_ancestor(sb)[0]
 
664
        1
 
665
        >>> clone = sb.clone()
 
666
        >>> commit.commit(sb, "Committing second revision", verbose=False)
 
667
        >>> sb.common_ancestor(sb)[0]
 
668
        2
 
669
        >>> sb.common_ancestor(clone)[0]
 
670
        1
 
671
        >>> commit.commit(clone, "Committing divergent second revision", 
 
672
        ...               verbose=False)
 
673
        >>> sb.common_ancestor(clone)[0]
 
674
        1
 
675
        >>> sb.common_ancestor(clone) == clone.common_ancestor(sb)
 
676
        True
 
677
        >>> sb.common_ancestor(sb) != clone.common_ancestor(clone)
 
678
        True
 
679
        >>> clone2 = sb.clone()
 
680
        >>> sb.common_ancestor(clone2)[0]
 
681
        2
 
682
        >>> sb.common_ancestor(clone2, self_revno=1)[0]
 
683
        1
 
684
        >>> sb.common_ancestor(clone2, other_revno=1)[0]
 
685
        1
 
686
        """
 
687
        my_history = self.revision_history()
 
688
        other_history = other.revision_history()
 
689
        if self_revno is None:
 
690
            self_revno = len(my_history)
 
691
        if other_revno is None:
 
692
            other_revno = len(other_history)
 
693
        indices = range(min((self_revno, other_revno)))
 
694
        indices.reverse()
 
695
        for r in indices:
 
696
            if my_history[r] == other_history[r]:
 
697
                return r+1, my_history[r]
 
698
        return None, None
 
699
 
 
700
    def enum_history(self, direction):
 
701
        """Return (revno, revision_id) for history of branch.
 
702
 
 
703
        direction
 
704
            'forward' is from earliest to latest
 
705
            'reverse' is from latest to earliest
 
706
        """
 
707
        rh = self.revision_history()
 
708
        if direction == 'forward':
 
709
            i = 1
 
710
            for rid in rh:
 
711
                yield i, rid
 
712
                i += 1
 
713
        elif direction == 'reverse':
 
714
            i = len(rh)
 
715
            while i > 0:
 
716
                yield i, rh[i-1]
 
717
                i -= 1
 
718
        else:
 
719
            raise ValueError('invalid history direction', direction)
582
720
 
583
721
 
584
722
    def revno(self):
586
724
 
587
725
        That is equivalent to the number of revisions committed to
588
726
        this branch.
589
 
 
590
 
        >>> b = ScratchBranch()
591
 
        >>> b.revno()
592
 
        0
593
 
        >>> b.commit('no foo')
594
 
        >>> b.revno()
595
 
        1
596
727
        """
597
728
        return len(self.revision_history())
598
729
 
599
730
 
600
731
    def last_patch(self):
601
732
        """Return last patch hash, or None if no history.
602
 
 
603
 
        >>> ScratchBranch().last_patch() == None
604
 
        True
605
733
        """
606
734
        ph = self.revision_history()
607
735
        if ph:
608
736
            return ph[-1]
609
 
 
610
 
 
611
 
    def lookup_revision(self, revno):
612
 
        """Return revision hash for revision number."""
613
 
        if revno == 0:
614
 
            return None
615
 
 
616
 
        try:
617
 
            # list is 0-based; revisions are 1-based
618
 
            return self.revision_history()[revno-1]
619
 
        except IndexError:
620
 
            bailout("no such revision %s" % revno)
621
 
 
 
737
        else:
 
738
            return None
 
739
 
 
740
 
 
741
    def missing_revisions(self, other, stop_revision=None):
 
742
        """
 
743
        If self and other have not diverged, return a list of the revisions
 
744
        present in other, but missing from self.
 
745
 
 
746
        >>> from bzrlib.commit import commit
 
747
        >>> bzrlib.trace.silent = True
 
748
        >>> br1 = ScratchBranch()
 
749
        >>> br2 = ScratchBranch()
 
750
        >>> br1.missing_revisions(br2)
 
751
        []
 
752
        >>> commit(br2, "lala!", rev_id="REVISION-ID-1")
 
753
        >>> br1.missing_revisions(br2)
 
754
        [u'REVISION-ID-1']
 
755
        >>> br2.missing_revisions(br1)
 
756
        []
 
757
        >>> commit(br1, "lala!", rev_id="REVISION-ID-1")
 
758
        >>> br1.missing_revisions(br2)
 
759
        []
 
760
        >>> commit(br2, "lala!", rev_id="REVISION-ID-2A")
 
761
        >>> br1.missing_revisions(br2)
 
762
        [u'REVISION-ID-2A']
 
763
        >>> commit(br1, "lala!", rev_id="REVISION-ID-2B")
 
764
        >>> br1.missing_revisions(br2)
 
765
        Traceback (most recent call last):
 
766
        DivergedBranches: These branches have diverged.
 
767
        """
 
768
        self_history = self.revision_history()
 
769
        self_len = len(self_history)
 
770
        other_history = other.revision_history()
 
771
        other_len = len(other_history)
 
772
        common_index = min(self_len, other_len) -1
 
773
        if common_index >= 0 and \
 
774
            self_history[common_index] != other_history[common_index]:
 
775
            raise DivergedBranches(self, other)
 
776
 
 
777
        if stop_revision is None:
 
778
            stop_revision = other_len
 
779
        elif stop_revision > other_len:
 
780
            raise NoSuchRevision(self, stop_revision)
 
781
        
 
782
        return other_history[self_len:stop_revision]
 
783
 
 
784
 
 
785
    def update_revisions(self, other, stop_revision=None):
 
786
        """Pull in all new revisions from other branch.
 
787
        
 
788
        >>> from bzrlib.commit import commit
 
789
        >>> bzrlib.trace.silent = True
 
790
        >>> br1 = ScratchBranch(files=['foo', 'bar'])
 
791
        >>> br1.add('foo')
 
792
        >>> br1.add('bar')
 
793
        >>> commit(br1, "lala!", rev_id="REVISION-ID-1", verbose=False)
 
794
        >>> br2 = ScratchBranch()
 
795
        >>> br2.update_revisions(br1)
 
796
        Added 2 texts.
 
797
        Added 1 inventories.
 
798
        Added 1 revisions.
 
799
        >>> br2.revision_history()
 
800
        [u'REVISION-ID-1']
 
801
        >>> br2.update_revisions(br1)
 
802
        Added 0 texts.
 
803
        Added 0 inventories.
 
804
        Added 0 revisions.
 
805
        >>> br1.text_store.total_size() == br2.text_store.total_size()
 
806
        True
 
807
        """
 
808
        from bzrlib.progress import ProgressBar
 
809
        try:
 
810
            set
 
811
        except NameError:
 
812
            from sets import Set as set
 
813
 
 
814
        pb = ProgressBar()
 
815
 
 
816
        pb.update('comparing histories')
 
817
        revision_ids = self.missing_revisions(other, stop_revision)
 
818
 
 
819
        if hasattr(other.revision_store, "prefetch"):
 
820
            other.revision_store.prefetch(revision_ids)
 
821
        if hasattr(other.inventory_store, "prefetch"):
 
822
            inventory_ids = [other.get_revision(r).inventory_id
 
823
                             for r in revision_ids]
 
824
            other.inventory_store.prefetch(inventory_ids)
 
825
                
 
826
        revisions = []
 
827
        needed_texts = set()
 
828
        i = 0
 
829
        for rev_id in revision_ids:
 
830
            i += 1
 
831
            pb.update('fetching revision', i, len(revision_ids))
 
832
            rev = other.get_revision(rev_id)
 
833
            revisions.append(rev)
 
834
            inv = other.get_inventory(str(rev.inventory_id))
 
835
            for key, entry in inv.iter_entries():
 
836
                if entry.text_id is None:
 
837
                    continue
 
838
                if entry.text_id not in self.text_store:
 
839
                    needed_texts.add(entry.text_id)
 
840
 
 
841
        pb.clear()
 
842
                    
 
843
        count = self.text_store.copy_multi(other.text_store, needed_texts)
 
844
        print "Added %d texts." % count 
 
845
        inventory_ids = [ f.inventory_id for f in revisions ]
 
846
        count = self.inventory_store.copy_multi(other.inventory_store, 
 
847
                                                inventory_ids)
 
848
        print "Added %d inventories." % count 
 
849
        revision_ids = [ f.revision_id for f in revisions]
 
850
        count = self.revision_store.copy_multi(other.revision_store, 
 
851
                                               revision_ids)
 
852
        for revision_id in revision_ids:
 
853
            self.append_revision(revision_id)
 
854
        print "Added %d revisions." % count
 
855
                    
 
856
        
 
857
    def commit(self, *args, **kw):
 
858
        from bzrlib.commit import commit
 
859
        commit(self, *args, **kw)
 
860
        
 
861
 
 
862
    def lookup_revision(self, revision):
 
863
        """Return the revision identifier for a given revision information."""
 
864
        revno, info = self.get_revision_info(revision)
 
865
        return info
 
866
 
 
867
    def get_revision_info(self, revision):
 
868
        """Return (revno, revision id) for revision identifier.
 
869
 
 
870
        revision can be an integer, in which case it is assumed to be revno (though
 
871
            this will translate negative values into positive ones)
 
872
        revision can also be a string, in which case it is parsed for something like
 
873
            'date:' or 'revid:' etc.
 
874
        """
 
875
        if revision is None:
 
876
            return 0, None
 
877
        revno = None
 
878
        try:# Convert to int if possible
 
879
            revision = int(revision)
 
880
        except ValueError:
 
881
            pass
 
882
        revs = self.revision_history()
 
883
        if isinstance(revision, int):
 
884
            if revision == 0:
 
885
                return 0, None
 
886
            # Mabye we should do this first, but we don't need it if revision == 0
 
887
            if revision < 0:
 
888
                revno = len(revs) + revision + 1
 
889
            else:
 
890
                revno = revision
 
891
        elif isinstance(revision, basestring):
 
892
            for prefix, func in Branch.REVISION_NAMESPACES.iteritems():
 
893
                if revision.startswith(prefix):
 
894
                    revno = func(self, revs, revision)
 
895
                    break
 
896
            else:
 
897
                raise BzrError('No namespace registered for string: %r' % revision)
 
898
 
 
899
        if revno is None or revno <= 0 or revno > len(revs):
 
900
            raise BzrError("no such revision %s" % revision)
 
901
        return revno, revs[revno-1]
 
902
 
 
903
    def _namespace_revno(self, revs, revision):
 
904
        """Lookup a revision by revision number"""
 
905
        assert revision.startswith('revno:')
 
906
        try:
 
907
            return int(revision[6:])
 
908
        except ValueError:
 
909
            return None
 
910
    REVISION_NAMESPACES['revno:'] = _namespace_revno
 
911
 
 
912
    def _namespace_revid(self, revs, revision):
 
913
        assert revision.startswith('revid:')
 
914
        try:
 
915
            return revs.index(revision[6:]) + 1
 
916
        except ValueError:
 
917
            return None
 
918
    REVISION_NAMESPACES['revid:'] = _namespace_revid
 
919
 
 
920
    def _namespace_last(self, revs, revision):
 
921
        assert revision.startswith('last:')
 
922
        try:
 
923
            offset = int(revision[5:])
 
924
        except ValueError:
 
925
            return None
 
926
        else:
 
927
            if offset <= 0:
 
928
                raise BzrError('You must supply a positive value for --revision last:XXX')
 
929
            return len(revs) - offset + 1
 
930
    REVISION_NAMESPACES['last:'] = _namespace_last
 
931
 
 
932
    def _namespace_tag(self, revs, revision):
 
933
        assert revision.startswith('tag:')
 
934
        raise BzrError('tag: namespace registered, but not implemented.')
 
935
    REVISION_NAMESPACES['tag:'] = _namespace_tag
 
936
 
 
937
    def _namespace_date(self, revs, revision):
 
938
        assert revision.startswith('date:')
 
939
        import datetime
 
940
        # Spec for date revisions:
 
941
        #   date:value
 
942
        #   value can be 'yesterday', 'today', 'tomorrow' or a YYYY-MM-DD string.
 
943
        #   it can also start with a '+/-/='. '+' says match the first
 
944
        #   entry after the given date. '-' is match the first entry before the date
 
945
        #   '=' is match the first entry after, but still on the given date.
 
946
        #
 
947
        #   +2005-05-12 says find the first matching entry after May 12th, 2005 at 0:00
 
948
        #   -2005-05-12 says find the first matching entry before May 12th, 2005 at 0:00
 
949
        #   =2005-05-12 says find the first match after May 12th, 2005 at 0:00 but before
 
950
        #       May 13th, 2005 at 0:00
 
951
        #
 
952
        #   So the proper way of saying 'give me all entries for today' is:
 
953
        #       -r {date:+today}:{date:-tomorrow}
 
954
        #   The default is '=' when not supplied
 
955
        val = revision[5:]
 
956
        match_style = '='
 
957
        if val[:1] in ('+', '-', '='):
 
958
            match_style = val[:1]
 
959
            val = val[1:]
 
960
 
 
961
        today = datetime.datetime.today().replace(hour=0,minute=0,second=0,microsecond=0)
 
962
        if val.lower() == 'yesterday':
 
963
            dt = today - datetime.timedelta(days=1)
 
964
        elif val.lower() == 'today':
 
965
            dt = today
 
966
        elif val.lower() == 'tomorrow':
 
967
            dt = today + datetime.timedelta(days=1)
 
968
        else:
 
969
            import re
 
970
            # This should be done outside the function to avoid recompiling it.
 
971
            _date_re = re.compile(
 
972
                    r'(?P<date>(?P<year>\d\d\d\d)-(?P<month>\d\d)-(?P<day>\d\d))?'
 
973
                    r'(,|T)?\s*'
 
974
                    r'(?P<time>(?P<hour>\d\d):(?P<minute>\d\d)(:(?P<second>\d\d))?)?'
 
975
                )
 
976
            m = _date_re.match(val)
 
977
            if not m or (not m.group('date') and not m.group('time')):
 
978
                raise BzrError('Invalid revision date %r' % revision)
 
979
 
 
980
            if m.group('date'):
 
981
                year, month, day = int(m.group('year')), int(m.group('month')), int(m.group('day'))
 
982
            else:
 
983
                year, month, day = today.year, today.month, today.day
 
984
            if m.group('time'):
 
985
                hour = int(m.group('hour'))
 
986
                minute = int(m.group('minute'))
 
987
                if m.group('second'):
 
988
                    second = int(m.group('second'))
 
989
                else:
 
990
                    second = 0
 
991
            else:
 
992
                hour, minute, second = 0,0,0
 
993
 
 
994
            dt = datetime.datetime(year=year, month=month, day=day,
 
995
                    hour=hour, minute=minute, second=second)
 
996
        first = dt
 
997
        last = None
 
998
        reversed = False
 
999
        if match_style == '-':
 
1000
            reversed = True
 
1001
        elif match_style == '=':
 
1002
            last = dt + datetime.timedelta(days=1)
 
1003
 
 
1004
        if reversed:
 
1005
            for i in range(len(revs)-1, -1, -1):
 
1006
                r = self.get_revision(revs[i])
 
1007
                # TODO: Handle timezone.
 
1008
                dt = datetime.datetime.fromtimestamp(r.timestamp)
 
1009
                if first >= dt and (last is None or dt >= last):
 
1010
                    return i+1
 
1011
        else:
 
1012
            for i in range(len(revs)):
 
1013
                r = self.get_revision(revs[i])
 
1014
                # TODO: Handle timezone.
 
1015
                dt = datetime.datetime.fromtimestamp(r.timestamp)
 
1016
                if first <= dt and (last is None or dt <= last):
 
1017
                    return i+1
 
1018
    REVISION_NAMESPACES['date:'] = _namespace_date
622
1019
 
623
1020
    def revision_tree(self, revision_id):
624
1021
        """Return Tree for a revision on this branch.
625
1022
 
626
1023
        `revision_id` may be None for the null revision, in which case
627
1024
        an `EmptyTree` is returned."""
628
 
 
 
1025
        from bzrlib.tree import EmptyTree, RevisionTree
 
1026
        # TODO: refactor this to use an existing revision object
 
1027
        # so we don't need to read it in twice.
629
1028
        if revision_id == None:
630
 
            return EmptyTree()
 
1029
            return EmptyTree(self.get_root_id())
631
1030
        else:
632
1031
            inv = self.get_revision_inventory(revision_id)
633
1032
            return RevisionTree(self.text_store, inv)
635
1034
 
636
1035
    def working_tree(self):
637
1036
        """Return a `Tree` for the working copy."""
 
1037
        from workingtree import WorkingTree
638
1038
        return WorkingTree(self.base, self.read_working_inventory())
639
1039
 
640
1040
 
642
1042
        """Return `Tree` object for last revision.
643
1043
 
644
1044
        If there are no revisions yet, return an `EmptyTree`.
645
 
 
646
 
        >>> b = ScratchBranch(files=['foo'])
647
 
        >>> b.basis_tree().has_filename('foo')
648
 
        False
649
 
        >>> b.working_tree().has_filename('foo')
650
 
        True
651
 
        >>> b.add('foo')
652
 
        >>> b.commit('add foo')
653
 
        >>> b.basis_tree().has_filename('foo')
654
 
        True
655
1045
        """
 
1046
        from bzrlib.tree import EmptyTree, RevisionTree
656
1047
        r = self.last_patch()
657
1048
        if r == None:
658
 
            return EmptyTree()
 
1049
            return EmptyTree(self.get_root_id())
659
1050
        else:
660
1051
            return RevisionTree(self.text_store, self.get_revision_inventory(r))
661
1052
 
662
1053
 
663
1054
 
664
 
    def write_log(self, show_timezone='original'):
665
 
        """Write out human-readable log of commits to this branch
666
 
 
667
 
        :param utc: If true, show dates in universal time, not local time."""
668
 
        ## TODO: Option to choose either original, utc or local timezone
669
 
        revno = 1
670
 
        precursor = None
671
 
        for p in self.revision_history():
672
 
            print '-' * 40
673
 
            print 'revno:', revno
674
 
            ## TODO: Show hash if --id is given.
675
 
            ##print 'revision-hash:', p
676
 
            rev = self.get_revision(p)
677
 
            print 'committer:', rev.committer
678
 
            print 'timestamp: %s' % (format_date(rev.timestamp, rev.timezone or 0,
679
 
                                                 show_timezone))
680
 
 
681
 
            ## opportunistic consistency check, same as check_patch_chaining
682
 
            if rev.precursor != precursor:
683
 
                bailout("mismatched precursor!")
684
 
 
685
 
            print 'message:'
686
 
            if not rev.message:
687
 
                print '  (no message)'
688
 
            else:
689
 
                for l in rev.message.split('\n'):
690
 
                    print '  ' + l
691
 
 
692
 
            revno += 1
693
 
            precursor = p
694
 
 
695
 
 
696
 
 
697
 
    def show_status(branch, show_all=False):
698
 
        """Display single-line status for non-ignored working files.
699
 
 
700
 
        The list is show sorted in order by file name.
701
 
 
702
 
        >>> b = ScratchBranch(files=['foo', 'foo~'])
703
 
        >>> b.show_status()
704
 
        ?       foo
705
 
        >>> b.add('foo')
706
 
        >>> b.show_status()
707
 
        A       foo
708
 
        >>> b.commit("add foo")
709
 
        >>> b.show_status()
710
 
        >>> os.unlink(b.abspath('foo'))
711
 
        >>> b.show_status()
712
 
        D       foo
 
1055
    def rename_one(self, from_rel, to_rel):
 
1056
        """Rename one file.
 
1057
 
 
1058
        This can change the directory or the filename or both.
 
1059
        """
 
1060
        self.lock_write()
 
1061
        try:
 
1062
            tree = self.working_tree()
 
1063
            inv = tree.inventory
 
1064
            if not tree.has_filename(from_rel):
 
1065
                raise BzrError("can't rename: old working file %r does not exist" % from_rel)
 
1066
            if tree.has_filename(to_rel):
 
1067
                raise BzrError("can't rename: new working file %r already exists" % to_rel)
 
1068
 
 
1069
            file_id = inv.path2id(from_rel)
 
1070
            if file_id == None:
 
1071
                raise BzrError("can't rename: old name %r is not versioned" % from_rel)
 
1072
 
 
1073
            if inv.path2id(to_rel):
 
1074
                raise BzrError("can't rename: new name %r is already versioned" % to_rel)
 
1075
 
 
1076
            to_dir, to_tail = os.path.split(to_rel)
 
1077
            to_dir_id = inv.path2id(to_dir)
 
1078
            if to_dir_id == None and to_dir != '':
 
1079
                raise BzrError("can't determine destination directory id for %r" % to_dir)
 
1080
 
 
1081
            mutter("rename_one:")
 
1082
            mutter("  file_id    {%s}" % file_id)
 
1083
            mutter("  from_rel   %r" % from_rel)
 
1084
            mutter("  to_rel     %r" % to_rel)
 
1085
            mutter("  to_dir     %r" % to_dir)
 
1086
            mutter("  to_dir_id  {%s}" % to_dir_id)
 
1087
 
 
1088
            inv.rename(file_id, to_dir_id, to_tail)
 
1089
 
 
1090
            print "%s => %s" % (from_rel, to_rel)
 
1091
 
 
1092
            from_abs = self.abspath(from_rel)
 
1093
            to_abs = self.abspath(to_rel)
 
1094
            try:
 
1095
                os.rename(from_abs, to_abs)
 
1096
            except OSError, e:
 
1097
                raise BzrError("failed to rename %r to %r: %s"
 
1098
                        % (from_abs, to_abs, e[1]),
 
1099
                        ["rename rolled back"])
 
1100
 
 
1101
            self._write_inventory(inv)
 
1102
        finally:
 
1103
            self.unlock()
 
1104
 
 
1105
 
 
1106
    def move(self, from_paths, to_name):
 
1107
        """Rename files.
 
1108
 
 
1109
        to_name must exist as a versioned directory.
 
1110
 
 
1111
        If to_name exists and is a directory, the files are moved into
 
1112
        it, keeping their old names.  If it is a directory, 
 
1113
 
 
1114
        Note that to_name is only the last component of the new name;
 
1115
        this doesn't change the directory.
 
1116
        """
 
1117
        self.lock_write()
 
1118
        try:
 
1119
            ## TODO: Option to move IDs only
 
1120
            assert not isinstance(from_paths, basestring)
 
1121
            tree = self.working_tree()
 
1122
            inv = tree.inventory
 
1123
            to_abs = self.abspath(to_name)
 
1124
            if not isdir(to_abs):
 
1125
                raise BzrError("destination %r is not a directory" % to_abs)
 
1126
            if not tree.has_filename(to_name):
 
1127
                raise BzrError("destination %r not in working directory" % to_abs)
 
1128
            to_dir_id = inv.path2id(to_name)
 
1129
            if to_dir_id == None and to_name != '':
 
1130
                raise BzrError("destination %r is not a versioned directory" % to_name)
 
1131
            to_dir_ie = inv[to_dir_id]
 
1132
            if to_dir_ie.kind not in ('directory', 'root_directory'):
 
1133
                raise BzrError("destination %r is not a directory" % to_abs)
 
1134
 
 
1135
            to_idpath = inv.get_idpath(to_dir_id)
 
1136
 
 
1137
            for f in from_paths:
 
1138
                if not tree.has_filename(f):
 
1139
                    raise BzrError("%r does not exist in working tree" % f)
 
1140
                f_id = inv.path2id(f)
 
1141
                if f_id == None:
 
1142
                    raise BzrError("%r is not versioned" % f)
 
1143
                name_tail = splitpath(f)[-1]
 
1144
                dest_path = appendpath(to_name, name_tail)
 
1145
                if tree.has_filename(dest_path):
 
1146
                    raise BzrError("destination %r already exists" % dest_path)
 
1147
                if f_id in to_idpath:
 
1148
                    raise BzrError("can't move %r to a subdirectory of itself" % f)
 
1149
 
 
1150
            # OK, so there's a race here, it's possible that someone will
 
1151
            # create a file in this interval and then the rename might be
 
1152
            # left half-done.  But we should have caught most problems.
 
1153
 
 
1154
            for f in from_paths:
 
1155
                name_tail = splitpath(f)[-1]
 
1156
                dest_path = appendpath(to_name, name_tail)
 
1157
                print "%s => %s" % (f, dest_path)
 
1158
                inv.rename(inv.path2id(f), to_dir_id, name_tail)
 
1159
                try:
 
1160
                    os.rename(self.abspath(f), self.abspath(dest_path))
 
1161
                except OSError, e:
 
1162
                    raise BzrError("failed to rename %r to %r: %s" % (f, dest_path, e[1]),
 
1163
                            ["rename rolled back"])
 
1164
 
 
1165
            self._write_inventory(inv)
 
1166
        finally:
 
1167
            self.unlock()
 
1168
 
 
1169
 
 
1170
    def revert(self, filenames, old_tree=None, backups=True):
 
1171
        """Restore selected files to the versions from a previous tree.
 
1172
 
 
1173
        backups
 
1174
            If true (default) backups are made of files before
 
1175
            they're renamed.
 
1176
        """
 
1177
        from bzrlib.errors import NotVersionedError, BzrError
 
1178
        from bzrlib.atomicfile import AtomicFile
 
1179
        from bzrlib.osutils import backup_file
713
1180
        
714
 
 
715
 
        :todo: Get state for single files.
716
 
 
717
 
        :todo: Perhaps show a slash at the end of directory names.        
718
 
 
 
1181
        inv = self.read_working_inventory()
 
1182
        if old_tree is None:
 
1183
            old_tree = self.basis_tree()
 
1184
        old_inv = old_tree.inventory
 
1185
 
 
1186
        nids = []
 
1187
        for fn in filenames:
 
1188
            file_id = inv.path2id(fn)
 
1189
            if not file_id:
 
1190
                raise NotVersionedError("not a versioned file", fn)
 
1191
            if not old_inv.has_id(file_id):
 
1192
                raise BzrError("file not present in old tree", fn, file_id)
 
1193
            nids.append((fn, file_id))
 
1194
            
 
1195
        # TODO: Rename back if it was previously at a different location
 
1196
 
 
1197
        # TODO: If given a directory, restore the entire contents from
 
1198
        # the previous version.
 
1199
 
 
1200
        # TODO: Make a backup to a temporary file.
 
1201
 
 
1202
        # TODO: If the file previously didn't exist, delete it?
 
1203
        for fn, file_id in nids:
 
1204
            backup_file(fn)
 
1205
            
 
1206
            f = AtomicFile(fn, 'wb')
 
1207
            try:
 
1208
                f.write(old_tree.get_file(file_id).read())
 
1209
                f.commit()
 
1210
            finally:
 
1211
                f.close()
 
1212
 
 
1213
 
 
1214
    def pending_merges(self):
 
1215
        """Return a list of pending merges.
 
1216
 
 
1217
        These are revisions that have been merged into the working
 
1218
        directory but not yet committed.
719
1219
        """
720
 
 
721
 
        # We have to build everything into a list first so that it can
722
 
        # sorted by name, incorporating all the different sources.
723
 
 
724
 
        # FIXME: Rather than getting things in random order and then sorting,
725
 
        # just step through in order.
726
 
 
727
 
        # Interesting case: the old ID for a file has been removed,
728
 
        # but a new file has been created under that name.
729
 
 
730
 
        old = branch.basis_tree()
731
 
        old_inv = old.inventory
732
 
        new = branch.working_tree()
733
 
        new_inv = new.inventory
734
 
 
735
 
        for fs, fid, oldname, newname, kind in diff_trees(old, new):
736
 
            if fs == 'R':
737
 
                show_status(fs, kind,
738
 
                            oldname + ' => ' + newname)
739
 
            elif fs == 'A' or fs == 'M':
740
 
                show_status(fs, kind, newname)
741
 
            elif fs == 'D':
742
 
                show_status(fs, kind, oldname)
743
 
            elif fs == '.':
744
 
                if show_all:
745
 
                    show_status(fs, kind, newname)
746
 
            elif fs == 'I':
747
 
                if show_all:
748
 
                    show_status(fs, kind, newname)
749
 
            elif fs == '?':
750
 
                show_status(fs, kind, newname)
751
 
            else:
752
 
                bailout("wierd file state %r" % ((fs, fid),))
753
 
                
 
1220
        cfn = self.controlfilename('pending-merges')
 
1221
        if not os.path.exists(cfn):
 
1222
            return []
 
1223
        p = []
 
1224
        for l in self.controlfile('pending-merges', 'r').readlines():
 
1225
            p.append(l.rstrip('\n'))
 
1226
        return p
 
1227
 
 
1228
 
 
1229
    def add_pending_merge(self, revision_id):
 
1230
        from bzrlib.revision import validate_revision_id
 
1231
 
 
1232
        validate_revision_id(revision_id)
 
1233
 
 
1234
        p = self.pending_merges()
 
1235
        if revision_id in p:
 
1236
            return
 
1237
        p.append(revision_id)
 
1238
        self.set_pending_merges(p)
 
1239
 
 
1240
 
 
1241
    def set_pending_merges(self, rev_list):
 
1242
        from bzrlib.atomicfile import AtomicFile
 
1243
        self.lock_write()
 
1244
        try:
 
1245
            f = AtomicFile(self.controlfilename('pending-merges'))
 
1246
            try:
 
1247
                for l in rev_list:
 
1248
                    print >>f, l
 
1249
                f.commit()
 
1250
            finally:
 
1251
                f.close()
 
1252
        finally:
 
1253
            self.unlock()
 
1254
 
754
1255
 
755
1256
 
756
1257
class ScratchBranch(Branch):
760
1261
    >>> isdir(b.base)
761
1262
    True
762
1263
    >>> bd = b.base
763
 
    >>> del b
 
1264
    >>> b.destroy()
764
1265
    >>> isdir(bd)
765
1266
    False
766
1267
    """
767
 
    def __init__(self, files = []):
 
1268
    def __init__(self, files=[], dirs=[], base=None):
768
1269
        """Make a test branch.
769
1270
 
770
1271
        This creates a temporary directory and runs init-tree in it.
771
1272
 
772
1273
        If any files are listed, they are created in the working copy.
773
1274
        """
774
 
        Branch.__init__(self, tempfile.mkdtemp(), init=True)
 
1275
        from tempfile import mkdtemp
 
1276
        init = False
 
1277
        if base is None:
 
1278
            base = mkdtemp()
 
1279
            init = True
 
1280
        Branch.__init__(self, base, init=init)
 
1281
        for d in dirs:
 
1282
            os.mkdir(self.abspath(d))
 
1283
            
775
1284
        for f in files:
776
1285
            file(os.path.join(self.base, f), 'w').write('content of %s' % f)
777
1286
 
778
1287
 
 
1288
    def clone(self):
 
1289
        """
 
1290
        >>> orig = ScratchBranch(files=["file1", "file2"])
 
1291
        >>> clone = orig.clone()
 
1292
        >>> os.path.samefile(orig.base, clone.base)
 
1293
        False
 
1294
        >>> os.path.isfile(os.path.join(clone.base, "file1"))
 
1295
        True
 
1296
        """
 
1297
        from shutil import copytree
 
1298
        from tempfile import mkdtemp
 
1299
        base = mkdtemp()
 
1300
        os.rmdir(base)
 
1301
        copytree(self.base, base, symlinks=True)
 
1302
        return ScratchBranch(base=base)
 
1303
        
779
1304
    def __del__(self):
 
1305
        self.destroy()
 
1306
 
 
1307
    def destroy(self):
780
1308
        """Destroy the test branch, removing the scratch directory."""
781
 
        shutil.rmtree(self.base)
 
1309
        from shutil import rmtree
 
1310
        try:
 
1311
            if self.base:
 
1312
                mutter("delete ScratchBranch %s" % self.base)
 
1313
                rmtree(self.base)
 
1314
        except OSError, e:
 
1315
            # Work around for shutil.rmtree failing on Windows when
 
1316
            # readonly files are encountered
 
1317
            mutter("hit exception in destroying ScratchBranch: %s" % e)
 
1318
            for root, dirs, files in os.walk(self.base, topdown=False):
 
1319
                for name in files:
 
1320
                    os.chmod(os.path.join(root, name), 0700)
 
1321
            rmtree(self.base)
 
1322
        self.base = None
782
1323
 
783
1324
    
784
1325
 
801
1342
 
802
1343
 
803
1344
 
804
 
def _gen_revision_id(when):
805
 
    """Return new revision-id."""
806
 
    s = '%s-%s-' % (user_email(), compact_date(when))
807
 
    s += hexlify(rand_bytes(8))
808
 
    return s
809
 
 
810
 
 
811
1345
def gen_file_id(name):
812
1346
    """Return new file id.
813
1347
 
814
1348
    This should probably generate proper UUIDs, but for the moment we
815
1349
    cope with just randomness because running uuidgen every time is
816
1350
    slow."""
 
1351
    import re
 
1352
    from binascii import hexlify
 
1353
    from time import time
 
1354
 
 
1355
    # get last component
817
1356
    idx = name.rfind('/')
818
1357
    if idx != -1:
819
1358
        name = name[idx+1 : ]
 
1359
    idx = name.rfind('\\')
 
1360
    if idx != -1:
 
1361
        name = name[idx+1 : ]
820
1362
 
 
1363
    # make it not a hidden file
821
1364
    name = name.lstrip('.')
822
1365
 
 
1366
    # remove any wierd characters; we don't escape them but rather
 
1367
    # just pull them out
 
1368
    name = re.sub(r'[^\w.]', '', name)
 
1369
 
823
1370
    s = hexlify(rand_bytes(8))
824
 
    return '-'.join((name, compact_date(time.time()), s))
825
 
 
 
1371
    return '-'.join((name, compact_date(time()), s))
 
1372
 
 
1373
 
 
1374
def gen_root_id():
 
1375
    """Return a new tree-root file id."""
 
1376
    return gen_file_id('TREE_ROOT')
826
1377