~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/branch.py

  • Committer: mbp at sourcefrog
  • Date: 2005-03-19 23:50:21 UTC
  • Revision ID: mbp@sourcefrog.net-20050319235021-a4a900883ea8e2d8
better notes on how to install

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Canonical Ltd
 
1
#! /usr/bin/env python
 
2
# -*- coding: UTF-8 -*-
2
3
 
3
4
# This program is free software; you can redistribute it and/or modify
4
5
# it under the terms of the GNU General Public License as published by
15
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
17
 
17
18
 
18
 
import sys, os
 
19
from sets import Set
 
20
 
 
21
import sys, os, os.path, random, time, sha, sets, types, re, shutil, tempfile
 
22
import traceback, socket, fnmatch, difflib, time
 
23
from binascii import hexlify
19
24
 
20
25
import bzrlib
21
 
from bzrlib.trace import mutter, note
22
 
from bzrlib.osutils import isdir, quotefn, compact_date, rand_bytes, splitpath, \
23
 
     sha_file, appendpath, file_kind
24
 
from bzrlib.errors import BzrError
 
26
from inventory import Inventory
 
27
from trace import mutter, note
 
28
from tree import Tree, EmptyTree, RevisionTree, WorkingTree
 
29
from inventory import InventoryEntry, Inventory
 
30
from osutils import isdir, quotefn, isfile, uuid, sha_file, username, chomp, \
 
31
     format_date, compact_date, pumpfile, user_email, rand_bytes, splitpath, \
 
32
     joinpath, sha_string, file_kind, local_time_offset
 
33
from store import ImmutableStore
 
34
from revision import Revision
 
35
from errors import bailout
 
36
from textui import show_status
 
37
from diff import diff_trees
25
38
 
26
39
BZR_BRANCH_FORMAT = "Bazaar-NG branch, format 0.0.4\n"
27
40
## TODO: Maybe include checks for common corruption of newlines, etc?
28
41
 
29
42
 
30
43
 
31
 
def find_branch(f, **args):
32
 
    if f and (f.startswith('http://') or f.startswith('https://')):
33
 
        import remotebranch 
34
 
        return remotebranch.RemoteBranch(f, **args)
35
 
    else:
36
 
        return Branch(f, **args)
37
 
 
38
 
 
39
 
def find_cached_branch(f, cache_root, **args):
40
 
    from remotebranch import RemoteBranch
41
 
    br = find_branch(f, **args)
42
 
    def cacheify(br, store_name):
43
 
        from meta_store import CachedStore
44
 
        cache_path = os.path.join(cache_root, store_name)
45
 
        os.mkdir(cache_path)
46
 
        new_store = CachedStore(getattr(br, store_name), cache_path)
47
 
        setattr(br, store_name, new_store)
48
 
 
49
 
    if isinstance(br, RemoteBranch):
50
 
        cacheify(br, 'inventory_store')
51
 
        cacheify(br, 'text_store')
52
 
        cacheify(br, 'revision_store')
53
 
    return br
54
 
 
55
 
 
56
 
def _relpath(base, path):
57
 
    """Return path relative to base, or raise exception.
58
 
 
59
 
    The path may be either an absolute path or a path relative to the
60
 
    current working directory.
61
 
 
62
 
    Lifted out of Branch.relpath for ease of testing.
63
 
 
64
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
65
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
66
 
    avoids that problem."""
67
 
    rp = os.path.abspath(path)
68
 
 
69
 
    s = []
70
 
    head = rp
71
 
    while len(head) >= len(base):
72
 
        if head == base:
73
 
            break
74
 
        head, tail = os.path.split(head)
75
 
        if tail:
76
 
            s.insert(0, tail)
77
 
    else:
78
 
        from errors import NotBranchError
79
 
        raise NotBranchError("path %r is not within branch %r" % (rp, base))
80
 
 
81
 
    return os.sep.join(s)
82
 
        
83
 
 
84
 
def find_branch_root(f=None):
85
 
    """Find the branch root enclosing f, or pwd.
86
 
 
87
 
    f may be a filename or a URL.
88
 
 
89
 
    It is not necessary that f exists.
90
 
 
91
 
    Basically we keep looking up until we find the control directory or
92
 
    run into the root."""
93
 
    if f == None:
94
 
        f = os.getcwd()
95
 
    elif hasattr(os.path, 'realpath'):
96
 
        f = os.path.realpath(f)
97
 
    else:
98
 
        f = os.path.abspath(f)
99
 
    if not os.path.exists(f):
100
 
        raise BzrError('%r does not exist' % f)
101
 
        
102
 
 
103
 
    orig_f = f
104
 
 
105
 
    while True:
106
 
        if os.path.exists(os.path.join(f, bzrlib.BZRDIR)):
107
 
            return f
108
 
        head, tail = os.path.split(f)
109
 
        if head == f:
110
 
            # reached the root, whatever that may be
111
 
            raise BzrError('%r is not in a branch' % orig_f)
112
 
        f = head
113
 
    
114
 
class DivergedBranches(Exception):
115
 
    def __init__(self, branch1, branch2):
116
 
        self.branch1 = branch1
117
 
        self.branch2 = branch2
118
 
        Exception.__init__(self, "These branches have diverged.")
119
 
 
120
 
 
121
 
class NoSuchRevision(BzrError):
122
 
    def __init__(self, branch, revision):
123
 
        self.branch = branch
124
 
        self.revision = revision
125
 
        msg = "Branch %s has no revision %d" % (branch, revision)
126
 
        BzrError.__init__(self, msg)
127
44
 
128
45
 
129
46
######################################################################
130
47
# branch objects
131
48
 
132
 
class Branch(object):
 
49
class Branch:
133
50
    """Branch holding a history of revisions.
134
51
 
135
 
    base
136
 
        Base directory of the branch.
137
 
 
138
 
    _lock_mode
139
 
        None, or 'r' or 'w'
140
 
 
141
 
    _lock_count
142
 
        If _lock_mode is true, a positive count of the number of times the
143
 
        lock has been taken.
144
 
 
145
 
    _lock
146
 
        Lock object from bzrlib.lock.
 
52
    :todo: Perhaps use different stores for different classes of object,
 
53
           so that we can keep track of how much space each one uses,
 
54
           or garbage-collect them.
 
55
 
 
56
    :todo: Add a RemoteBranch subclass.  For the basic case of read-only
 
57
           HTTP access this should be very easy by, 
 
58
           just redirecting controlfile access into HTTP requests.
 
59
           We would need a RemoteStore working similarly.
 
60
 
 
61
    :todo: Keep the on-disk branch locked while the object exists.
 
62
 
 
63
    :todo: mkdir() method.
147
64
    """
148
 
    base = None
149
 
    _lock_mode = None
150
 
    _lock_count = None
151
 
    _lock = None
152
 
    
153
 
    # Map some sort of prefix into a namespace
154
 
    # stuff like "revno:10", "revid:", etc.
155
 
    # This should match a prefix with a function which accepts
156
 
    REVISION_NAMESPACES = {}
157
 
 
158
 
    def __init__(self, base, init=False, find_root=True):
 
65
    def __init__(self, base, init=False):
159
66
        """Create new branch object at a particular location.
160
67
 
161
 
        base -- Base directory for the branch.
162
 
        
163
 
        init -- If True, create new control files in a previously
 
68
        :param base: Base directory for the branch.
 
69
 
 
70
        :param init: If True, create new control files in a previously
164
71
             unversioned directory.  If False, the branch must already
165
72
             be versioned.
166
73
 
167
 
        find_root -- If true and init is false, find the root of the
168
 
             existing branch containing base.
169
 
 
170
74
        In the test suite, creation of new trees is tested using the
171
75
        `ScratchBranch` class.
172
76
        """
173
 
        from bzrlib.store import ImmutableStore
 
77
        self.base = os.path.realpath(base)
174
78
        if init:
175
 
            self.base = os.path.realpath(base)
176
79
            self._make_control()
177
 
        elif find_root:
178
 
            self.base = find_branch_root(base)
179
80
        else:
180
 
            self.base = os.path.realpath(base)
181
81
            if not isdir(self.controlfilename('.')):
182
 
                from errors import NotBranchError
183
 
                raise NotBranchError("not a bzr branch: %s" % quotefn(base),
184
 
                                     ['use "bzr init" to initialize a new working tree',
185
 
                                      'current bzr can only operate from top-of-tree'])
186
 
        self._check_format()
 
82
                bailout("not a bzr branch: %s" % quotefn(base),
 
83
                        ['use "bzr init" to initialize a new working tree',
 
84
                         'current bzr can only operate from top-of-tree'])
 
85
            self._check_format()
187
86
 
188
87
        self.text_store = ImmutableStore(self.controlfilename('text-store'))
189
88
        self.revision_store = ImmutableStore(self.controlfilename('revision-store'))
197
96
    __repr__ = __str__
198
97
 
199
98
 
200
 
    def __del__(self):
201
 
        if self._lock_mode or self._lock:
202
 
            from warnings import warn
203
 
            warn("branch %r was not explicitly unlocked" % self)
204
 
            self._lock.unlock()
205
 
 
206
 
 
207
 
 
208
 
    def lock_write(self):
209
 
        if self._lock_mode:
210
 
            if self._lock_mode != 'w':
211
 
                from errors import LockError
212
 
                raise LockError("can't upgrade to a write lock from %r" %
213
 
                                self._lock_mode)
214
 
            self._lock_count += 1
215
 
        else:
216
 
            from bzrlib.lock import WriteLock
217
 
 
218
 
            self._lock = WriteLock(self.controlfilename('branch-lock'))
219
 
            self._lock_mode = 'w'
220
 
            self._lock_count = 1
221
 
 
222
 
 
223
 
 
224
 
    def lock_read(self):
225
 
        if self._lock_mode:
226
 
            assert self._lock_mode in ('r', 'w'), \
227
 
                   "invalid lock mode %r" % self._lock_mode
228
 
            self._lock_count += 1
229
 
        else:
230
 
            from bzrlib.lock import ReadLock
231
 
 
232
 
            self._lock = ReadLock(self.controlfilename('branch-lock'))
233
 
            self._lock_mode = 'r'
234
 
            self._lock_count = 1
235
 
                        
236
 
 
237
 
            
238
 
    def unlock(self):
239
 
        if not self._lock_mode:
240
 
            from errors import LockError
241
 
            raise LockError('branch %r is not locked' % (self))
242
 
 
243
 
        if self._lock_count > 1:
244
 
            self._lock_count -= 1
245
 
        else:
246
 
            self._lock.unlock()
247
 
            self._lock = None
248
 
            self._lock_mode = self._lock_count = None
249
 
 
250
 
 
251
 
    def abspath(self, name):
252
 
        """Return absolute filename for something in the branch"""
 
99
    def _rel(self, name):
 
100
        """Return filename relative to branch top"""
253
101
        return os.path.join(self.base, name)
254
 
 
255
 
 
256
 
    def relpath(self, path):
257
 
        """Return path relative to this branch of something inside it.
258
 
 
259
 
        Raises an error if path is not in this branch."""
260
 
        return _relpath(self.base, path)
261
 
 
 
102
        
262
103
 
263
104
    def controlfilename(self, file_or_path):
264
105
        """Return location relative to branch."""
265
 
        if isinstance(file_or_path, basestring):
 
106
        if isinstance(file_or_path, types.StringTypes):
266
107
            file_or_path = [file_or_path]
267
108
        return os.path.join(self.base, bzrlib.BZRDIR, *file_or_path)
268
109
 
269
110
 
270
111
    def controlfile(self, file_or_path, mode='r'):
271
 
        """Open a control file for this branch.
272
 
 
273
 
        There are two classes of file in the control directory: text
274
 
        and binary.  binary files are untranslated byte streams.  Text
275
 
        control files are stored with Unix newlines and in UTF-8, even
276
 
        if the platform or locale defaults are different.
277
 
 
278
 
        Controlfiles should almost never be opened in write mode but
279
 
        rather should be atomically copied and replaced using atomicfile.
280
 
        """
281
 
 
282
 
        fn = self.controlfilename(file_or_path)
283
 
 
284
 
        if mode == 'rb' or mode == 'wb':
285
 
            return file(fn, mode)
286
 
        elif mode == 'r' or mode == 'w':
287
 
            # open in binary mode anyhow so there's no newline translation;
288
 
            # codecs uses line buffering by default; don't want that.
289
 
            import codecs
290
 
            return codecs.open(fn, mode + 'b', 'utf-8',
291
 
                               buffering=60000)
292
 
        else:
293
 
            raise BzrError("invalid controlfile mode %r" % mode)
294
 
 
 
112
        """Open a control file for this branch"""
 
113
        return file(self.controlfilename(file_or_path), mode)
295
114
 
296
115
 
297
116
    def _make_control(self):
298
 
        from bzrlib.inventory import Inventory
299
 
        from bzrlib.xml import pack_xml
300
 
        
301
117
        os.mkdir(self.controlfilename([]))
302
118
        self.controlfile('README', 'w').write(
303
119
            "This is a Bazaar-NG control directory.\n"
304
 
            "Do not change any files in this directory.\n")
 
120
            "Do not change any files in this directory.")
305
121
        self.controlfile('branch-format', 'w').write(BZR_BRANCH_FORMAT)
306
122
        for d in ('text-store', 'inventory-store', 'revision-store'):
307
123
            os.mkdir(self.controlfilename(d))
308
124
        for f in ('revision-history', 'merged-patches',
309
 
                  'pending-merged-patches', 'branch-name',
310
 
                  'branch-lock',
311
 
                  'pending-merges'):
 
125
                  'pending-merged-patches', 'branch-name'):
312
126
            self.controlfile(f, 'w').write('')
313
127
        mutter('created control directory in ' + self.base)
314
 
 
315
 
        pack_xml(Inventory(gen_root_id()), self.controlfile('inventory','w'))
 
128
        Inventory().write_xml(self.controlfile('inventory','w'))
316
129
 
317
130
 
318
131
    def _check_format(self):
322
135
 
323
136
        In the future, we might need different in-memory Branch
324
137
        classes to support downlevel branches.  But not yet.
325
 
        """
326
 
        # This ignores newlines so that we can open branches created
327
 
        # on Windows from Linux and so on.  I think it might be better
328
 
        # to always make all internal files in unix format.
329
 
        fmt = self.controlfile('branch-format', 'r').read()
330
 
        fmt.replace('\r\n', '')
 
138
        """        
 
139
        # read in binary mode to detect newline wierdness.
 
140
        fmt = self.controlfile('branch-format', 'rb').read()
331
141
        if fmt != BZR_BRANCH_FORMAT:
332
 
            raise BzrError('sorry, branch format %r not supported' % fmt,
333
 
                           ['use a different bzr version',
334
 
                            'or remove the .bzr directory and "bzr init" again'])
335
 
 
336
 
    def get_root_id(self):
337
 
        """Return the id of this branches root"""
338
 
        inv = self.read_working_inventory()
339
 
        return inv.root.file_id
340
 
 
341
 
    def set_root_id(self, file_id):
342
 
        inv = self.read_working_inventory()
343
 
        orig_root_id = inv.root.file_id
344
 
        del inv._byid[inv.root.file_id]
345
 
        inv.root.file_id = file_id
346
 
        inv._byid[inv.root.file_id] = inv.root
347
 
        for fid in inv:
348
 
            entry = inv[fid]
349
 
            if entry.parent_id in (None, orig_root_id):
350
 
                entry.parent_id = inv.root.file_id
351
 
        self._write_inventory(inv)
 
142
            bailout('sorry, branch format %r not supported' % fmt,
 
143
                    ['use a different bzr version',
 
144
                     'or remove the .bzr directory and "bzr init" again'])
 
145
 
352
146
 
353
147
    def read_working_inventory(self):
354
148
        """Read the working inventory."""
355
 
        from bzrlib.inventory import Inventory
356
 
        from bzrlib.xml import unpack_xml
357
 
        from time import time
358
 
        before = time()
359
 
        self.lock_read()
360
 
        try:
361
 
            # ElementTree does its own conversion from UTF-8, so open in
362
 
            # binary.
363
 
            inv = unpack_xml(Inventory,
364
 
                                  self.controlfile('inventory', 'rb'))
365
 
            mutter("loaded inventory of %d items in %f"
366
 
                   % (len(inv), time() - before))
367
 
            return inv
368
 
        finally:
369
 
            self.unlock()
370
 
            
 
149
        before = time.time()
 
150
        inv = Inventory.read_xml(self.controlfile('inventory', 'r'))
 
151
        mutter("loaded inventory of %d items in %f"
 
152
               % (len(inv), time.time() - before))
 
153
        return inv
 
154
 
371
155
 
372
156
    def _write_inventory(self, inv):
373
157
        """Update the working inventory.
375
159
        That is to say, the inventory describing changes underway, that
376
160
        will be committed to the next revision.
377
161
        """
378
 
        from bzrlib.atomicfile import AtomicFile
379
 
        from bzrlib.xml import pack_xml
380
 
        
381
 
        self.lock_write()
382
 
        try:
383
 
            f = AtomicFile(self.controlfilename('inventory'), 'wb')
384
 
            try:
385
 
                pack_xml(inv, f)
386
 
                f.commit()
387
 
            finally:
388
 
                f.close()
389
 
        finally:
390
 
            self.unlock()
391
 
        
 
162
        ## TODO: factor out to atomicfile?  is rename safe on windows?
 
163
        tmpfname = self.controlfilename('inventory.tmp')
 
164
        tmpf = file(tmpfname, 'w')
 
165
        inv.write_xml(tmpf)
 
166
        tmpf.close()
 
167
        os.rename(tmpfname, self.controlfilename('inventory'))
392
168
        mutter('wrote working inventory')
393
 
            
 
169
 
394
170
 
395
171
    inventory = property(read_working_inventory, _write_inventory, None,
396
172
                         """Inventory for the working copy.""")
397
173
 
398
174
 
399
 
    def add(self, files, verbose=False, ids=None):
 
175
    def add(self, files, verbose=False):
400
176
        """Make files versioned.
401
177
 
402
 
        Note that the command line normally calls smart_add instead.
403
 
 
404
178
        This puts the files in the Added state, so that they will be
405
179
        recorded by the next commit.
406
180
 
407
 
        files
408
 
            List of paths to add, relative to the base of the tree.
409
 
 
410
 
        ids
411
 
            If set, use these instead of automatically generated ids.
412
 
            Must be the same length as the list of files, but may
413
 
            contain None for ids that are to be autogenerated.
414
 
 
415
 
        TODO: Perhaps have an option to add the ids even if the files do
416
 
              not (yet) exist.
417
 
 
418
 
        TODO: Perhaps return the ids of the files?  But then again it
419
 
              is easy to retrieve them if they're needed.
420
 
 
421
 
        TODO: Adding a directory should optionally recurse down and
422
 
              add all non-ignored children.  Perhaps do that in a
423
 
              higher-level method.
 
181
        :todo: Perhaps have an option to add the ids even if the files do
 
182
               not (yet) exist.
 
183
 
 
184
        :todo: Perhaps return the ids of the files?  But then again it
 
185
               is easy to retrieve them if they're needed.
 
186
 
 
187
        :todo: Option to specify file id.
 
188
 
 
189
        :todo: Adding a directory should optionally recurse down and
 
190
               add all non-ignored children.  Perhaps do that in a
 
191
               higher-level method.
 
192
 
 
193
        >>> b = ScratchBranch(files=['foo'])
 
194
        >>> 'foo' in b.unknowns()
 
195
        True
 
196
        >>> b.show_status()
 
197
        ?       foo
 
198
        >>> b.add('foo')
 
199
        >>> 'foo' in b.unknowns()
 
200
        False
 
201
        >>> bool(b.inventory.path2id('foo'))
 
202
        True
 
203
        >>> b.show_status()
 
204
        A       foo
 
205
 
 
206
        >>> b.add('foo')
 
207
        Traceback (most recent call last):
 
208
        ...
 
209
        BzrError: ('foo is already versioned', [])
 
210
 
 
211
        >>> b.add(['nothere'])
 
212
        Traceback (most recent call last):
 
213
        BzrError: ('cannot add: not a regular file or directory: nothere', [])
424
214
        """
425
 
        from bzrlib.textui import show_status
 
215
 
426
216
        # TODO: Re-adding a file that is removed in the working copy
427
217
        # should probably put it back with the previous ID.
428
 
        if isinstance(files, basestring):
429
 
            assert(ids is None or isinstance(ids, basestring))
 
218
        if isinstance(files, types.StringTypes):
430
219
            files = [files]
431
 
            if ids is not None:
432
 
                ids = [ids]
433
 
 
434
 
        if ids is None:
435
 
            ids = [None] * len(files)
436
 
        else:
437
 
            assert(len(ids) == len(files))
438
 
 
439
 
        self.lock_write()
440
 
        try:
441
 
            inv = self.read_working_inventory()
442
 
            for f,file_id in zip(files, ids):
443
 
                if is_control_file(f):
444
 
                    raise BzrError("cannot add control file %s" % quotefn(f))
445
 
 
446
 
                fp = splitpath(f)
447
 
 
448
 
                if len(fp) == 0:
449
 
                    raise BzrError("cannot add top-level %r" % f)
450
 
 
451
 
                fullpath = os.path.normpath(self.abspath(f))
452
 
 
453
 
                try:
454
 
                    kind = file_kind(fullpath)
455
 
                except OSError:
456
 
                    # maybe something better?
457
 
                    raise BzrError('cannot add: not a regular file or directory: %s' % quotefn(f))
458
 
 
459
 
                if kind != 'file' and kind != 'directory':
460
 
                    raise BzrError('cannot add: not a regular file or directory: %s' % quotefn(f))
461
 
 
462
 
                if file_id is None:
463
 
                    file_id = gen_file_id(f)
464
 
                inv.add_path(f, kind=kind, file_id=file_id)
465
 
 
466
 
                if verbose:
467
 
                    print 'added', quotefn(f)
468
 
 
469
 
                mutter("add file %s file_id:{%s} kind=%r" % (f, file_id, kind))
470
 
 
471
 
            self._write_inventory(inv)
472
 
        finally:
473
 
            self.unlock()
474
 
            
475
 
 
476
 
    def print_file(self, file, revno):
477
 
        """Print `file` to stdout."""
478
 
        self.lock_read()
479
 
        try:
480
 
            tree = self.revision_tree(self.lookup_revision(revno))
481
 
            # use inventory as it was in that revision
482
 
            file_id = tree.inventory.path2id(file)
483
 
            if not file_id:
484
 
                raise BzrError("%r is not present in revision %s" % (file, revno))
485
 
            tree.print_file(file_id)
486
 
        finally:
487
 
            self.unlock()
 
220
        
 
221
        inv = self.read_working_inventory()
 
222
        for f in files:
 
223
            if is_control_file(f):
 
224
                bailout("cannot add control file %s" % quotefn(f))
 
225
 
 
226
            fp = splitpath(f)
 
227
 
 
228
            if len(fp) == 0:
 
229
                bailout("cannot add top-level %r" % f)
 
230
                
 
231
            fullpath = os.path.normpath(self._rel(f))
 
232
 
 
233
            if isfile(fullpath):
 
234
                kind = 'file'
 
235
            elif isdir(fullpath):
 
236
                kind = 'directory'
 
237
            else:
 
238
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
 
239
 
 
240
            if len(fp) > 1:
 
241
                parent_name = joinpath(fp[:-1])
 
242
                mutter("lookup parent %r" % parent_name)
 
243
                parent_id = inv.path2id(parent_name)
 
244
                if parent_id == None:
 
245
                    bailout("cannot add: parent %r is not versioned"
 
246
                            % joinpath(fp[:-1]))
 
247
            else:
 
248
                parent_id = None
 
249
 
 
250
            file_id = _gen_file_id(fp[-1])
 
251
            inv.add(InventoryEntry(file_id, fp[-1], kind=kind, parent_id=parent_id))
 
252
            if verbose:
 
253
                show_status('A', kind, quotefn(f))
 
254
                
 
255
            mutter("add file %s file_id:{%s} kind=%r parent_id={%s}"
 
256
                   % (f, file_id, kind, parent_id))
 
257
        self._write_inventory(inv)
 
258
 
488
259
 
489
260
 
490
261
    def remove(self, files, verbose=False):
492
263
 
493
264
        This does not remove their text.  This does not run on 
494
265
 
495
 
        TODO: Refuse to remove modified files unless --force is given?
496
 
 
497
 
        TODO: Do something useful with directories.
498
 
 
499
 
        TODO: Should this remove the text or not?  Tough call; not
 
266
        :todo: Refuse to remove modified files unless --force is given?
 
267
 
 
268
        >>> b = ScratchBranch(files=['foo'])
 
269
        >>> b.add('foo')
 
270
        >>> b.inventory.has_filename('foo')
 
271
        True
 
272
        >>> b.remove('foo')
 
273
        >>> b.working_tree().has_filename('foo')
 
274
        True
 
275
        >>> b.inventory.has_filename('foo')
 
276
        False
 
277
        
 
278
        >>> b = ScratchBranch(files=['foo'])
 
279
        >>> b.add('foo')
 
280
        >>> b.commit('one')
 
281
        >>> b.remove('foo')
 
282
        >>> b.commit('two')
 
283
        >>> b.inventory.has_filename('foo') 
 
284
        False
 
285
        >>> b.basis_tree().has_filename('foo') 
 
286
        False
 
287
        >>> b.working_tree().has_filename('foo') 
 
288
        True
 
289
 
 
290
        :todo: Do something useful with directories.
 
291
 
 
292
        :todo: Should this remove the text or not?  Tough call; not
500
293
        removing may be useful and the user can just use use rm, and
501
294
        is the opposite of add.  Removing it is consistent with most
502
295
        other tools.  Maybe an option.
503
296
        """
504
 
        from bzrlib.textui import show_status
505
297
        ## TODO: Normalize names
506
298
        ## TODO: Remove nested loops; better scalability
507
 
        if isinstance(files, basestring):
 
299
 
 
300
        if isinstance(files, types.StringTypes):
508
301
            files = [files]
509
 
 
510
 
        self.lock_write()
511
 
 
512
 
        try:
513
 
            tree = self.working_tree()
514
 
            inv = tree.inventory
515
 
 
516
 
            # do this before any modifications
517
 
            for f in files:
518
 
                fid = inv.path2id(f)
519
 
                if not fid:
520
 
                    raise BzrError("cannot remove unversioned file %s" % quotefn(f))
521
 
                mutter("remove inventory entry %s {%s}" % (quotefn(f), fid))
522
 
                if verbose:
523
 
                    # having remove it, it must be either ignored or unknown
524
 
                    if tree.is_ignored(f):
525
 
                        new_status = 'I'
526
 
                    else:
527
 
                        new_status = '?'
528
 
                    show_status(new_status, inv[fid].kind, quotefn(f))
529
 
                del inv[fid]
530
 
 
531
 
            self._write_inventory(inv)
532
 
        finally:
533
 
            self.unlock()
534
 
 
535
 
 
536
 
    # FIXME: this doesn't need to be a branch method
537
 
    def set_inventory(self, new_inventory_list):
538
 
        from bzrlib.inventory import Inventory, InventoryEntry
539
 
        inv = Inventory(self.get_root_id())
540
 
        for path, file_id, parent, kind in new_inventory_list:
541
 
            name = os.path.basename(path)
542
 
            if name == "":
543
 
                continue
544
 
            inv.add(InventoryEntry(file_id, name, kind, parent))
 
302
        
 
303
        tree = self.working_tree()
 
304
        inv = tree.inventory
 
305
 
 
306
        # do this before any modifications
 
307
        for f in files:
 
308
            fid = inv.path2id(f)
 
309
            if not fid:
 
310
                bailout("cannot remove unversioned file %s" % quotefn(f))
 
311
            mutter("remove inventory entry %s {%s}" % (quotefn(f), fid))
 
312
            if verbose:
 
313
                # having remove it, it must be either ignored or unknown
 
314
                if tree.is_ignored(f):
 
315
                    new_status = 'I'
 
316
                else:
 
317
                    new_status = '?'
 
318
                show_status(new_status, inv[fid].kind, quotefn(f))
 
319
            del inv[fid]
 
320
 
545
321
        self._write_inventory(inv)
546
322
 
547
323
 
564
340
        return self.working_tree().unknowns()
565
341
 
566
342
 
567
 
    def append_revision(self, *revision_ids):
568
 
        from bzrlib.atomicfile import AtomicFile
569
 
 
570
 
        for revision_id in revision_ids:
571
 
            mutter("add {%s} to revision-history" % revision_id)
572
 
 
573
 
        rev_history = self.revision_history()
574
 
        rev_history.extend(revision_ids)
575
 
 
576
 
        f = AtomicFile(self.controlfilename('revision-history'))
577
 
        try:
578
 
            for rev_id in rev_history:
579
 
                print >>f, rev_id
580
 
            f.commit()
581
 
        finally:
582
 
            f.close()
 
343
    def commit(self, message, timestamp=None, timezone=None,
 
344
               committer=None,
 
345
               verbose=False):
 
346
        """Commit working copy as a new revision.
 
347
        
 
348
        The basic approach is to add all the file texts into the
 
349
        store, then the inventory, then make a new revision pointing
 
350
        to that inventory and store that.
 
351
        
 
352
        This is not quite safe if the working copy changes during the
 
353
        commit; for the moment that is simply not allowed.  A better
 
354
        approach is to make a temporary copy of the files before
 
355
        computing their hashes, and then add those hashes in turn to
 
356
        the inventory.  This should mean at least that there are no
 
357
        broken hash pointers.  There is no way we can get a snapshot
 
358
        of the whole directory at an instant.  This would also have to
 
359
        be robust against files disappearing, moving, etc.  So the
 
360
        whole thing is a bit hard.
 
361
 
 
362
        :param timestamp: if not None, seconds-since-epoch for a
 
363
             postdated/predated commit.
 
364
        """
 
365
 
 
366
        ## TODO: Show branch names
 
367
 
 
368
        # TODO: Don't commit if there are no changes, unless forced?
 
369
 
 
370
        # First walk over the working inventory; and both update that
 
371
        # and also build a new revision inventory.  The revision
 
372
        # inventory needs to hold the text-id, sha1 and size of the
 
373
        # actual file versions committed in the revision.  (These are
 
374
        # not present in the working inventory.)  We also need to
 
375
        # detect missing/deleted files, and remove them from the
 
376
        # working inventory.
 
377
 
 
378
        work_inv = self.read_working_inventory()
 
379
        inv = Inventory()
 
380
        basis = self.basis_tree()
 
381
        basis_inv = basis.inventory
 
382
        missing_ids = []
 
383
        for path, entry in work_inv.iter_entries():
 
384
            ## TODO: Cope with files that have gone missing.
 
385
 
 
386
            ## TODO: Check that the file kind has not changed from the previous
 
387
            ## revision of this file (if any).
 
388
 
 
389
            entry = entry.copy()
 
390
 
 
391
            p = self._rel(path)
 
392
            file_id = entry.file_id
 
393
            mutter('commit prep file %s, id %r ' % (p, file_id))
 
394
 
 
395
            if not os.path.exists(p):
 
396
                mutter("    file is missing, removing from inventory")
 
397
                if verbose:
 
398
                    show_status('D', entry.kind, quotefn(path))
 
399
                missing_ids.append(file_id)
 
400
                continue
 
401
 
 
402
            # TODO: Handle files that have been deleted
 
403
 
 
404
            # TODO: Maybe a special case for empty files?  Seems a
 
405
            # waste to store them many times.
 
406
 
 
407
            inv.add(entry)
 
408
 
 
409
            if basis_inv.has_id(file_id):
 
410
                old_kind = basis_inv[file_id].kind
 
411
                if old_kind != entry.kind:
 
412
                    bailout("entry %r changed kind from %r to %r"
 
413
                            % (file_id, old_kind, entry.kind))
 
414
 
 
415
            if entry.kind == 'directory':
 
416
                if not isdir(p):
 
417
                    bailout("%s is entered as directory but not a directory" % quotefn(p))
 
418
            elif entry.kind == 'file':
 
419
                if not isfile(p):
 
420
                    bailout("%s is entered as file but is not a file" % quotefn(p))
 
421
 
 
422
                content = file(p, 'rb').read()
 
423
 
 
424
                entry.text_sha1 = sha_string(content)
 
425
                entry.text_size = len(content)
 
426
 
 
427
                old_ie = basis_inv.has_id(file_id) and basis_inv[file_id]
 
428
                if (old_ie
 
429
                    and (old_ie.text_size == entry.text_size)
 
430
                    and (old_ie.text_sha1 == entry.text_sha1)):
 
431
                    ## assert content == basis.get_file(file_id).read()
 
432
                    entry.text_id = basis_inv[file_id].text_id
 
433
                    mutter('    unchanged from previous text_id {%s}' %
 
434
                           entry.text_id)
 
435
                    
 
436
                else:
 
437
                    entry.text_id = _gen_file_id(entry.name)
 
438
                    self.text_store.add(content, entry.text_id)
 
439
                    mutter('    stored with text_id {%s}' % entry.text_id)
 
440
                    if verbose:
 
441
                        if not old_ie:
 
442
                            state = 'A'
 
443
                        elif (old_ie.name == entry.name
 
444
                              and old_ie.parent_id == entry.parent_id):
 
445
                            state = 'R'
 
446
                        else:
 
447
                            state = 'M'
 
448
 
 
449
                        show_status(state, entry.kind, quotefn(path))
 
450
 
 
451
        for file_id in missing_ids:
 
452
            # have to do this later so we don't mess up the iterator.
 
453
            # since parents may be removed before their children we
 
454
            # have to test.
 
455
 
 
456
            # FIXME: There's probably a better way to do this; perhaps
 
457
            # the workingtree should know how to filter itself.
 
458
            if work_inv.has_id(file_id):
 
459
                del work_inv[file_id]
 
460
 
 
461
 
 
462
        inv_id = rev_id = _gen_revision_id(time.time())
 
463
        
 
464
        inv_tmp = tempfile.TemporaryFile()
 
465
        inv.write_xml(inv_tmp)
 
466
        inv_tmp.seek(0)
 
467
        self.inventory_store.add(inv_tmp, inv_id)
 
468
        mutter('new inventory_id is {%s}' % inv_id)
 
469
 
 
470
        self._write_inventory(work_inv)
 
471
 
 
472
        if timestamp == None:
 
473
            timestamp = time.time()
 
474
 
 
475
        if committer == None:
 
476
            committer = username()
 
477
 
 
478
        if timezone == None:
 
479
            timezone = local_time_offset()
 
480
 
 
481
        mutter("building commit log message")
 
482
        rev = Revision(timestamp=timestamp,
 
483
                       timezone=timezone,
 
484
                       committer=committer,
 
485
                       precursor = self.last_patch(),
 
486
                       message = message,
 
487
                       inventory_id=inv_id,
 
488
                       revision_id=rev_id)
 
489
 
 
490
        rev_tmp = tempfile.TemporaryFile()
 
491
        rev.write_xml(rev_tmp)
 
492
        rev_tmp.seek(0)
 
493
        self.revision_store.add(rev_tmp, rev_id)
 
494
        mutter("new revision_id is {%s}" % rev_id)
 
495
        
 
496
        ## XXX: Everything up to here can simply be orphaned if we abort
 
497
        ## the commit; it will leave junk files behind but that doesn't
 
498
        ## matter.
 
499
 
 
500
        ## TODO: Read back the just-generated changeset, and make sure it
 
501
        ## applies and recreates the right state.
 
502
 
 
503
        ## TODO: Also calculate and store the inventory SHA1
 
504
        mutter("committing patch r%d" % (self.revno() + 1))
 
505
 
 
506
        mutter("append to revision-history")
 
507
        self.controlfile('revision-history', 'at').write(rev_id + '\n')
 
508
 
 
509
        mutter("done!")
583
510
 
584
511
 
585
512
    def get_revision(self, revision_id):
586
513
        """Return the Revision object for a named revision"""
587
 
        from bzrlib.revision import Revision
588
 
        from bzrlib.xml import unpack_xml
589
 
 
590
 
        self.lock_read()
591
 
        try:
592
 
            if not revision_id or not isinstance(revision_id, basestring):
593
 
                raise ValueError('invalid revision-id: %r' % revision_id)
594
 
            r = unpack_xml(Revision, self.revision_store[revision_id])
595
 
        finally:
596
 
            self.unlock()
597
 
            
 
514
        r = Revision.read_xml(self.revision_store[revision_id])
598
515
        assert r.revision_id == revision_id
599
516
        return r
600
 
        
601
 
 
602
 
    def get_revision_sha1(self, revision_id):
603
 
        """Hash the stored value of a revision, and return it."""
604
 
        # In the future, revision entries will be signed. At that
605
 
        # point, it is probably best *not* to include the signature
606
 
        # in the revision hash. Because that lets you re-sign
607
 
        # the revision, (add signatures/remove signatures) and still
608
 
        # have all hash pointers stay consistent.
609
 
        # But for now, just hash the contents.
610
 
        return sha_file(self.revision_store[revision_id])
611
517
 
612
518
 
613
519
    def get_inventory(self, inventory_id):
614
520
        """Get Inventory object by hash.
615
521
 
616
 
        TODO: Perhaps for this and similar methods, take a revision
 
522
        :todo: Perhaps for this and similar methods, take a revision
617
523
               parameter which can be either an integer revno or a
618
524
               string hash."""
619
 
        from bzrlib.inventory import Inventory
620
 
        from bzrlib.xml import unpack_xml
621
 
 
622
 
        return unpack_xml(Inventory, self.inventory_store[inventory_id])
623
 
            
624
 
 
625
 
    def get_inventory_sha1(self, inventory_id):
626
 
        """Return the sha1 hash of the inventory entry
627
 
        """
628
 
        return sha_file(self.inventory_store[inventory_id])
 
525
        i = Inventory.read_xml(self.inventory_store[inventory_id])
 
526
        return i
629
527
 
630
528
 
631
529
    def get_revision_inventory(self, revision_id):
632
530
        """Return inventory of a past revision."""
633
 
        # bzr 0.0.6 imposes the constraint that the inventory_id
634
 
        # must be the same as its revision, so this is trivial.
635
531
        if revision_id == None:
636
 
            from bzrlib.inventory import Inventory
637
 
            return Inventory(self.get_root_id())
 
532
            return Inventory()
638
533
        else:
639
 
            return self.get_inventory(revision_id)
 
534
            return self.get_inventory(self.get_revision(revision_id).inventory_id)
640
535
 
641
536
 
642
537
    def revision_history(self):
645
540
        >>> ScratchBranch().revision_history()
646
541
        []
647
542
        """
648
 
        self.lock_read()
649
 
        try:
650
 
            return [l.rstrip('\r\n') for l in
651
 
                    self.controlfile('revision-history', 'r').readlines()]
652
 
        finally:
653
 
            self.unlock()
654
 
 
655
 
 
656
 
    def common_ancestor(self, other, self_revno=None, other_revno=None):
657
 
        """
658
 
        >>> import commit
659
 
        >>> sb = ScratchBranch(files=['foo', 'foo~'])
660
 
        >>> sb.common_ancestor(sb) == (None, None)
661
 
        True
662
 
        >>> commit.commit(sb, "Committing first revision", verbose=False)
663
 
        >>> sb.common_ancestor(sb)[0]
664
 
        1
665
 
        >>> clone = sb.clone()
666
 
        >>> commit.commit(sb, "Committing second revision", verbose=False)
667
 
        >>> sb.common_ancestor(sb)[0]
668
 
        2
669
 
        >>> sb.common_ancestor(clone)[0]
670
 
        1
671
 
        >>> commit.commit(clone, "Committing divergent second revision", 
672
 
        ...               verbose=False)
673
 
        >>> sb.common_ancestor(clone)[0]
674
 
        1
675
 
        >>> sb.common_ancestor(clone) == clone.common_ancestor(sb)
676
 
        True
677
 
        >>> sb.common_ancestor(sb) != clone.common_ancestor(clone)
678
 
        True
679
 
        >>> clone2 = sb.clone()
680
 
        >>> sb.common_ancestor(clone2)[0]
681
 
        2
682
 
        >>> sb.common_ancestor(clone2, self_revno=1)[0]
683
 
        1
684
 
        >>> sb.common_ancestor(clone2, other_revno=1)[0]
685
 
        1
686
 
        """
687
 
        my_history = self.revision_history()
688
 
        other_history = other.revision_history()
689
 
        if self_revno is None:
690
 
            self_revno = len(my_history)
691
 
        if other_revno is None:
692
 
            other_revno = len(other_history)
693
 
        indices = range(min((self_revno, other_revno)))
694
 
        indices.reverse()
695
 
        for r in indices:
696
 
            if my_history[r] == other_history[r]:
697
 
                return r+1, my_history[r]
698
 
        return None, None
699
 
 
700
 
    def enum_history(self, direction):
701
 
        """Return (revno, revision_id) for history of branch.
702
 
 
703
 
        direction
704
 
            'forward' is from earliest to latest
705
 
            'reverse' is from latest to earliest
706
 
        """
707
 
        rh = self.revision_history()
708
 
        if direction == 'forward':
709
 
            i = 1
710
 
            for rid in rh:
711
 
                yield i, rid
712
 
                i += 1
713
 
        elif direction == 'reverse':
714
 
            i = len(rh)
715
 
            while i > 0:
716
 
                yield i, rh[i-1]
717
 
                i -= 1
718
 
        else:
719
 
            raise ValueError('invalid history direction', direction)
 
543
        return [chomp(l) for l in self.controlfile('revision-history').readlines()]
720
544
 
721
545
 
722
546
    def revno(self):
724
548
 
725
549
        That is equivalent to the number of revisions committed to
726
550
        this branch.
 
551
 
 
552
        >>> b = ScratchBranch()
 
553
        >>> b.revno()
 
554
        0
 
555
        >>> b.commit('no foo')
 
556
        >>> b.revno()
 
557
        1
727
558
        """
728
559
        return len(self.revision_history())
729
560
 
730
561
 
731
562
    def last_patch(self):
732
563
        """Return last patch hash, or None if no history.
 
564
 
 
565
        >>> ScratchBranch().last_patch() == None
 
566
        True
733
567
        """
734
568
        ph = self.revision_history()
735
569
        if ph:
736
570
            return ph[-1]
737
 
        else:
738
 
            return None
739
 
 
740
 
 
741
 
    def missing_revisions(self, other, stop_revision=None):
742
 
        """
743
 
        If self and other have not diverged, return a list of the revisions
744
 
        present in other, but missing from self.
745
 
 
746
 
        >>> from bzrlib.commit import commit
747
 
        >>> bzrlib.trace.silent = True
748
 
        >>> br1 = ScratchBranch()
749
 
        >>> br2 = ScratchBranch()
750
 
        >>> br1.missing_revisions(br2)
751
 
        []
752
 
        >>> commit(br2, "lala!", rev_id="REVISION-ID-1")
753
 
        >>> br1.missing_revisions(br2)
754
 
        [u'REVISION-ID-1']
755
 
        >>> br2.missing_revisions(br1)
756
 
        []
757
 
        >>> commit(br1, "lala!", rev_id="REVISION-ID-1")
758
 
        >>> br1.missing_revisions(br2)
759
 
        []
760
 
        >>> commit(br2, "lala!", rev_id="REVISION-ID-2A")
761
 
        >>> br1.missing_revisions(br2)
762
 
        [u'REVISION-ID-2A']
763
 
        >>> commit(br1, "lala!", rev_id="REVISION-ID-2B")
764
 
        >>> br1.missing_revisions(br2)
765
 
        Traceback (most recent call last):
766
 
        DivergedBranches: These branches have diverged.
767
 
        """
768
 
        self_history = self.revision_history()
769
 
        self_len = len(self_history)
770
 
        other_history = other.revision_history()
771
 
        other_len = len(other_history)
772
 
        common_index = min(self_len, other_len) -1
773
 
        if common_index >= 0 and \
774
 
            self_history[common_index] != other_history[common_index]:
775
 
            raise DivergedBranches(self, other)
776
 
 
777
 
        if stop_revision is None:
778
 
            stop_revision = other_len
779
 
        elif stop_revision > other_len:
780
 
            raise NoSuchRevision(self, stop_revision)
781
 
        
782
 
        return other_history[self_len:stop_revision]
783
 
 
784
 
 
785
 
    def update_revisions(self, other, stop_revision=None):
786
 
        """Pull in all new revisions from other branch.
787
 
        
788
 
        >>> from bzrlib.commit import commit
789
 
        >>> bzrlib.trace.silent = True
790
 
        >>> br1 = ScratchBranch(files=['foo', 'bar'])
791
 
        >>> br1.add('foo')
792
 
        >>> br1.add('bar')
793
 
        >>> commit(br1, "lala!", rev_id="REVISION-ID-1", verbose=False)
794
 
        >>> br2 = ScratchBranch()
795
 
        >>> br2.update_revisions(br1)
796
 
        Added 2 texts.
797
 
        Added 1 inventories.
798
 
        Added 1 revisions.
799
 
        >>> br2.revision_history()
800
 
        [u'REVISION-ID-1']
801
 
        >>> br2.update_revisions(br1)
802
 
        Added 0 texts.
803
 
        Added 0 inventories.
804
 
        Added 0 revisions.
805
 
        >>> br1.text_store.total_size() == br2.text_store.total_size()
806
 
        True
807
 
        """
808
 
        from bzrlib.progress import ProgressBar
809
 
        try:
810
 
            set
811
 
        except NameError:
812
 
            from sets import Set as set
813
 
 
814
 
        pb = ProgressBar()
815
 
 
816
 
        pb.update('comparing histories')
817
 
        revision_ids = self.missing_revisions(other, stop_revision)
818
 
 
819
 
        if hasattr(other.revision_store, "prefetch"):
820
 
            other.revision_store.prefetch(revision_ids)
821
 
        if hasattr(other.inventory_store, "prefetch"):
822
 
            inventory_ids = [other.get_revision(r).inventory_id
823
 
                             for r in revision_ids]
824
 
            other.inventory_store.prefetch(inventory_ids)
825
 
                
826
 
        revisions = []
827
 
        needed_texts = set()
828
 
        i = 0
829
 
        for rev_id in revision_ids:
830
 
            i += 1
831
 
            pb.update('fetching revision', i, len(revision_ids))
832
 
            rev = other.get_revision(rev_id)
833
 
            revisions.append(rev)
834
 
            inv = other.get_inventory(str(rev.inventory_id))
835
 
            for key, entry in inv.iter_entries():
836
 
                if entry.text_id is None:
837
 
                    continue
838
 
                if entry.text_id not in self.text_store:
839
 
                    needed_texts.add(entry.text_id)
840
 
 
841
 
        pb.clear()
842
 
                    
843
 
        count = self.text_store.copy_multi(other.text_store, needed_texts)
844
 
        print "Added %d texts." % count 
845
 
        inventory_ids = [ f.inventory_id for f in revisions ]
846
 
        count = self.inventory_store.copy_multi(other.inventory_store, 
847
 
                                                inventory_ids)
848
 
        print "Added %d inventories." % count 
849
 
        revision_ids = [ f.revision_id for f in revisions]
850
 
        count = self.revision_store.copy_multi(other.revision_store, 
851
 
                                               revision_ids)
852
 
        for revision_id in revision_ids:
853
 
            self.append_revision(revision_id)
854
 
        print "Added %d revisions." % count
855
 
                    
856
 
        
857
 
    def commit(self, *args, **kw):
858
 
        from bzrlib.commit import commit
859
 
        commit(self, *args, **kw)
860
 
        
861
 
 
862
 
    def lookup_revision(self, revision):
863
 
        """Return the revision identifier for a given revision information."""
864
 
        revno, info = self.get_revision_info(revision)
865
 
        return info
866
 
 
867
 
    def get_revision_info(self, revision):
868
 
        """Return (revno, revision id) for revision identifier.
869
 
 
870
 
        revision can be an integer, in which case it is assumed to be revno (though
871
 
            this will translate negative values into positive ones)
872
 
        revision can also be a string, in which case it is parsed for something like
873
 
            'date:' or 'revid:' etc.
874
 
        """
875
 
        if revision is None:
876
 
            return 0, None
877
 
        revno = None
878
 
        try:# Convert to int if possible
879
 
            revision = int(revision)
880
 
        except ValueError:
881
 
            pass
882
 
        revs = self.revision_history()
883
 
        if isinstance(revision, int):
884
 
            if revision == 0:
885
 
                return 0, None
886
 
            # Mabye we should do this first, but we don't need it if revision == 0
887
 
            if revision < 0:
888
 
                revno = len(revs) + revision + 1
889
 
            else:
890
 
                revno = revision
891
 
        elif isinstance(revision, basestring):
892
 
            for prefix, func in Branch.REVISION_NAMESPACES.iteritems():
893
 
                if revision.startswith(prefix):
894
 
                    revno = func(self, revs, revision)
895
 
                    break
896
 
            else:
897
 
                raise BzrError('No namespace registered for string: %r' % revision)
898
 
 
899
 
        if revno is None or revno <= 0 or revno > len(revs):
900
 
            raise BzrError("no such revision %s" % revision)
901
 
        return revno, revs[revno-1]
902
 
 
903
 
    def _namespace_revno(self, revs, revision):
904
 
        """Lookup a revision by revision number"""
905
 
        assert revision.startswith('revno:')
906
 
        try:
907
 
            return int(revision[6:])
908
 
        except ValueError:
909
 
            return None
910
 
    REVISION_NAMESPACES['revno:'] = _namespace_revno
911
 
 
912
 
    def _namespace_revid(self, revs, revision):
913
 
        assert revision.startswith('revid:')
914
 
        try:
915
 
            return revs.index(revision[6:]) + 1
916
 
        except ValueError:
917
 
            return None
918
 
    REVISION_NAMESPACES['revid:'] = _namespace_revid
919
 
 
920
 
    def _namespace_last(self, revs, revision):
921
 
        assert revision.startswith('last:')
922
 
        try:
923
 
            offset = int(revision[5:])
924
 
        except ValueError:
925
 
            return None
926
 
        else:
927
 
            if offset <= 0:
928
 
                raise BzrError('You must supply a positive value for --revision last:XXX')
929
 
            return len(revs) - offset + 1
930
 
    REVISION_NAMESPACES['last:'] = _namespace_last
931
 
 
932
 
    def _namespace_tag(self, revs, revision):
933
 
        assert revision.startswith('tag:')
934
 
        raise BzrError('tag: namespace registered, but not implemented.')
935
 
    REVISION_NAMESPACES['tag:'] = _namespace_tag
936
 
 
937
 
    def _namespace_date(self, revs, revision):
938
 
        assert revision.startswith('date:')
939
 
        import datetime
940
 
        # Spec for date revisions:
941
 
        #   date:value
942
 
        #   value can be 'yesterday', 'today', 'tomorrow' or a YYYY-MM-DD string.
943
 
        #   it can also start with a '+/-/='. '+' says match the first
944
 
        #   entry after the given date. '-' is match the first entry before the date
945
 
        #   '=' is match the first entry after, but still on the given date.
946
 
        #
947
 
        #   +2005-05-12 says find the first matching entry after May 12th, 2005 at 0:00
948
 
        #   -2005-05-12 says find the first matching entry before May 12th, 2005 at 0:00
949
 
        #   =2005-05-12 says find the first match after May 12th, 2005 at 0:00 but before
950
 
        #       May 13th, 2005 at 0:00
951
 
        #
952
 
        #   So the proper way of saying 'give me all entries for today' is:
953
 
        #       -r {date:+today}:{date:-tomorrow}
954
 
        #   The default is '=' when not supplied
955
 
        val = revision[5:]
956
 
        match_style = '='
957
 
        if val[:1] in ('+', '-', '='):
958
 
            match_style = val[:1]
959
 
            val = val[1:]
960
 
 
961
 
        today = datetime.datetime.today().replace(hour=0,minute=0,second=0,microsecond=0)
962
 
        if val.lower() == 'yesterday':
963
 
            dt = today - datetime.timedelta(days=1)
964
 
        elif val.lower() == 'today':
965
 
            dt = today
966
 
        elif val.lower() == 'tomorrow':
967
 
            dt = today + datetime.timedelta(days=1)
968
 
        else:
969
 
            import re
970
 
            # This should be done outside the function to avoid recompiling it.
971
 
            _date_re = re.compile(
972
 
                    r'(?P<date>(?P<year>\d\d\d\d)-(?P<month>\d\d)-(?P<day>\d\d))?'
973
 
                    r'(,|T)?\s*'
974
 
                    r'(?P<time>(?P<hour>\d\d):(?P<minute>\d\d)(:(?P<second>\d\d))?)?'
975
 
                )
976
 
            m = _date_re.match(val)
977
 
            if not m or (not m.group('date') and not m.group('time')):
978
 
                raise BzrError('Invalid revision date %r' % revision)
979
 
 
980
 
            if m.group('date'):
981
 
                year, month, day = int(m.group('year')), int(m.group('month')), int(m.group('day'))
982
 
            else:
983
 
                year, month, day = today.year, today.month, today.day
984
 
            if m.group('time'):
985
 
                hour = int(m.group('hour'))
986
 
                minute = int(m.group('minute'))
987
 
                if m.group('second'):
988
 
                    second = int(m.group('second'))
989
 
                else:
990
 
                    second = 0
991
 
            else:
992
 
                hour, minute, second = 0,0,0
993
 
 
994
 
            dt = datetime.datetime(year=year, month=month, day=day,
995
 
                    hour=hour, minute=minute, second=second)
996
 
        first = dt
997
 
        last = None
998
 
        reversed = False
999
 
        if match_style == '-':
1000
 
            reversed = True
1001
 
        elif match_style == '=':
1002
 
            last = dt + datetime.timedelta(days=1)
1003
 
 
1004
 
        if reversed:
1005
 
            for i in range(len(revs)-1, -1, -1):
1006
 
                r = self.get_revision(revs[i])
1007
 
                # TODO: Handle timezone.
1008
 
                dt = datetime.datetime.fromtimestamp(r.timestamp)
1009
 
                if first >= dt and (last is None or dt >= last):
1010
 
                    return i+1
1011
 
        else:
1012
 
            for i in range(len(revs)):
1013
 
                r = self.get_revision(revs[i])
1014
 
                # TODO: Handle timezone.
1015
 
                dt = datetime.datetime.fromtimestamp(r.timestamp)
1016
 
                if first <= dt and (last is None or dt <= last):
1017
 
                    return i+1
1018
 
    REVISION_NAMESPACES['date:'] = _namespace_date
 
571
 
 
572
 
 
573
    def lookup_revision(self, revno):
 
574
        """Return revision hash for revision number."""
 
575
        if revno == 0:
 
576
            return None
 
577
 
 
578
        try:
 
579
            # list is 0-based; revisions are 1-based
 
580
            return self.revision_history()[revno-1]
 
581
        except IndexError:
 
582
            bailout("no such revision %s" % revno)
 
583
 
1019
584
 
1020
585
    def revision_tree(self, revision_id):
1021
586
        """Return Tree for a revision on this branch.
1022
587
 
1023
588
        `revision_id` may be None for the null revision, in which case
1024
589
        an `EmptyTree` is returned."""
1025
 
        from bzrlib.tree import EmptyTree, RevisionTree
1026
 
        # TODO: refactor this to use an existing revision object
1027
 
        # so we don't need to read it in twice.
 
590
 
1028
591
        if revision_id == None:
1029
 
            return EmptyTree(self.get_root_id())
 
592
            return EmptyTree()
1030
593
        else:
1031
594
            inv = self.get_revision_inventory(revision_id)
1032
595
            return RevisionTree(self.text_store, inv)
1034
597
 
1035
598
    def working_tree(self):
1036
599
        """Return a `Tree` for the working copy."""
1037
 
        from workingtree import WorkingTree
1038
600
        return WorkingTree(self.base, self.read_working_inventory())
1039
601
 
1040
602
 
1042
604
        """Return `Tree` object for last revision.
1043
605
 
1044
606
        If there are no revisions yet, return an `EmptyTree`.
 
607
 
 
608
        >>> b = ScratchBranch(files=['foo'])
 
609
        >>> b.basis_tree().has_filename('foo')
 
610
        False
 
611
        >>> b.working_tree().has_filename('foo')
 
612
        True
 
613
        >>> b.add('foo')
 
614
        >>> b.commit('add foo')
 
615
        >>> b.basis_tree().has_filename('foo')
 
616
        True
1045
617
        """
1046
 
        from bzrlib.tree import EmptyTree, RevisionTree
1047
618
        r = self.last_patch()
1048
619
        if r == None:
1049
 
            return EmptyTree(self.get_root_id())
 
620
            return EmptyTree()
1050
621
        else:
1051
622
            return RevisionTree(self.text_store, self.get_revision_inventory(r))
1052
623
 
1053
624
 
1054
625
 
1055
 
    def rename_one(self, from_rel, to_rel):
1056
 
        """Rename one file.
1057
 
 
1058
 
        This can change the directory or the filename or both.
1059
 
        """
1060
 
        self.lock_write()
1061
 
        try:
1062
 
            tree = self.working_tree()
1063
 
            inv = tree.inventory
1064
 
            if not tree.has_filename(from_rel):
1065
 
                raise BzrError("can't rename: old working file %r does not exist" % from_rel)
1066
 
            if tree.has_filename(to_rel):
1067
 
                raise BzrError("can't rename: new working file %r already exists" % to_rel)
1068
 
 
1069
 
            file_id = inv.path2id(from_rel)
1070
 
            if file_id == None:
1071
 
                raise BzrError("can't rename: old name %r is not versioned" % from_rel)
1072
 
 
1073
 
            if inv.path2id(to_rel):
1074
 
                raise BzrError("can't rename: new name %r is already versioned" % to_rel)
1075
 
 
1076
 
            to_dir, to_tail = os.path.split(to_rel)
1077
 
            to_dir_id = inv.path2id(to_dir)
1078
 
            if to_dir_id == None and to_dir != '':
1079
 
                raise BzrError("can't determine destination directory id for %r" % to_dir)
1080
 
 
1081
 
            mutter("rename_one:")
1082
 
            mutter("  file_id    {%s}" % file_id)
1083
 
            mutter("  from_rel   %r" % from_rel)
1084
 
            mutter("  to_rel     %r" % to_rel)
1085
 
            mutter("  to_dir     %r" % to_dir)
1086
 
            mutter("  to_dir_id  {%s}" % to_dir_id)
1087
 
 
1088
 
            inv.rename(file_id, to_dir_id, to_tail)
1089
 
 
1090
 
            print "%s => %s" % (from_rel, to_rel)
1091
 
 
1092
 
            from_abs = self.abspath(from_rel)
1093
 
            to_abs = self.abspath(to_rel)
1094
 
            try:
1095
 
                os.rename(from_abs, to_abs)
1096
 
            except OSError, e:
1097
 
                raise BzrError("failed to rename %r to %r: %s"
1098
 
                        % (from_abs, to_abs, e[1]),
1099
 
                        ["rename rolled back"])
1100
 
 
1101
 
            self._write_inventory(inv)
1102
 
        finally:
1103
 
            self.unlock()
1104
 
 
1105
 
 
1106
 
    def move(self, from_paths, to_name):
1107
 
        """Rename files.
1108
 
 
1109
 
        to_name must exist as a versioned directory.
1110
 
 
1111
 
        If to_name exists and is a directory, the files are moved into
1112
 
        it, keeping their old names.  If it is a directory, 
1113
 
 
1114
 
        Note that to_name is only the last component of the new name;
1115
 
        this doesn't change the directory.
1116
 
        """
1117
 
        self.lock_write()
1118
 
        try:
1119
 
            ## TODO: Option to move IDs only
1120
 
            assert not isinstance(from_paths, basestring)
1121
 
            tree = self.working_tree()
1122
 
            inv = tree.inventory
1123
 
            to_abs = self.abspath(to_name)
1124
 
            if not isdir(to_abs):
1125
 
                raise BzrError("destination %r is not a directory" % to_abs)
1126
 
            if not tree.has_filename(to_name):
1127
 
                raise BzrError("destination %r not in working directory" % to_abs)
1128
 
            to_dir_id = inv.path2id(to_name)
1129
 
            if to_dir_id == None and to_name != '':
1130
 
                raise BzrError("destination %r is not a versioned directory" % to_name)
1131
 
            to_dir_ie = inv[to_dir_id]
1132
 
            if to_dir_ie.kind not in ('directory', 'root_directory'):
1133
 
                raise BzrError("destination %r is not a directory" % to_abs)
1134
 
 
1135
 
            to_idpath = inv.get_idpath(to_dir_id)
1136
 
 
1137
 
            for f in from_paths:
1138
 
                if not tree.has_filename(f):
1139
 
                    raise BzrError("%r does not exist in working tree" % f)
1140
 
                f_id = inv.path2id(f)
1141
 
                if f_id == None:
1142
 
                    raise BzrError("%r is not versioned" % f)
1143
 
                name_tail = splitpath(f)[-1]
1144
 
                dest_path = appendpath(to_name, name_tail)
1145
 
                if tree.has_filename(dest_path):
1146
 
                    raise BzrError("destination %r already exists" % dest_path)
1147
 
                if f_id in to_idpath:
1148
 
                    raise BzrError("can't move %r to a subdirectory of itself" % f)
1149
 
 
1150
 
            # OK, so there's a race here, it's possible that someone will
1151
 
            # create a file in this interval and then the rename might be
1152
 
            # left half-done.  But we should have caught most problems.
1153
 
 
1154
 
            for f in from_paths:
1155
 
                name_tail = splitpath(f)[-1]
1156
 
                dest_path = appendpath(to_name, name_tail)
1157
 
                print "%s => %s" % (f, dest_path)
1158
 
                inv.rename(inv.path2id(f), to_dir_id, name_tail)
1159
 
                try:
1160
 
                    os.rename(self.abspath(f), self.abspath(dest_path))
1161
 
                except OSError, e:
1162
 
                    raise BzrError("failed to rename %r to %r: %s" % (f, dest_path, e[1]),
1163
 
                            ["rename rolled back"])
1164
 
 
1165
 
            self._write_inventory(inv)
1166
 
        finally:
1167
 
            self.unlock()
1168
 
 
1169
 
 
1170
 
    def revert(self, filenames, old_tree=None, backups=True):
1171
 
        """Restore selected files to the versions from a previous tree.
1172
 
 
1173
 
        backups
1174
 
            If true (default) backups are made of files before
1175
 
            they're renamed.
1176
 
        """
1177
 
        from bzrlib.errors import NotVersionedError, BzrError
1178
 
        from bzrlib.atomicfile import AtomicFile
1179
 
        from bzrlib.osutils import backup_file
 
626
    def write_log(self, show_timezone='original'):
 
627
        """Write out human-readable log of commits to this branch
 
628
 
 
629
        :param utc: If true, show dates in universal time, not local time."""
 
630
        ## TODO: Option to choose either original, utc or local timezone
 
631
        revno = 1
 
632
        precursor = None
 
633
        for p in self.revision_history():
 
634
            print '-' * 40
 
635
            print 'revno:', revno
 
636
            ## TODO: Show hash if --id is given.
 
637
            ##print 'revision-hash:', p
 
638
            rev = self.get_revision(p)
 
639
            print 'committer:', rev.committer
 
640
            print 'timestamp: %s' % (format_date(rev.timestamp, rev.timezone or 0,
 
641
                                                 show_timezone))
 
642
 
 
643
            ## opportunistic consistency check, same as check_patch_chaining
 
644
            if rev.precursor != precursor:
 
645
                bailout("mismatched precursor!")
 
646
 
 
647
            print 'message:'
 
648
            if not rev.message:
 
649
                print '  (no message)'
 
650
            else:
 
651
                for l in rev.message.split('\n'):
 
652
                    print '  ' + l
 
653
 
 
654
            revno += 1
 
655
            precursor = p
 
656
 
 
657
 
 
658
 
 
659
    def show_status(branch, show_all=False):
 
660
        """Display single-line status for non-ignored working files.
 
661
 
 
662
        The list is show sorted in order by file name.
 
663
 
 
664
        >>> b = ScratchBranch(files=['foo', 'foo~'])
 
665
        >>> b.show_status()
 
666
        ?       foo
 
667
        >>> b.add('foo')
 
668
        >>> b.show_status()
 
669
        A       foo
 
670
        >>> b.commit("add foo")
 
671
        >>> b.show_status()
 
672
        >>> os.unlink(b._rel('foo'))
 
673
        >>> b.show_status()
 
674
        D       foo
1180
675
        
1181
 
        inv = self.read_working_inventory()
1182
 
        if old_tree is None:
1183
 
            old_tree = self.basis_tree()
1184
 
        old_inv = old_tree.inventory
1185
 
 
1186
 
        nids = []
1187
 
        for fn in filenames:
1188
 
            file_id = inv.path2id(fn)
1189
 
            if not file_id:
1190
 
                raise NotVersionedError("not a versioned file", fn)
1191
 
            if not old_inv.has_id(file_id):
1192
 
                raise BzrError("file not present in old tree", fn, file_id)
1193
 
            nids.append((fn, file_id))
1194
 
            
1195
 
        # TODO: Rename back if it was previously at a different location
1196
 
 
1197
 
        # TODO: If given a directory, restore the entire contents from
1198
 
        # the previous version.
1199
 
 
1200
 
        # TODO: Make a backup to a temporary file.
1201
 
 
1202
 
        # TODO: If the file previously didn't exist, delete it?
1203
 
        for fn, file_id in nids:
1204
 
            backup_file(fn)
1205
 
            
1206
 
            f = AtomicFile(fn, 'wb')
1207
 
            try:
1208
 
                f.write(old_tree.get_file(file_id).read())
1209
 
                f.commit()
1210
 
            finally:
1211
 
                f.close()
1212
 
 
1213
 
 
1214
 
    def pending_merges(self):
1215
 
        """Return a list of pending merges.
1216
 
 
1217
 
        These are revisions that have been merged into the working
1218
 
        directory but not yet committed.
 
676
 
 
677
        :todo: Get state for single files.
 
678
 
 
679
        :todo: Perhaps show a slash at the end of directory names.        
 
680
 
1219
681
        """
1220
 
        cfn = self.controlfilename('pending-merges')
1221
 
        if not os.path.exists(cfn):
1222
 
            return []
1223
 
        p = []
1224
 
        for l in self.controlfile('pending-merges', 'r').readlines():
1225
 
            p.append(l.rstrip('\n'))
1226
 
        return p
1227
 
 
1228
 
 
1229
 
    def add_pending_merge(self, revision_id):
1230
 
        from bzrlib.revision import validate_revision_id
1231
 
 
1232
 
        validate_revision_id(revision_id)
1233
 
 
1234
 
        p = self.pending_merges()
1235
 
        if revision_id in p:
1236
 
            return
1237
 
        p.append(revision_id)
1238
 
        self.set_pending_merges(p)
1239
 
 
1240
 
 
1241
 
    def set_pending_merges(self, rev_list):
1242
 
        from bzrlib.atomicfile import AtomicFile
1243
 
        self.lock_write()
1244
 
        try:
1245
 
            f = AtomicFile(self.controlfilename('pending-merges'))
1246
 
            try:
1247
 
                for l in rev_list:
1248
 
                    print >>f, l
1249
 
                f.commit()
1250
 
            finally:
1251
 
                f.close()
1252
 
        finally:
1253
 
            self.unlock()
1254
 
 
 
682
 
 
683
        # We have to build everything into a list first so that it can
 
684
        # sorted by name, incorporating all the different sources.
 
685
 
 
686
        # FIXME: Rather than getting things in random order and then sorting,
 
687
        # just step through in order.
 
688
 
 
689
        # Interesting case: the old ID for a file has been removed,
 
690
        # but a new file has been created under that name.
 
691
 
 
692
        old = branch.basis_tree()
 
693
        old_inv = old.inventory
 
694
        new = branch.working_tree()
 
695
        new_inv = new.inventory
 
696
 
 
697
        for fs, fid, oldname, newname, kind in diff_trees(old, new):
 
698
            if fs == 'R':
 
699
                show_status(fs, kind,
 
700
                            oldname + ' => ' + newname)
 
701
            elif fs == 'A' or fs == 'M':
 
702
                show_status(fs, kind, newname)
 
703
            elif fs == 'D':
 
704
                show_status(fs, kind, oldname)
 
705
            elif fs == '.':
 
706
                if show_all:
 
707
                    show_status(fs, kind, newname)
 
708
            elif fs == 'I':
 
709
                if show_all:
 
710
                    show_status(fs, kind, newname)
 
711
            elif fs == '?':
 
712
                show_status(fs, kind, newname)
 
713
            else:
 
714
                bailout("wierd file state %r" % ((fs, fid),))
 
715
                
1255
716
 
1256
717
 
1257
718
class ScratchBranch(Branch):
1261
722
    >>> isdir(b.base)
1262
723
    True
1263
724
    >>> bd = b.base
1264
 
    >>> b.destroy()
 
725
    >>> del b
1265
726
    >>> isdir(bd)
1266
727
    False
1267
728
    """
1268
 
    def __init__(self, files=[], dirs=[], base=None):
 
729
    def __init__(self, files = []):
1269
730
        """Make a test branch.
1270
731
 
1271
732
        This creates a temporary directory and runs init-tree in it.
1272
733
 
1273
734
        If any files are listed, they are created in the working copy.
1274
735
        """
1275
 
        from tempfile import mkdtemp
1276
 
        init = False
1277
 
        if base is None:
1278
 
            base = mkdtemp()
1279
 
            init = True
1280
 
        Branch.__init__(self, base, init=init)
1281
 
        for d in dirs:
1282
 
            os.mkdir(self.abspath(d))
1283
 
            
 
736
        Branch.__init__(self, tempfile.mkdtemp(), init=True)
1284
737
        for f in files:
1285
738
            file(os.path.join(self.base, f), 'w').write('content of %s' % f)
1286
739
 
1287
740
 
1288
 
    def clone(self):
1289
 
        """
1290
 
        >>> orig = ScratchBranch(files=["file1", "file2"])
1291
 
        >>> clone = orig.clone()
1292
 
        >>> os.path.samefile(orig.base, clone.base)
1293
 
        False
1294
 
        >>> os.path.isfile(os.path.join(clone.base, "file1"))
1295
 
        True
1296
 
        """
1297
 
        from shutil import copytree
1298
 
        from tempfile import mkdtemp
1299
 
        base = mkdtemp()
1300
 
        os.rmdir(base)
1301
 
        copytree(self.base, base, symlinks=True)
1302
 
        return ScratchBranch(base=base)
1303
 
        
1304
741
    def __del__(self):
1305
 
        self.destroy()
1306
 
 
1307
 
    def destroy(self):
1308
742
        """Destroy the test branch, removing the scratch directory."""
1309
 
        from shutil import rmtree
1310
 
        try:
1311
 
            if self.base:
1312
 
                mutter("delete ScratchBranch %s" % self.base)
1313
 
                rmtree(self.base)
1314
 
        except OSError, e:
1315
 
            # Work around for shutil.rmtree failing on Windows when
1316
 
            # readonly files are encountered
1317
 
            mutter("hit exception in destroying ScratchBranch: %s" % e)
1318
 
            for root, dirs, files in os.walk(self.base, topdown=False):
1319
 
                for name in files:
1320
 
                    os.chmod(os.path.join(root, name), 0700)
1321
 
            rmtree(self.base)
1322
 
        self.base = None
 
743
        shutil.rmtree(self.base)
1323
744
 
1324
745
    
1325
746
 
1335
756
        ## mutter('check %r for control file' % ((head, tail), ))
1336
757
        if tail == bzrlib.BZRDIR:
1337
758
            return True
1338
 
        if filename == head:
1339
 
            break
1340
759
        filename = head
1341
760
    return False
1342
761
 
1343
762
 
1344
763
 
1345
 
def gen_file_id(name):
 
764
def _gen_revision_id(when):
 
765
    """Return new revision-id."""
 
766
    s = '%s-%s-' % (user_email(), compact_date(when))
 
767
    s += hexlify(rand_bytes(8))
 
768
    return s
 
769
 
 
770
 
 
771
def _gen_file_id(name):
1346
772
    """Return new file id.
1347
773
 
1348
774
    This should probably generate proper UUIDs, but for the moment we
1349
775
    cope with just randomness because running uuidgen every time is
1350
776
    slow."""
1351
 
    import re
1352
 
    from binascii import hexlify
1353
 
    from time import time
1354
 
 
1355
 
    # get last component
1356
 
    idx = name.rfind('/')
1357
 
    if idx != -1:
1358
 
        name = name[idx+1 : ]
1359
 
    idx = name.rfind('\\')
1360
 
    if idx != -1:
1361
 
        name = name[idx+1 : ]
1362
 
 
1363
 
    # make it not a hidden file
1364
 
    name = name.lstrip('.')
1365
 
 
1366
 
    # remove any wierd characters; we don't escape them but rather
1367
 
    # just pull them out
1368
 
    name = re.sub(r'[^\w.]', '', name)
1369
 
 
 
777
    assert '/' not in name
 
778
    while name[0] == '.':
 
779
        name = name[1:]
1370
780
    s = hexlify(rand_bytes(8))
1371
 
    return '-'.join((name, compact_date(time()), s))
1372
 
 
1373
 
 
1374
 
def gen_root_id():
1375
 
    """Return a new tree-root file id."""
1376
 
    return gen_file_id('TREE_ROOT')
 
781
    return '-'.join((name, compact_date(time.time()), s))
 
782
 
1377
783