~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/branch.py

  • Committer: Martin Pool
  • Date: 2005-03-14 04:46:36 UTC
  • Revision ID: mbp@sourcefrog.net-20050314044636-6e0d35912aaecee0
show fqdn in tracefile header

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Canonical Ltd
 
1
#! /usr/bin/env python
 
2
# -*- coding: UTF-8 -*-
2
3
 
3
4
# This program is free software; you can redistribute it and/or modify
4
5
# it under the terms of the GNU General Public License as published by
15
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
17
 
17
18
 
 
19
from sets import Set
 
20
 
18
21
import sys, os, os.path, random, time, sha, sets, types, re, shutil, tempfile
19
22
import traceback, socket, fnmatch, difflib, time
20
23
from binascii import hexlify
22
25
import bzrlib
23
26
from inventory import Inventory
24
27
from trace import mutter, note
25
 
from tree import Tree, EmptyTree, RevisionTree
 
28
from tree import Tree, EmptyTree, RevisionTree, WorkingTree
26
29
from inventory import InventoryEntry, Inventory
27
 
from osutils import isdir, quotefn, isfile, uuid, sha_file, username, \
 
30
from osutils import isdir, quotefn, isfile, uuid, sha_file, username, chomp, \
28
31
     format_date, compact_date, pumpfile, user_email, rand_bytes, splitpath, \
29
 
     joinpath, sha_string, file_kind, local_time_offset, appendpath
 
32
     joinpath, sha_string, file_kind, local_time_offset
30
33
from store import ImmutableStore
31
34
from revision import Revision
32
 
from errors import bailout, BzrError
 
35
from errors import bailout
33
36
from textui import show_status
 
37
from diff import diff_trees
34
38
 
35
39
BZR_BRANCH_FORMAT = "Bazaar-NG branch, format 0.0.4\n"
36
40
## TODO: Maybe include checks for common corruption of newlines, etc?
37
41
 
38
42
 
39
43
 
40
 
def find_branch(f, **args):
41
 
    if f and (f.startswith('http://') or f.startswith('https://')):
42
 
        import remotebranch 
43
 
        return remotebranch.RemoteBranch(f, **args)
44
 
    else:
45
 
        return Branch(f, **args)
46
 
        
47
 
 
48
 
def find_branch_root(f=None):
49
 
    """Find the branch root enclosing f, or pwd.
50
 
 
51
 
    f may be a filename or a URL.
52
 
 
53
 
    It is not necessary that f exists.
54
 
 
55
 
    Basically we keep looking up until we find the control directory or
56
 
    run into the root."""
57
 
    if f == None:
58
 
        f = os.getcwd()
59
 
    elif hasattr(os.path, 'realpath'):
60
 
        f = os.path.realpath(f)
61
 
    else:
62
 
        f = os.path.abspath(f)
63
 
    if not os.path.exists(f):
64
 
        raise BzrError('%r does not exist' % f)
65
 
        
66
 
 
67
 
    orig_f = f
68
 
 
69
 
    while True:
70
 
        if os.path.exists(os.path.join(f, bzrlib.BZRDIR)):
71
 
            return f
72
 
        head, tail = os.path.split(f)
73
 
        if head == f:
74
 
            # reached the root, whatever that may be
75
 
            raise BzrError('%r is not in a branch' % orig_f)
76
 
        f = head
77
 
    
78
44
 
79
45
 
80
46
######################################################################
81
47
# branch objects
82
48
 
83
 
class Branch(object):
 
49
class Branch:
84
50
    """Branch holding a history of revisions.
85
51
 
86
 
    base
87
 
        Base directory of the branch.
 
52
    :todo: Perhaps use different stores for different classes of object,
 
53
           so that we can keep track of how much space each one uses,
 
54
           or garbage-collect them.
 
55
 
 
56
    :todo: Add a RemoteBranch subclass.  For the basic case of read-only
 
57
           HTTP access this should be very easy by, 
 
58
           just redirecting controlfile access into HTTP requests.
 
59
           We would need a RemoteStore working similarly.
 
60
 
 
61
    :todo: Keep the on-disk branch locked while the object exists.
 
62
 
 
63
    :todo: mkdir() method.
88
64
    """
89
 
    _lockmode = None
90
 
    
91
 
    def __init__(self, base, init=False, find_root=True, lock_mode='w'):
 
65
    def __init__(self, base, init=False):
92
66
        """Create new branch object at a particular location.
93
67
 
94
 
        base -- Base directory for the branch.
95
 
        
96
 
        init -- If True, create new control files in a previously
 
68
        :param base: Base directory for the branch.
 
69
 
 
70
        :param init: If True, create new control files in a previously
97
71
             unversioned directory.  If False, the branch must already
98
72
             be versioned.
99
73
 
100
 
        find_root -- If true and init is false, find the root of the
101
 
             existing branch containing base.
102
 
 
103
74
        In the test suite, creation of new trees is tested using the
104
75
        `ScratchBranch` class.
105
76
        """
 
77
        self.base = os.path.realpath(base)
106
78
        if init:
107
 
            self.base = os.path.realpath(base)
108
79
            self._make_control()
109
 
        elif find_root:
110
 
            self.base = find_branch_root(base)
111
80
        else:
112
 
            self.base = os.path.realpath(base)
113
81
            if not isdir(self.controlfilename('.')):
114
82
                bailout("not a bzr branch: %s" % quotefn(base),
115
83
                        ['use "bzr init" to initialize a new working tree',
116
84
                         'current bzr can only operate from top-of-tree'])
117
 
        self._check_format()
118
 
        self.lock(lock_mode)
 
85
            self._check_format()
119
86
 
120
87
        self.text_store = ImmutableStore(self.controlfilename('text-store'))
121
88
        self.revision_store = ImmutableStore(self.controlfilename('revision-store'))
129
96
    __repr__ = __str__
130
97
 
131
98
 
132
 
 
133
 
    def lock(self, mode='w'):
134
 
        """Lock the on-disk branch, excluding other processes."""
135
 
        try:
136
 
            import fcntl, errno
137
 
 
138
 
            if mode == 'w':
139
 
                lm = fcntl.LOCK_EX
140
 
                om = os.O_WRONLY | os.O_CREAT
141
 
            elif mode == 'r':
142
 
                lm = fcntl.LOCK_SH
143
 
                om = os.O_RDONLY
144
 
            else:
145
 
                raise BzrError("invalid locking mode %r" % mode)
146
 
 
147
 
            try:
148
 
                lockfile = os.open(self.controlfilename('branch-lock'), om)
149
 
            except OSError, e:
150
 
                if e.errno == errno.ENOENT:
151
 
                    # might not exist on branches from <0.0.4
152
 
                    self.controlfile('branch-lock', 'w').close()
153
 
                    lockfile = os.open(self.controlfilename('branch-lock'), om)
154
 
                else:
155
 
                    raise e
156
 
            
157
 
            fcntl.lockf(lockfile, lm)
158
 
            def unlock():
159
 
                fcntl.lockf(lockfile, fcntl.LOCK_UN)
160
 
                os.close(lockfile)
161
 
                self._lockmode = None
162
 
            self.unlock = unlock
163
 
            self._lockmode = mode
164
 
        except ImportError:
165
 
            warning("please write a locking method for platform %r" % sys.platform)
166
 
            def unlock():
167
 
                self._lockmode = None
168
 
            self.unlock = unlock
169
 
            self._lockmode = mode
170
 
 
171
 
 
172
 
    def _need_readlock(self):
173
 
        if self._lockmode not in ['r', 'w']:
174
 
            raise BzrError('need read lock on branch, only have %r' % self._lockmode)
175
 
 
176
 
    def _need_writelock(self):
177
 
        if self._lockmode not in ['w']:
178
 
            raise BzrError('need write lock on branch, only have %r' % self._lockmode)
179
 
 
180
 
 
181
 
    def abspath(self, name):
182
 
        """Return absolute filename for something in the branch"""
 
99
    def _rel(self, name):
 
100
        """Return filename relative to branch top"""
183
101
        return os.path.join(self.base, name)
184
 
 
185
 
 
186
 
    def relpath(self, path):
187
 
        """Return path relative to this branch of something inside it.
188
 
 
189
 
        Raises an error if path is not in this branch."""
190
 
        rp = os.path.realpath(path)
191
 
        # FIXME: windows
192
 
        if not rp.startswith(self.base):
193
 
            bailout("path %r is not within branch %r" % (rp, self.base))
194
 
        rp = rp[len(self.base):]
195
 
        rp = rp.lstrip(os.sep)
196
 
        return rp
197
 
 
 
102
        
198
103
 
199
104
    def controlfilename(self, file_or_path):
200
105
        """Return location relative to branch."""
204
109
 
205
110
 
206
111
    def controlfile(self, file_or_path, mode='r'):
207
 
        """Open a control file for this branch.
208
 
 
209
 
        There are two classes of file in the control directory: text
210
 
        and binary.  binary files are untranslated byte streams.  Text
211
 
        control files are stored with Unix newlines and in UTF-8, even
212
 
        if the platform or locale defaults are different.
213
 
 
214
 
        Controlfiles should almost never be opened in write mode but
215
 
        rather should be atomically copied and replaced using atomicfile.
216
 
        """
217
 
 
218
 
        fn = self.controlfilename(file_or_path)
219
 
 
220
 
        if mode == 'rb' or mode == 'wb':
221
 
            return file(fn, mode)
222
 
        elif mode == 'r' or mode == 'w':
223
 
            # open in binary mode anyhow so there's no newline translation;
224
 
            # codecs uses line buffering by default; don't want that.
225
 
            import codecs
226
 
            return codecs.open(fn, mode + 'b', 'utf-8',
227
 
                               buffering=60000)
228
 
        else:
229
 
            raise BzrError("invalid controlfile mode %r" % mode)
230
 
 
 
112
        """Open a control file for this branch"""
 
113
        return file(self.controlfilename(file_or_path), mode)
231
114
 
232
115
 
233
116
    def _make_control(self):
239
122
        for d in ('text-store', 'inventory-store', 'revision-store'):
240
123
            os.mkdir(self.controlfilename(d))
241
124
        for f in ('revision-history', 'merged-patches',
242
 
                  'pending-merged-patches', 'branch-name',
243
 
                  'branch-lock'):
 
125
                  'pending-merged-patches', 'branch-name'):
244
126
            self.controlfile(f, 'w').write('')
245
127
        mutter('created control directory in ' + self.base)
246
128
        Inventory().write_xml(self.controlfile('inventory','w'))
253
135
 
254
136
        In the future, we might need different in-memory Branch
255
137
        classes to support downlevel branches.  But not yet.
256
 
        """
257
 
        # This ignores newlines so that we can open branches created
258
 
        # on Windows from Linux and so on.  I think it might be better
259
 
        # to always make all internal files in unix format.
260
 
        fmt = self.controlfile('branch-format', 'r').read()
261
 
        fmt.replace('\r\n', '')
 
138
        """        
 
139
        # read in binary mode to detect newline wierdness.
 
140
        fmt = self.controlfile('branch-format', 'rb').read()
262
141
        if fmt != BZR_BRANCH_FORMAT:
263
142
            bailout('sorry, branch format %r not supported' % fmt,
264
143
                    ['use a different bzr version',
267
146
 
268
147
    def read_working_inventory(self):
269
148
        """Read the working inventory."""
270
 
        self._need_readlock()
271
149
        before = time.time()
272
 
        # ElementTree does its own conversion from UTF-8, so open in
273
 
        # binary.
274
 
        inv = Inventory.read_xml(self.controlfile('inventory', 'rb'))
 
150
        inv = Inventory.read_xml(self.controlfile('inventory', 'r'))
275
151
        mutter("loaded inventory of %d items in %f"
276
152
               % (len(inv), time.time() - before))
277
153
        return inv
283
159
        That is to say, the inventory describing changes underway, that
284
160
        will be committed to the next revision.
285
161
        """
286
 
        self._need_writelock()
287
162
        ## TODO: factor out to atomicfile?  is rename safe on windows?
288
 
        ## TODO: Maybe some kind of clean/dirty marker on inventory?
289
163
        tmpfname = self.controlfilename('inventory.tmp')
290
 
        tmpf = file(tmpfname, 'wb')
 
164
        tmpf = file(tmpfname, 'w')
291
165
        inv.write_xml(tmpf)
292
166
        tmpf.close()
293
 
        inv_fname = self.controlfilename('inventory')
294
 
        if sys.platform == 'win32':
295
 
            os.remove(inv_fname)
296
 
        os.rename(tmpfname, inv_fname)
 
167
        os.rename(tmpfname, self.controlfilename('inventory'))
297
168
        mutter('wrote working inventory')
298
169
 
299
170
 
301
172
                         """Inventory for the working copy.""")
302
173
 
303
174
 
304
 
    def add(self, files, verbose=False, ids=None):
 
175
    def add(self, files, verbose=False):
305
176
        """Make files versioned.
306
177
 
307
 
        Note that the command line normally calls smart_add instead.
308
 
 
309
178
        This puts the files in the Added state, so that they will be
310
179
        recorded by the next commit.
311
180
 
312
 
        TODO: Perhaps have an option to add the ids even if the files do
 
181
        :todo: Perhaps have an option to add the ids even if the files do
313
182
               not (yet) exist.
314
183
 
315
 
        TODO: Perhaps return the ids of the files?  But then again it
 
184
        :todo: Perhaps return the ids of the files?  But then again it
316
185
               is easy to retrieve them if they're needed.
317
186
 
318
 
        TODO: Option to specify file id.
 
187
        :todo: Option to specify file id.
319
188
 
320
 
        TODO: Adding a directory should optionally recurse down and
 
189
        :todo: Adding a directory should optionally recurse down and
321
190
               add all non-ignored children.  Perhaps do that in a
322
191
               higher-level method.
 
192
 
 
193
        >>> b = ScratchBranch(files=['foo'])
 
194
        >>> 'foo' in b.unknowns()
 
195
        True
 
196
        >>> b.show_status()
 
197
        ?       foo
 
198
        >>> b.add('foo')
 
199
        >>> 'foo' in b.unknowns()
 
200
        False
 
201
        >>> bool(b.inventory.path2id('foo'))
 
202
        True
 
203
        >>> b.show_status()
 
204
        A       foo
 
205
 
 
206
        >>> b.add('foo')
 
207
        Traceback (most recent call last):
 
208
        ...
 
209
        BzrError: ('foo is already versioned', [])
 
210
 
 
211
        >>> b.add(['nothere'])
 
212
        Traceback (most recent call last):
 
213
        BzrError: ('cannot add: not a regular file or directory: nothere', [])
323
214
        """
324
 
        self._need_writelock()
325
215
 
326
216
        # TODO: Re-adding a file that is removed in the working copy
327
217
        # should probably put it back with the previous ID.
328
218
        if isinstance(files, types.StringTypes):
329
 
            assert(ids is None or isinstance(ids, types.StringTypes))
330
219
            files = [files]
331
 
            if ids is not None:
332
 
                ids = [ids]
333
 
 
334
 
        if ids is None:
335
 
            ids = [None] * len(files)
336
 
        else:
337
 
            assert(len(ids) == len(files))
338
220
        
339
221
        inv = self.read_working_inventory()
340
 
        for f,file_id in zip(files, ids):
 
222
        for f in files:
341
223
            if is_control_file(f):
342
224
                bailout("cannot add control file %s" % quotefn(f))
343
225
 
346
228
            if len(fp) == 0:
347
229
                bailout("cannot add top-level %r" % f)
348
230
                
349
 
            fullpath = os.path.normpath(self.abspath(f))
350
 
 
351
 
            try:
352
 
                kind = file_kind(fullpath)
353
 
            except OSError:
354
 
                # maybe something better?
355
 
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
356
 
            
357
 
            if kind != 'file' and kind != 'directory':
358
 
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
359
 
 
360
 
            if file_id is None:
361
 
                file_id = gen_file_id(f)
362
 
            inv.add_path(f, kind=kind, file_id=file_id)
363
 
 
 
231
            fullpath = os.path.normpath(self._rel(f))
 
232
 
 
233
            if isfile(fullpath):
 
234
                kind = 'file'
 
235
            elif isdir(fullpath):
 
236
                kind = 'directory'
 
237
            else:
 
238
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
 
239
 
 
240
            if len(fp) > 1:
 
241
                parent_name = joinpath(fp[:-1])
 
242
                mutter("lookup parent %r" % parent_name)
 
243
                parent_id = inv.path2id(parent_name)
 
244
                if parent_id == None:
 
245
                    bailout("cannot add: parent %r is not versioned"
 
246
                            % joinpath(fp[:-1]))
 
247
            else:
 
248
                parent_id = None
 
249
 
 
250
            file_id = _gen_file_id(fp[-1])
 
251
            inv.add(InventoryEntry(file_id, fp[-1], kind=kind, parent_id=parent_id))
364
252
            if verbose:
365
253
                show_status('A', kind, quotefn(f))
366
254
                
367
 
            mutter("add file %s file_id:{%s} kind=%r" % (f, file_id, kind))
368
 
            
 
255
            mutter("add file %s file_id:{%s} kind=%r parent_id={%s}"
 
256
                   % (f, file_id, kind, parent_id))
369
257
        self._write_inventory(inv)
370
258
 
371
259
 
372
 
    def print_file(self, file, revno):
373
 
        """Print `file` to stdout."""
374
 
        self._need_readlock()
375
 
        tree = self.revision_tree(self.lookup_revision(revno))
376
 
        # use inventory as it was in that revision
377
 
        file_id = tree.inventory.path2id(file)
378
 
        if not file_id:
379
 
            bailout("%r is not present in revision %d" % (file, revno))
380
 
        tree.print_file(file_id)
381
 
        
382
260
 
383
261
    def remove(self, files, verbose=False):
384
262
        """Mark nominated files for removal from the inventory.
385
263
 
386
264
        This does not remove their text.  This does not run on 
387
265
 
388
 
        TODO: Refuse to remove modified files unless --force is given?
389
 
 
390
 
        TODO: Do something useful with directories.
391
 
 
392
 
        TODO: Should this remove the text or not?  Tough call; not
 
266
        :todo: Refuse to remove modified files unless --force is given?
 
267
 
 
268
        >>> b = ScratchBranch(files=['foo'])
 
269
        >>> b.add('foo')
 
270
        >>> b.inventory.has_filename('foo')
 
271
        True
 
272
        >>> b.remove('foo')
 
273
        >>> b.working_tree().has_filename('foo')
 
274
        True
 
275
        >>> b.inventory.has_filename('foo')
 
276
        False
 
277
        
 
278
        >>> b = ScratchBranch(files=['foo'])
 
279
        >>> b.add('foo')
 
280
        >>> b.commit('one')
 
281
        >>> b.remove('foo')
 
282
        >>> b.commit('two')
 
283
        >>> b.inventory.has_filename('foo') 
 
284
        False
 
285
        >>> b.basis_tree().has_filename('foo') 
 
286
        False
 
287
        >>> b.working_tree().has_filename('foo') 
 
288
        True
 
289
 
 
290
        :todo: Do something useful with directories.
 
291
 
 
292
        :todo: Should this remove the text or not?  Tough call; not
393
293
        removing may be useful and the user can just use use rm, and
394
294
        is the opposite of add.  Removing it is consistent with most
395
295
        other tools.  Maybe an option.
396
296
        """
397
297
        ## TODO: Normalize names
398
298
        ## TODO: Remove nested loops; better scalability
399
 
        self._need_writelock()
400
299
 
401
300
        if isinstance(files, types.StringTypes):
402
301
            files = [files]
421
320
 
422
321
        self._write_inventory(inv)
423
322
 
424
 
    def set_inventory(self, new_inventory_list):
425
 
        inv = Inventory()
426
 
        for path, file_id, parent, kind in new_inventory_list:
427
 
            name = os.path.basename(path)
428
 
            if name == "":
429
 
                continue
430
 
            inv.add(InventoryEntry(file_id, name, kind, parent))
431
 
        self._write_inventory(inv)
432
 
 
433
323
 
434
324
    def unknowns(self):
435
325
        """Return all unknown files.
450
340
        return self.working_tree().unknowns()
451
341
 
452
342
 
453
 
    def append_revision(self, revision_id):
454
 
        mutter("add {%s} to revision-history" % revision_id)
455
 
        rev_history = self.revision_history()
456
 
 
457
 
        tmprhname = self.controlfilename('revision-history.tmp')
458
 
        rhname = self.controlfilename('revision-history')
459
 
        
460
 
        f = file(tmprhname, 'wt')
461
 
        rev_history.append(revision_id)
462
 
        f.write('\n'.join(rev_history))
463
 
        f.write('\n')
464
 
        f.close()
465
 
 
466
 
        if sys.platform == 'win32':
467
 
            os.remove(rhname)
468
 
        os.rename(tmprhname, rhname)
469
 
        
 
343
    def commit(self, message, timestamp=None, timezone=None,
 
344
               committer=None,
 
345
               verbose=False):
 
346
        """Commit working copy as a new revision.
 
347
        
 
348
        The basic approach is to add all the file texts into the
 
349
        store, then the inventory, then make a new revision pointing
 
350
        to that inventory and store that.
 
351
        
 
352
        This is not quite safe if the working copy changes during the
 
353
        commit; for the moment that is simply not allowed.  A better
 
354
        approach is to make a temporary copy of the files before
 
355
        computing their hashes, and then add those hashes in turn to
 
356
        the inventory.  This should mean at least that there are no
 
357
        broken hash pointers.  There is no way we can get a snapshot
 
358
        of the whole directory at an instant.  This would also have to
 
359
        be robust against files disappearing, moving, etc.  So the
 
360
        whole thing is a bit hard.
 
361
 
 
362
        :param timestamp: if not None, seconds-since-epoch for a
 
363
             postdated/predated commit.
 
364
        """
 
365
 
 
366
        ## TODO: Show branch names
 
367
 
 
368
        # TODO: Don't commit if there are no changes, unless forced?
 
369
 
 
370
        # First walk over the working inventory; and both update that
 
371
        # and also build a new revision inventory.  The revision
 
372
        # inventory needs to hold the text-id, sha1 and size of the
 
373
        # actual file versions committed in the revision.  (These are
 
374
        # not present in the working inventory.)  We also need to
 
375
        # detect missing/deleted files, and remove them from the
 
376
        # working inventory.
 
377
 
 
378
        work_inv = self.read_working_inventory()
 
379
        inv = Inventory()
 
380
        basis = self.basis_tree()
 
381
        basis_inv = basis.inventory
 
382
        missing_ids = []
 
383
        for path, entry in work_inv.iter_entries():
 
384
            ## TODO: Cope with files that have gone missing.
 
385
 
 
386
            ## TODO: Check that the file kind has not changed from the previous
 
387
            ## revision of this file (if any).
 
388
 
 
389
            entry = entry.copy()
 
390
 
 
391
            p = self._rel(path)
 
392
            file_id = entry.file_id
 
393
            mutter('commit prep file %s, id %r ' % (p, file_id))
 
394
 
 
395
            if not os.path.exists(p):
 
396
                mutter("    file is missing, removing from inventory")
 
397
                if verbose:
 
398
                    show_status('D', entry.kind, quotefn(path))
 
399
                missing_ids.append(file_id)
 
400
                continue
 
401
 
 
402
            # TODO: Handle files that have been deleted
 
403
 
 
404
            # TODO: Maybe a special case for empty files?  Seems a
 
405
            # waste to store them many times.
 
406
 
 
407
            inv.add(entry)
 
408
 
 
409
            if basis_inv.has_id(file_id):
 
410
                old_kind = basis_inv[file_id].kind
 
411
                if old_kind != entry.kind:
 
412
                    bailout("entry %r changed kind from %r to %r"
 
413
                            % (file_id, old_kind, entry.kind))
 
414
 
 
415
            if entry.kind == 'directory':
 
416
                if not isdir(p):
 
417
                    bailout("%s is entered as directory but not a directory" % quotefn(p))
 
418
            elif entry.kind == 'file':
 
419
                if not isfile(p):
 
420
                    bailout("%s is entered as file but is not a file" % quotefn(p))
 
421
 
 
422
                content = file(p, 'rb').read()
 
423
 
 
424
                entry.text_sha1 = sha_string(content)
 
425
                entry.text_size = len(content)
 
426
 
 
427
                old_ie = basis_inv.has_id(file_id) and basis_inv[file_id]
 
428
                if (old_ie
 
429
                    and (old_ie.text_size == entry.text_size)
 
430
                    and (old_ie.text_sha1 == entry.text_sha1)):
 
431
                    ## assert content == basis.get_file(file_id).read()
 
432
                    entry.text_id = basis_inv[file_id].text_id
 
433
                    mutter('    unchanged from previous text_id {%s}' %
 
434
                           entry.text_id)
 
435
                    
 
436
                else:
 
437
                    entry.text_id = _gen_file_id(entry.name)
 
438
                    self.text_store.add(content, entry.text_id)
 
439
                    mutter('    stored with text_id {%s}' % entry.text_id)
 
440
                    if verbose:
 
441
                        if not old_ie:
 
442
                            state = 'A'
 
443
                        elif (old_ie.name == entry.name
 
444
                              and old_ie.parent_id == entry.parent_id):
 
445
                            state = 'R'
 
446
                        else:
 
447
                            state = 'M'
 
448
 
 
449
                        show_status(state, entry.kind, quotefn(path))
 
450
 
 
451
        for file_id in missing_ids:
 
452
            # have to do this later so we don't mess up the iterator.
 
453
            # since parents may be removed before their children we
 
454
            # have to test.
 
455
 
 
456
            # FIXME: There's probably a better way to do this; perhaps
 
457
            # the workingtree should know how to filter itself.
 
458
            if work_inv.has_id(file_id):
 
459
                del work_inv[file_id]
 
460
 
 
461
 
 
462
        inv_id = rev_id = _gen_revision_id(time.time())
 
463
        
 
464
        inv_tmp = tempfile.TemporaryFile()
 
465
        inv.write_xml(inv_tmp)
 
466
        inv_tmp.seek(0)
 
467
        self.inventory_store.add(inv_tmp, inv_id)
 
468
        mutter('new inventory_id is {%s}' % inv_id)
 
469
 
 
470
        self._write_inventory(work_inv)
 
471
 
 
472
        if timestamp == None:
 
473
            timestamp = time.time()
 
474
 
 
475
        if committer == None:
 
476
            committer = username()
 
477
 
 
478
        if timezone == None:
 
479
            timezone = local_time_offset()
 
480
 
 
481
        mutter("building commit log message")
 
482
        rev = Revision(timestamp=timestamp,
 
483
                       timezone=timezone,
 
484
                       committer=committer,
 
485
                       precursor = self.last_patch(),
 
486
                       message = message,
 
487
                       inventory_id=inv_id,
 
488
                       revision_id=rev_id)
 
489
 
 
490
        rev_tmp = tempfile.TemporaryFile()
 
491
        rev.write_xml(rev_tmp)
 
492
        rev_tmp.seek(0)
 
493
        self.revision_store.add(rev_tmp, rev_id)
 
494
        mutter("new revision_id is {%s}" % rev_id)
 
495
        
 
496
        ## XXX: Everything up to here can simply be orphaned if we abort
 
497
        ## the commit; it will leave junk files behind but that doesn't
 
498
        ## matter.
 
499
 
 
500
        ## TODO: Read back the just-generated changeset, and make sure it
 
501
        ## applies and recreates the right state.
 
502
 
 
503
        ## TODO: Also calculate and store the inventory SHA1
 
504
        mutter("committing patch r%d" % (self.revno() + 1))
 
505
 
 
506
        mutter("append to revision-history")
 
507
        self.controlfile('revision-history', 'at').write(rev_id + '\n')
 
508
 
 
509
        mutter("done!")
470
510
 
471
511
 
472
512
    def get_revision(self, revision_id):
473
513
        """Return the Revision object for a named revision"""
474
 
        self._need_readlock()
475
514
        r = Revision.read_xml(self.revision_store[revision_id])
476
515
        assert r.revision_id == revision_id
477
516
        return r
480
519
    def get_inventory(self, inventory_id):
481
520
        """Get Inventory object by hash.
482
521
 
483
 
        TODO: Perhaps for this and similar methods, take a revision
 
522
        :todo: Perhaps for this and similar methods, take a revision
484
523
               parameter which can be either an integer revno or a
485
524
               string hash."""
486
 
        self._need_readlock()
487
525
        i = Inventory.read_xml(self.inventory_store[inventory_id])
488
526
        return i
489
527
 
490
528
 
491
529
    def get_revision_inventory(self, revision_id):
492
530
        """Return inventory of a past revision."""
493
 
        self._need_readlock()
494
531
        if revision_id == None:
495
532
            return Inventory()
496
533
        else:
503
540
        >>> ScratchBranch().revision_history()
504
541
        []
505
542
        """
506
 
        self._need_readlock()
507
 
        return [l.rstrip('\r\n') for l in self.controlfile('revision-history', 'r').readlines()]
508
 
 
509
 
 
510
 
    def enum_history(self, direction):
511
 
        """Return (revno, revision_id) for history of branch.
512
 
 
513
 
        direction
514
 
            'forward' is from earliest to latest
515
 
            'reverse' is from latest to earliest
516
 
        """
517
 
        rh = self.revision_history()
518
 
        if direction == 'forward':
519
 
            i = 1
520
 
            for rid in rh:
521
 
                yield i, rid
522
 
                i += 1
523
 
        elif direction == 'reverse':
524
 
            i = len(rh)
525
 
            while i > 0:
526
 
                yield i, rh[i-1]
527
 
                i -= 1
528
 
        else:
529
 
            raise ValueError('invalid history direction', direction)
 
543
        return [chomp(l) for l in self.controlfile('revision-history').readlines()]
530
544
 
531
545
 
532
546
    def revno(self):
534
548
 
535
549
        That is equivalent to the number of revisions committed to
536
550
        this branch.
 
551
 
 
552
        >>> b = ScratchBranch()
 
553
        >>> b.revno()
 
554
        0
 
555
        >>> b.commit('no foo')
 
556
        >>> b.revno()
 
557
        1
537
558
        """
538
559
        return len(self.revision_history())
539
560
 
540
561
 
541
562
    def last_patch(self):
542
563
        """Return last patch hash, or None if no history.
 
564
 
 
565
        >>> ScratchBranch().last_patch() == None
 
566
        True
543
567
        """
544
568
        ph = self.revision_history()
545
569
        if ph:
546
570
            return ph[-1]
547
 
        else:
548
 
            return None
549
 
 
550
 
 
551
 
    def commit(self, *args, **kw):
552
 
        """Deprecated"""
553
 
        from bzrlib.commit import commit
554
 
        commit(self, *args, **kw)
555
 
        
 
571
 
556
572
 
557
573
    def lookup_revision(self, revno):
558
574
        """Return revision hash for revision number."""
563
579
            # list is 0-based; revisions are 1-based
564
580
            return self.revision_history()[revno-1]
565
581
        except IndexError:
566
 
            raise BzrError("no such revision %s" % revno)
 
582
            bailout("no such revision %s" % revno)
567
583
 
568
584
 
569
585
    def revision_tree(self, revision_id):
571
587
 
572
588
        `revision_id` may be None for the null revision, in which case
573
589
        an `EmptyTree` is returned."""
574
 
        # TODO: refactor this to use an existing revision object
575
 
        # so we don't need to read it in twice.
576
 
        self._need_readlock()
 
590
 
577
591
        if revision_id == None:
578
592
            return EmptyTree()
579
593
        else:
583
597
 
584
598
    def working_tree(self):
585
599
        """Return a `Tree` for the working copy."""
586
 
        from workingtree import WorkingTree
587
600
        return WorkingTree(self.base, self.read_working_inventory())
588
601
 
589
602
 
591
604
        """Return `Tree` object for last revision.
592
605
 
593
606
        If there are no revisions yet, return an `EmptyTree`.
 
607
 
 
608
        >>> b = ScratchBranch(files=['foo'])
 
609
        >>> b.basis_tree().has_filename('foo')
 
610
        False
 
611
        >>> b.working_tree().has_filename('foo')
 
612
        True
 
613
        >>> b.add('foo')
 
614
        >>> b.commit('add foo')
 
615
        >>> b.basis_tree().has_filename('foo')
 
616
        True
594
617
        """
595
618
        r = self.last_patch()
596
619
        if r == None:
600
623
 
601
624
 
602
625
 
603
 
    def rename_one(self, from_rel, to_rel):
604
 
        """Rename one file.
605
 
 
606
 
        This can change the directory or the filename or both.
607
 
        """
608
 
        self._need_writelock()
609
 
        tree = self.working_tree()
610
 
        inv = tree.inventory
611
 
        if not tree.has_filename(from_rel):
612
 
            bailout("can't rename: old working file %r does not exist" % from_rel)
613
 
        if tree.has_filename(to_rel):
614
 
            bailout("can't rename: new working file %r already exists" % to_rel)
615
 
            
616
 
        file_id = inv.path2id(from_rel)
617
 
        if file_id == None:
618
 
            bailout("can't rename: old name %r is not versioned" % from_rel)
619
 
 
620
 
        if inv.path2id(to_rel):
621
 
            bailout("can't rename: new name %r is already versioned" % to_rel)
622
 
 
623
 
        to_dir, to_tail = os.path.split(to_rel)
624
 
        to_dir_id = inv.path2id(to_dir)
625
 
        if to_dir_id == None and to_dir != '':
626
 
            bailout("can't determine destination directory id for %r" % to_dir)
627
 
 
628
 
        mutter("rename_one:")
629
 
        mutter("  file_id    {%s}" % file_id)
630
 
        mutter("  from_rel   %r" % from_rel)
631
 
        mutter("  to_rel     %r" % to_rel)
632
 
        mutter("  to_dir     %r" % to_dir)
633
 
        mutter("  to_dir_id  {%s}" % to_dir_id)
634
 
            
635
 
        inv.rename(file_id, to_dir_id, to_tail)
636
 
 
637
 
        print "%s => %s" % (from_rel, to_rel)
 
626
    def write_log(self, show_timezone='original'):
 
627
        """Write out human-readable log of commits to this branch
 
628
 
 
629
        :param utc: If true, show dates in universal time, not local time."""
 
630
        ## TODO: Option to choose either original, utc or local timezone
 
631
        revno = 1
 
632
        precursor = None
 
633
        for p in self.revision_history():
 
634
            print '-' * 40
 
635
            print 'revno:', revno
 
636
            ## TODO: Show hash if --id is given.
 
637
            ##print 'revision-hash:', p
 
638
            rev = self.get_revision(p)
 
639
            print 'committer:', rev.committer
 
640
            print 'timestamp: %s' % (format_date(rev.timestamp, rev.timezone or 0,
 
641
                                                 show_timezone))
 
642
 
 
643
            ## opportunistic consistency check, same as check_patch_chaining
 
644
            if rev.precursor != precursor:
 
645
                bailout("mismatched precursor!")
 
646
 
 
647
            print 'message:'
 
648
            if not rev.message:
 
649
                print '  (no message)'
 
650
            else:
 
651
                for l in rev.message.split('\n'):
 
652
                    print '  ' + l
 
653
 
 
654
            revno += 1
 
655
            precursor = p
 
656
 
 
657
 
 
658
 
 
659
    def show_status(branch, show_all=False):
 
660
        """Display single-line status for non-ignored working files.
 
661
 
 
662
        The list is show sorted in order by file name.
 
663
 
 
664
        >>> b = ScratchBranch(files=['foo', 'foo~'])
 
665
        >>> b.show_status()
 
666
        ?       foo
 
667
        >>> b.add('foo')
 
668
        >>> b.show_status()
 
669
        A       foo
 
670
        >>> b.commit("add foo")
 
671
        >>> b.show_status()
 
672
        >>> os.unlink(b._rel('foo'))
 
673
        >>> b.show_status()
 
674
        D       foo
638
675
        
639
 
        from_abs = self.abspath(from_rel)
640
 
        to_abs = self.abspath(to_rel)
641
 
        try:
642
 
            os.rename(from_abs, to_abs)
643
 
        except OSError, e:
644
 
            bailout("failed to rename %r to %r: %s"
645
 
                    % (from_abs, to_abs, e[1]),
646
 
                    ["rename rolled back"])
647
 
 
648
 
        self._write_inventory(inv)
649
 
            
650
 
 
651
 
 
652
 
    def move(self, from_paths, to_name):
653
 
        """Rename files.
654
 
 
655
 
        to_name must exist as a versioned directory.
656
 
 
657
 
        If to_name exists and is a directory, the files are moved into
658
 
        it, keeping their old names.  If it is a directory, 
659
 
 
660
 
        Note that to_name is only the last component of the new name;
661
 
        this doesn't change the directory.
 
676
 
 
677
        :todo: Get state for single files.
 
678
 
 
679
        :todo: Perhaps show a slash at the end of directory names.        
 
680
 
662
681
        """
663
 
        self._need_writelock()
664
 
        ## TODO: Option to move IDs only
665
 
        assert not isinstance(from_paths, basestring)
666
 
        tree = self.working_tree()
667
 
        inv = tree.inventory
668
 
        to_abs = self.abspath(to_name)
669
 
        if not isdir(to_abs):
670
 
            bailout("destination %r is not a directory" % to_abs)
671
 
        if not tree.has_filename(to_name):
672
 
            bailout("destination %r not in working directory" % to_abs)
673
 
        to_dir_id = inv.path2id(to_name)
674
 
        if to_dir_id == None and to_name != '':
675
 
            bailout("destination %r is not a versioned directory" % to_name)
676
 
        to_dir_ie = inv[to_dir_id]
677
 
        if to_dir_ie.kind not in ('directory', 'root_directory'):
678
 
            bailout("destination %r is not a directory" % to_abs)
679
 
 
680
 
        to_idpath = inv.get_idpath(to_dir_id)
681
 
 
682
 
        for f in from_paths:
683
 
            if not tree.has_filename(f):
684
 
                bailout("%r does not exist in working tree" % f)
685
 
            f_id = inv.path2id(f)
686
 
            if f_id == None:
687
 
                bailout("%r is not versioned" % f)
688
 
            name_tail = splitpath(f)[-1]
689
 
            dest_path = appendpath(to_name, name_tail)
690
 
            if tree.has_filename(dest_path):
691
 
                bailout("destination %r already exists" % dest_path)
692
 
            if f_id in to_idpath:
693
 
                bailout("can't move %r to a subdirectory of itself" % f)
694
 
 
695
 
        # OK, so there's a race here, it's possible that someone will
696
 
        # create a file in this interval and then the rename might be
697
 
        # left half-done.  But we should have caught most problems.
698
 
 
699
 
        for f in from_paths:
700
 
            name_tail = splitpath(f)[-1]
701
 
            dest_path = appendpath(to_name, name_tail)
702
 
            print "%s => %s" % (f, dest_path)
703
 
            inv.rename(inv.path2id(f), to_dir_id, name_tail)
704
 
            try:
705
 
                os.rename(self.abspath(f), self.abspath(dest_path))
706
 
            except OSError, e:
707
 
                bailout("failed to rename %r to %r: %s" % (f, dest_path, e[1]),
708
 
                        ["rename rolled back"])
709
 
 
710
 
        self._write_inventory(inv)
711
 
 
712
 
 
 
682
 
 
683
        # We have to build everything into a list first so that it can
 
684
        # sorted by name, incorporating all the different sources.
 
685
 
 
686
        # FIXME: Rather than getting things in random order and then sorting,
 
687
        # just step through in order.
 
688
 
 
689
        # Interesting case: the old ID for a file has been removed,
 
690
        # but a new file has been created under that name.
 
691
 
 
692
        old = branch.basis_tree()
 
693
        old_inv = old.inventory
 
694
        new = branch.working_tree()
 
695
        new_inv = new.inventory
 
696
 
 
697
        for fs, fid, oldname, newname, kind in diff_trees(old, new):
 
698
            if fs == 'R':
 
699
                show_status(fs, kind,
 
700
                            oldname + ' => ' + newname)
 
701
            elif fs == 'A' or fs == 'M':
 
702
                show_status(fs, kind, newname)
 
703
            elif fs == 'D':
 
704
                show_status(fs, kind, oldname)
 
705
            elif fs == '.':
 
706
                if show_all:
 
707
                    show_status(fs, kind, newname)
 
708
            elif fs == 'I':
 
709
                if show_all:
 
710
                    show_status(fs, kind, newname)
 
711
            elif fs == '?':
 
712
                show_status(fs, kind, newname)
 
713
            else:
 
714
                bailout("wierd file state %r" % ((fs, fid),))
 
715
                
713
716
 
714
717
 
715
718
class ScratchBranch(Branch):
719
722
    >>> isdir(b.base)
720
723
    True
721
724
    >>> bd = b.base
722
 
    >>> b.destroy()
 
725
    >>> del b
723
726
    >>> isdir(bd)
724
727
    False
725
728
    """
726
 
    def __init__(self, files=[], dirs=[]):
 
729
    def __init__(self, files = []):
727
730
        """Make a test branch.
728
731
 
729
732
        This creates a temporary directory and runs init-tree in it.
731
734
        If any files are listed, they are created in the working copy.
732
735
        """
733
736
        Branch.__init__(self, tempfile.mkdtemp(), init=True)
734
 
        for d in dirs:
735
 
            os.mkdir(self.abspath(d))
736
 
            
737
737
        for f in files:
738
738
            file(os.path.join(self.base, f), 'w').write('content of %s' % f)
739
739
 
740
740
 
741
741
    def __del__(self):
742
 
        self.destroy()
743
 
 
744
 
    def destroy(self):
745
742
        """Destroy the test branch, removing the scratch directory."""
746
 
        try:
747
 
            mutter("delete ScratchBranch %s" % self.base)
748
 
            shutil.rmtree(self.base)
749
 
        except OSError, e:
750
 
            # Work around for shutil.rmtree failing on Windows when
751
 
            # readonly files are encountered
752
 
            mutter("hit exception in destroying ScratchBranch: %s" % e)
753
 
            for root, dirs, files in os.walk(self.base, topdown=False):
754
 
                for name in files:
755
 
                    os.chmod(os.path.join(root, name), 0700)
756
 
            shutil.rmtree(self.base)
757
 
        self.base = None
 
743
        shutil.rmtree(self.base)
758
744
 
759
745
    
760
746
 
770
756
        ## mutter('check %r for control file' % ((head, tail), ))
771
757
        if tail == bzrlib.BZRDIR:
772
758
            return True
773
 
        if filename == head:
774
 
            break
775
759
        filename = head
776
760
    return False
777
761
 
778
762
 
779
763
 
780
 
def gen_file_id(name):
 
764
def _gen_revision_id(when):
 
765
    """Return new revision-id."""
 
766
    s = '%s-%s-' % (user_email(), compact_date(when))
 
767
    s += hexlify(rand_bytes(8))
 
768
    return s
 
769
 
 
770
 
 
771
def _gen_file_id(name):
781
772
    """Return new file id.
782
773
 
783
774
    This should probably generate proper UUIDs, but for the moment we
784
775
    cope with just randomness because running uuidgen every time is
785
776
    slow."""
786
 
    import re
787
 
 
788
 
    # get last component
789
 
    idx = name.rfind('/')
790
 
    if idx != -1:
791
 
        name = name[idx+1 : ]
792
 
    idx = name.rfind('\\')
793
 
    if idx != -1:
794
 
        name = name[idx+1 : ]
795
 
 
796
 
    # make it not a hidden file
797
 
    name = name.lstrip('.')
798
 
 
799
 
    # remove any wierd characters; we don't escape them but rather
800
 
    # just pull them out
801
 
    name = re.sub(r'[^\w.]', '', name)
802
 
 
 
777
    assert '/' not in name
 
778
    while name[0] == '.':
 
779
        name = name[1:]
803
780
    s = hexlify(rand_bytes(8))
804
781
    return '-'.join((name, compact_date(time.time()), s))
 
782
 
 
783