~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tree.py

  • Committer: John Arbash Meinel
  • Date: 2005-09-15 21:35:53 UTC
  • mfrom: (907.1.57)
  • mto: (1393.2.1)
  • mto: This revision was merged to the branch mainline in revision 1396.
  • Revision ID: john@arbash-meinel.com-20050915213552-a6c83a5ef1e20897
(broken) Transport work is merged in. Tests do not pass yet.

Show diffs side-by-side

added added

removed removed

Lines of Context:
18
18
"""
19
19
 
20
20
import os
21
 
from cStringIO import StringIO
22
21
 
23
22
import bzrlib
24
 
from bzrlib.errors import BzrError, BzrCheckError
25
 
from bzrlib import errors
 
23
from bzrlib.trace import mutter, note
 
24
from bzrlib.errors import BzrError
26
25
from bzrlib.inventory import Inventory
27
 
from bzrlib.osutils import fingerprint_file
28
 
import bzrlib.revision
29
 
from bzrlib.trace import mutter, note
 
26
from bzrlib.osutils import pumpfile, appendpath, fingerprint_file
 
27
 
 
28
 
 
29
exporters = {}
30
30
 
31
31
class Tree(object):
32
32
    """Abstract file tree.
50
50
    trees or versioned trees.
51
51
    """
52
52
    
53
 
    def conflicts(self):
54
 
        """Get a list of the conflicts in the tree.
55
 
 
56
 
        Each conflict is an instance of bzrlib.conflicts.Conflict.
57
 
        """
58
 
        return []
59
 
 
60
 
    def get_parent_ids(self):
61
 
        """Get the parent ids for this tree. 
62
 
 
63
 
        :return: a list of parent ids. [] is returned to indicate
64
 
        a tree with no parents.
65
 
        :raises: BzrError if the parents are not known.
66
 
        """
67
 
        raise NotImplementedError(self.get_parent_ids)
68
 
    
69
53
    def has_filename(self, filename):
70
54
        """True if the tree has given filename."""
71
55
        raise NotImplementedError()
73
57
    def has_id(self, file_id):
74
58
        return self.inventory.has_id(file_id)
75
59
 
76
 
    def has_or_had_id(self, file_id):
77
 
        if file_id == self.inventory.root.file_id:
78
 
            return True
79
 
        return self.inventory.has_id(file_id)
80
 
 
81
60
    __contains__ = has_id
82
61
 
83
62
    def __iter__(self):
86
65
    def id2path(self, file_id):
87
66
        return self.inventory.id2path(file_id)
88
67
 
89
 
    def kind(self, file_id):
90
 
        raise NotImplementedError("subclasses must implement kind")
91
 
 
92
68
    def _get_inventory(self):
93
69
        return self._inventory
94
70
    
99
75
                         doc="Inventory of this Tree")
100
76
 
101
77
    def _check_retrieved(self, ie, f):
102
 
        if not __debug__:
103
 
            return  
104
78
        fp = fingerprint_file(f)
105
79
        f.seek(0)
106
80
        
118
92
                     "store is probably damaged/corrupt"])
119
93
 
120
94
 
121
 
    def print_file(self, file_id):
122
 
        """Print file with id `file_id` to stdout."""
 
95
    def print_file(self, fileid):
 
96
        """Print file with id `fileid` to stdout."""
123
97
        import sys
124
 
        sys.stdout.write(self.get_file_text(file_id))
125
 
 
126
 
    def lock_read(self):
127
 
        pass
128
 
 
129
 
    def unknowns(self):
130
 
        """What files are present in this tree and unknown.
131
 
        
132
 
        :return: an iterator over the unknown files.
133
 
        """
134
 
        return iter([])
135
 
 
136
 
    def unlock(self):
137
 
        pass
138
 
 
139
 
    def filter_unversioned_files(self, paths):
140
 
        """Filter out paths that are not versioned.
141
 
 
142
 
        :return: set of paths.
143
 
        """
144
 
        # NB: we specifically *don't* call self.has_filename, because for
145
 
        # WorkingTrees that can indicate files that exist on disk but that 
146
 
        # are not versioned.
147
 
        pred = self.inventory.has_filename
148
 
        return set((p for p in paths if not pred(p)))
149
 
        
150
 
        
 
98
        pumpfile(self.get_file(fileid), sys.stdout)
 
99
        
 
100
        
 
101
    def export(self, dest, format='dir', root=None):
 
102
        """Export this tree."""
 
103
        try:
 
104
            exporter = exporters[format]
 
105
        except KeyError:
 
106
            from bzrlib.errors import BzrCommandError
 
107
            raise BzrCommandError("export format %r not supported" % format)
 
108
        exporter(self, dest, root)
 
109
 
 
110
 
 
111
 
151
112
class RevisionTree(Tree):
152
113
    """Tree viewing a previous revision.
153
114
 
158
119
           or at least passing a description to the constructor.
159
120
    """
160
121
    
161
 
    def __init__(self, branch, inv, revision_id):
162
 
        # for compatability the 'branch' parameter has not been renamed to 
163
 
        # repository at this point. However, we should change RevisionTree's
164
 
        # construction to always be via Repository and not via direct 
165
 
        # construction - this will mean that we can change the constructor
166
 
        # with much less chance of breaking client code.
167
 
        self._repository = branch
168
 
        self._weave_store = branch.weave_store
 
122
    def __init__(self, store, inv):
 
123
        self._store = store
169
124
        self._inventory = inv
170
 
        self._revision_id = revision_id
171
 
 
172
 
    def get_parent_ids(self):
173
 
        """See Tree.get_parent_ids.
174
 
 
175
 
        A RevisionTree's parents match the revision graph.
176
 
        """
177
 
        parent_ids = self._repository.get_revision(self._revision_id).parent_ids
178
 
        return parent_ids
179
 
        
180
 
    def get_revision_id(self):
181
 
        """Return the revision id associated with this tree."""
182
 
        return self._revision_id
183
 
 
184
 
    def get_weave(self, file_id):
185
 
        return self._weave_store.get_weave(file_id,
186
 
                self._repository.get_transaction())
187
 
 
188
 
    def get_file_lines(self, file_id):
189
 
        ie = self._inventory[file_id]
190
 
        weave = self.get_weave(file_id)
191
 
        return weave.get_lines(ie.revision)
192
 
 
193
 
    def get_file_text(self, file_id):
194
 
        return ''.join(self.get_file_lines(file_id))
195
125
 
196
126
    def get_file(self, file_id):
197
 
        return StringIO(self.get_file_text(file_id))
 
127
        ie = self._inventory[file_id]
 
128
        f = self._store[ie.text_id]
 
129
        mutter("  get fileid{%s} from %r" % (file_id, self))
 
130
        self._check_retrieved(ie, f)
 
131
        return f
198
132
 
199
133
    def get_file_size(self, file_id):
200
134
        return self._inventory[file_id].text_size
201
135
 
202
 
    def get_file_sha1(self, file_id, path=None):
 
136
    def get_file_sha1(self, file_id):
203
137
        ie = self._inventory[file_id]
204
138
        if ie.kind == "file":
205
139
            return ie.text_sha1
206
 
        return None
207
 
 
208
 
    def get_file_mtime(self, file_id, path=None):
209
 
        ie = self._inventory[file_id]
210
 
        revision = self._repository.get_revision(ie.revision)
211
 
        return revision.timestamp
212
 
 
213
 
    def is_executable(self, file_id, path=None):
214
 
        ie = self._inventory[file_id]
215
 
        if ie.kind != "file":
216
 
            return None 
217
 
        return self._inventory[file_id].executable
218
140
 
219
141
    def has_filename(self, filename):
220
142
        return bool(self.inventory.path2id(filename))
222
144
    def list_files(self):
223
145
        # The only files returned by this are those from the version
224
146
        for path, entry in self.inventory.iter_entries():
225
 
            yield path, 'V', entry.kind, entry.file_id, entry
226
 
 
227
 
    def get_symlink_target(self, file_id):
228
 
        ie = self._inventory[file_id]
229
 
        return ie.symlink_target;
230
 
 
231
 
    def kind(self, file_id):
232
 
        return self._inventory[file_id].kind
233
 
 
234
 
    def lock_read(self):
235
 
        self._repository.lock_read()
236
 
 
237
 
    def unlock(self):
238
 
        self._repository.unlock()
 
147
            yield path, 'V', entry.kind, entry.file_id
239
148
 
240
149
 
241
150
class EmptyTree(Tree):
242
 
 
243
151
    def __init__(self):
244
152
        self._inventory = Inventory()
245
153
 
246
 
    def get_parent_ids(self):
247
 
        """See Tree.get_parent_ids.
248
 
 
249
 
        An EmptyTree always has NULL_REVISION as the only parent.
250
 
        """
251
 
        return []
252
 
 
253
 
    def get_symlink_target(self, file_id):
254
 
        return None
255
 
 
256
154
    def has_filename(self, filename):
257
155
        return False
258
156
 
259
 
    def kind(self, file_id):
260
 
        assert self._inventory[file_id].kind == "root_directory"
261
 
        return "root_directory"
262
 
 
263
157
    def list_files(self):
264
 
        return iter([])
 
158
        if False:  # just to make it a generator
 
159
            yield None
265
160
    
266
161
    def __contains__(self, file_id):
267
162
        return file_id in self._inventory
268
163
 
269
 
    def get_file_sha1(self, file_id, path=None):
 
164
    def get_file_sha1(self, file_id):
270
165
        assert self._inventory[file_id].kind == "root_directory"
271
166
        return None
272
167
 
273
168
 
 
169
 
 
170
 
274
171
######################################################################
275
172
# diff
276
173
 
336
233
            yield (old_name, new_name)
337
234
            
338
235
 
339
 
def find_ids_across_trees(filenames, trees, require_versioned=True):
340
 
    """Find the ids corresponding to specified filenames.
341
 
    
342
 
    All matches in all trees will be used, and all children of matched
343
 
    directories will be used.
344
 
 
345
 
    :param filenames: The filenames to find file_ids for
346
 
    :param trees: The trees to find file_ids within
347
 
    :param require_versioned: if true, all specified filenames must occur in
348
 
    at least one tree.
349
 
    :return: a set of file ids for the specified filenames and their children.
350
 
    """
351
 
    if not filenames:
352
 
        return None
353
 
    specified_ids = _find_filename_ids_across_trees(filenames, trees, 
354
 
                                                    require_versioned)
355
 
    return _find_children_across_trees(specified_ids, trees)
356
 
 
357
 
 
358
 
def _find_filename_ids_across_trees(filenames, trees, require_versioned):
359
 
    """Find the ids corresponding to specified filenames.
360
 
    
361
 
    All matches in all trees will be used.
362
 
 
363
 
    :param filenames: The filenames to find file_ids for
364
 
    :param trees: The trees to find file_ids within
365
 
    :param require_versioned: if true, all specified filenames must occur in
366
 
    at least one tree.
367
 
    :return: a set of file ids for the specified filenames
368
 
    """
369
 
    not_versioned = []
370
 
    interesting_ids = set()
371
 
    for tree_path in filenames:
372
 
        not_found = True
373
 
        for tree in trees:
374
 
            file_id = tree.inventory.path2id(tree_path)
375
 
            if file_id is not None:
376
 
                interesting_ids.add(file_id)
377
 
                not_found = False
378
 
        if not_found:
379
 
            not_versioned.append(tree_path)
380
 
    if len(not_versioned) > 0 and require_versioned:
381
 
        raise errors.PathsNotVersionedError(not_versioned)
382
 
    return interesting_ids
383
 
 
384
 
 
385
 
def _find_children_across_trees(specified_ids, trees):
386
 
    """Return a set including specified ids and their children
387
 
    
388
 
    All matches in all trees will be used.
389
 
 
390
 
    :param trees: The trees to find file_ids within
391
 
    :return: a set containing all specified ids and their children 
392
 
    """
393
 
    interesting_ids = set(specified_ids)
394
 
    pending = interesting_ids
395
 
    # now handle children of interesting ids
396
 
    # we loop so that we handle all children of each id in both trees
397
 
    while len(pending) > 0:
398
 
        new_pending = set()
399
 
        for file_id in pending:
400
 
            for tree in trees:
401
 
                if file_id not in tree:
402
 
                    continue
403
 
                entry = tree.inventory[file_id]
404
 
                for child in getattr(entry, 'children', {}).itervalues():
405
 
                    if child.file_id not in interesting_ids:
406
 
                        new_pending.add(child.file_id)
407
 
        interesting_ids.update(new_pending)
408
 
        pending = new_pending
409
 
    return interesting_ids
 
236
 
 
237
######################################################################
 
238
# export
 
239
 
 
240
def dir_exporter(tree, dest, root):
 
241
    """Export this tree to a new directory.
 
242
 
 
243
    `dest` should not exist, and will be created holding the
 
244
    contents of this tree.
 
245
 
 
246
    TODO: To handle subdirectories we need to create the
 
247
           directories first.
 
248
 
 
249
    :note: If the export fails, the destination directory will be
 
250
           left in a half-assed state.
 
251
    """
 
252
    import os
 
253
    os.mkdir(dest)
 
254
    mutter('export version %r' % tree)
 
255
    inv = tree.inventory
 
256
    for dp, ie in inv.iter_entries():
 
257
        kind = ie.kind
 
258
        fullpath = appendpath(dest, dp)
 
259
        if kind == 'directory':
 
260
            os.mkdir(fullpath)
 
261
        elif kind == 'file':
 
262
            pumpfile(tree.get_file(ie.file_id), file(fullpath, 'wb'))
 
263
        else:
 
264
            raise BzrError("don't know how to export {%s} of kind %r" % (ie.file_id, kind))
 
265
        mutter("  export {%s} kind %s to %s" % (ie.file_id, kind, fullpath))
 
266
exporters['dir'] = dir_exporter
 
267
 
 
268
try:
 
269
    import tarfile
 
270
except ImportError:
 
271
    pass
 
272
else:
 
273
    def get_root_name(dest):
 
274
        """Get just the root name for a tarball.
 
275
 
 
276
        >>> get_root_name('mytar.tar')
 
277
        'mytar'
 
278
        >>> get_root_name('mytar.tar.bz2')
 
279
        'mytar'
 
280
        >>> get_root_name('tar.tar.tar.tgz')
 
281
        'tar.tar.tar'
 
282
        >>> get_root_name('bzr-0.0.5.tar.gz')
 
283
        'bzr-0.0.5'
 
284
        >>> get_root_name('a/long/path/mytar.tgz')
 
285
        'mytar'
 
286
        >>> get_root_name('../parent/../dir/other.tbz2')
 
287
        'other'
 
288
        """
 
289
        endings = ['.tar', '.tar.gz', '.tgz', '.tar.bz2', '.tbz2']
 
290
        dest = os.path.basename(dest)
 
291
        for end in endings:
 
292
            if dest.endswith(end):
 
293
                return dest[:-len(end)]
 
294
 
 
295
    def tar_exporter(tree, dest, root, compression=None):
 
296
        """Export this tree to a new tar file.
 
297
 
 
298
        `dest` will be created holding the contents of this tree; if it
 
299
        already exists, it will be clobbered, like with "tar -c".
 
300
        """
 
301
        from time import time
 
302
        now = time()
 
303
        compression = str(compression or '')
 
304
        if root is None:
 
305
            root = get_root_name(dest)
 
306
        try:
 
307
            ball = tarfile.open(dest, 'w:' + compression)
 
308
        except tarfile.CompressionError, e:
 
309
            raise BzrError(str(e))
 
310
        mutter('export version %r' % tree)
 
311
        inv = tree.inventory
 
312
        for dp, ie in inv.iter_entries():
 
313
            mutter("  export {%s} kind %s to %s" % (ie.file_id, ie.kind, dest))
 
314
            item = tarfile.TarInfo(os.path.join(root, dp))
 
315
            # TODO: would be cool to actually set it to the timestamp of the
 
316
            # revision it was last changed
 
317
            item.mtime = now
 
318
            if ie.kind == 'directory':
 
319
                item.type = tarfile.DIRTYPE
 
320
                fileobj = None
 
321
                item.name += '/'
 
322
                item.size = 0
 
323
                item.mode = 0755
 
324
            elif ie.kind == 'file':
 
325
                item.type = tarfile.REGTYPE
 
326
                fileobj = tree.get_file(ie.file_id)
 
327
                item.size = _find_file_size(fileobj)
 
328
                item.mode = 0644
 
329
            else:
 
330
                raise BzrError("don't know how to export {%s} of kind %r" %
 
331
                        (ie.file_id, ie.kind))
 
332
 
 
333
            ball.addfile(item, fileobj)
 
334
        ball.close()
 
335
    exporters['tar'] = tar_exporter
 
336
 
 
337
    def tgz_exporter(tree, dest, root):
 
338
        tar_exporter(tree, dest, root, compression='gz')
 
339
    exporters['tgz'] = tgz_exporter
 
340
 
 
341
    def tbz_exporter(tree, dest, root):
 
342
        tar_exporter(tree, dest, root, compression='bz2')
 
343
    exporters['tbz2'] = tbz_exporter
 
344
 
 
345
 
 
346
def _find_file_size(fileobj):
 
347
    offset = fileobj.tell()
 
348
    try:
 
349
        fileobj.seek(0, 2)
 
350
        size = fileobj.tell()
 
351
    except TypeError:
 
352
        # gzip doesn't accept second argument to seek()
 
353
        fileobj.seek(0)
 
354
        size = 0
 
355
        while True:
 
356
            nread = len(fileobj.read())
 
357
            if nread == 0:
 
358
                break
 
359
            size += nread
 
360
    fileobj.seek(offset)
 
361
    return size