~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tree.py

Hid raw conflicts

Show diffs side-by-side

added added

removed removed

Lines of Context:
17
17
"""Tree classes, representing directory at point in time.
18
18
"""
19
19
 
20
 
from sets import Set
21
 
import os.path, os, fnmatch
22
 
 
23
 
from inventory import Inventory
24
 
from trace import mutter, note
25
 
from osutils import pumpfile, compare_files, filesize, quotefn, sha_file, \
26
 
     joinpath, splitpath, appendpath, isdir, isfile, file_kind, fingerprint_file
27
 
from errors import bailout
28
 
import branch
29
 
from stat import S_ISREG, S_ISDIR, ST_MODE, ST_SIZE
 
20
import os
 
21
from cStringIO import StringIO
30
22
 
31
23
import bzrlib
 
24
from bzrlib.trace import mutter, note
 
25
from bzrlib.errors import BzrError, BzrCheckError
 
26
from bzrlib.inventory import Inventory
 
27
from bzrlib.osutils import appendpath, fingerprint_file
32
28
 
33
 
class Tree:
 
29
class Tree(object):
34
30
    """Abstract file tree.
35
31
 
36
32
    There are several subclasses:
59
55
    def has_id(self, file_id):
60
56
        return self.inventory.has_id(file_id)
61
57
 
62
 
    def id_set(self):
63
 
        """Return set of all ids in this tree."""
64
 
        return self.inventory.id_set()
 
58
    def has_or_had_id(self, file_id):
 
59
        if file_id == self.inventory.root.file_id:
 
60
            return True
 
61
        return self.inventory.has_id(file_id)
 
62
 
 
63
    __contains__ = has_id
 
64
 
 
65
    def __iter__(self):
 
66
        return iter(self.inventory)
65
67
 
66
68
    def id2path(self, file_id):
67
69
        return self.inventory.id2path(file_id)
68
70
 
 
71
    def kind(self, file_id):
 
72
        raise NotImplementedError("subclasses must implement kind")
 
73
 
69
74
    def _get_inventory(self):
70
75
        return self._inventory
 
76
    
 
77
    def get_file_by_path(self, path):
 
78
        return self.get_file(self._inventory.path2id(path))
71
79
 
72
80
    inventory = property(_get_inventory,
73
81
                         doc="Inventory of this Tree")
74
82
 
75
83
    def _check_retrieved(self, ie, f):
 
84
        if not __debug__:
 
85
            return  
76
86
        fp = fingerprint_file(f)
77
87
        f.seek(0)
78
88
        
79
 
        if ie.text_size is not None:
 
89
        if ie.text_size != None:
80
90
            if ie.text_size != fp['size']:
81
 
                bailout("mismatched size for file %r in %r" % (ie.file_id, self._store),
 
91
                raise BzrError("mismatched size for file %r in %r" % (ie.file_id, self._store),
82
92
                        ["inventory expects %d bytes" % ie.text_size,
83
93
                         "file is actually %d bytes" % fp['size'],
84
94
                         "store is probably damaged/corrupt"])
85
95
 
86
96
        if ie.text_sha1 != fp['sha1']:
87
 
            bailout("wrong SHA-1 for file %r in %r" % (ie.file_id, self._store),
 
97
            raise BzrError("wrong SHA-1 for file %r in %r" % (ie.file_id, self._store),
88
98
                    ["inventory expects %s" % ie.text_sha1,
89
99
                     "file is actually %s" % fp['sha1'],
90
100
                     "store is probably damaged/corrupt"])
91
101
 
92
102
 
93
 
    def export(self, dest):
94
 
        """Export this tree to a new directory.
95
 
 
96
 
        `dest` should not exist, and will be created holding the
97
 
        contents of this tree.
98
 
 
99
 
        :todo: To handle subdirectories we need to create the
100
 
               directories first.
101
 
 
102
 
        :note: If the export fails, the destination directory will be
103
 
               left in a half-assed state.
104
 
        """
105
 
        os.mkdir(dest)
106
 
        mutter('export version %r' % self)
107
 
        inv = self.inventory
108
 
        for dp, ie in inv.iter_entries():
109
 
            kind = ie.kind
110
 
            fullpath = appendpath(dest, dp)
111
 
            if kind == 'directory':
112
 
                os.mkdir(fullpath)
113
 
            elif kind == 'file':
114
 
                pumpfile(self.get_file(ie.file_id), file(fullpath, 'wb'))
115
 
            else:
116
 
                bailout("don't know how to export {%s} of kind %r", fid, kind)
117
 
            mutter("  export {%s} kind %s to %s" % (ie.file_id, kind, fullpath))
118
 
 
119
 
 
120
 
 
121
 
class WorkingTree(Tree):
122
 
    """Working copy tree.
123
 
 
124
 
    The inventory is held in the `Branch` working-inventory, and the
125
 
    files are in a directory on disk.
126
 
 
127
 
    It is possible for a `WorkingTree` to have a filename which is
128
 
    not listed in the Inventory and vice versa.
129
 
    """
130
 
    def __init__(self, basedir, inv):
131
 
        self._inventory = inv
132
 
        self.basedir = basedir
133
 
        self.path2id = inv.path2id
134
 
 
135
 
    def __repr__(self):
136
 
        return "<%s of %s>" % (self.__class__.__name__,
137
 
                               self.basedir)
138
 
 
139
 
    def abspath(self, filename):
140
 
        return os.path.join(self.basedir, filename)
141
 
 
142
 
    def has_filename(self, filename):
143
 
        return os.path.exists(self.abspath(filename))
144
 
 
145
 
    def get_file(self, file_id):
146
 
        return self.get_file_byname(self.id2path(file_id))
147
 
 
148
 
    def get_file_byname(self, filename):
149
 
        return file(self.abspath(filename), 'rb')
150
 
 
151
 
    def _get_store_filename(self, file_id):
152
 
        return self.abspath(self.id2path(file_id))
153
 
 
154
 
    def has_id(self, file_id):
155
 
        # files that have been deleted are excluded
156
 
        if not self.inventory.has_id(file_id):
157
 
            return False
158
 
        return os.access(self.abspath(self.inventory.id2path(file_id)), os.F_OK)
159
 
 
160
 
    def get_file_size(self, file_id):
161
 
        return os.stat(self._get_store_filename(file_id))[ST_SIZE]
162
 
 
163
 
    def get_file_sha1(self, file_id):
164
 
        f = self.get_file(file_id)
165
 
        return sha_file(f)
166
 
 
167
 
 
168
 
    def file_class(self, filename):
169
 
        if self.path2id(filename):
170
 
            return 'V'
171
 
        elif self.is_ignored(filename):
172
 
            return 'I'
173
 
        else:
174
 
            return '?'
175
 
 
176
 
 
177
 
    def file_kind(self, filename):
178
 
        if isfile(self.abspath(filename)):
179
 
            return 'file'
180
 
        elif isdir(self.abspath(filename)):
181
 
            return 'directory'
182
 
        else:
183
 
            return 'unknown'
184
 
 
185
 
 
186
 
    def list_files(self):
187
 
        """Recursively list all files as (path, class, kind, id).
188
 
 
189
 
        Lists, but does not descend into unversioned directories.
190
 
 
191
 
        This does not include files that have been deleted in this
192
 
        tree.
193
 
 
194
 
        Skips the control directory.
195
 
        """
196
 
        inv = self.inventory
197
 
 
198
 
        def descend(from_dir, from_dir_id, dp):
199
 
            ls = os.listdir(dp)
200
 
            ls.sort()
201
 
            for f in ls:
202
 
                ## TODO: If we find a subdirectory with its own .bzr
203
 
                ## directory, then that is a separate tree and we
204
 
                ## should exclude it.
205
 
                if bzrlib.BZRDIR == f:
206
 
                    continue
207
 
 
208
 
                # path within tree
209
 
                fp = appendpath(from_dir, f)
210
 
 
211
 
                # absolute path
212
 
                fap = appendpath(dp, f)
213
 
                
214
 
                f_ie = inv.get_child(from_dir_id, f)
215
 
                if f_ie:
216
 
                    c = 'V'
217
 
                elif self.is_ignored(fp):
218
 
                    c = 'I'
219
 
                else:
220
 
                    c = '?'
221
 
 
222
 
                fk = file_kind(fap)
223
 
 
224
 
                if f_ie:
225
 
                    if f_ie.kind != fk:
226
 
                        bailout("file %r entered as kind %r id %r, now of kind %r"
227
 
                                % (fap, f_ie.kind, f_ie.file_id, fk))
228
 
 
229
 
                yield fp, c, fk, (f_ie and f_ie.file_id)
230
 
 
231
 
                if fk != 'directory':
232
 
                    continue
233
 
 
234
 
                if c != 'V':
235
 
                    # don't descend unversioned directories
236
 
                    continue
237
 
                
238
 
                for ff in descend(fp, f_ie.file_id, fap):
239
 
                    yield ff
240
 
 
241
 
        for f in descend('', None, self.basedir):
242
 
            yield f
243
 
            
244
 
 
245
 
 
246
 
    def unknowns(self, path='', dir_id=None):
247
 
        """Yield names of unknown files in this WorkingTree.
248
 
 
249
 
        If there are any unknown directories then only the directory is
250
 
        returned, not all its children.  But if there are unknown files
251
 
        under a versioned subdirectory, they are returned.
252
 
 
253
 
        Currently returned depth-first, sorted by name within directories.
254
 
        """
255
 
        for fpath, fclass, fkind, fid in self.list_files():
256
 
            if fclass == '?':
257
 
                yield fpath
258
 
                
259
 
 
260
 
    def ignored_files(self):
261
 
        for fpath, fclass, fkind, fid in self.list_files():
262
 
            if fclass == 'I':
263
 
                yield fpath
264
 
 
265
 
 
266
 
    def get_ignore_list(self):
267
 
        """Return list of ignore patterns.
268
 
 
269
 
        Cached in the Tree object after the first call.
270
 
        """
271
 
        if hasattr(self, '_ignorelist'):
272
 
            return self._ignorelist
273
 
 
274
 
        l = bzrlib.DEFAULT_IGNORE[:]
275
 
        if self.has_filename(bzrlib.IGNORE_FILENAME):
276
 
            f = self.get_file_byname(bzrlib.IGNORE_FILENAME)
277
 
            l.extend([line.rstrip("\n\r") for line in f.readlines()])
278
 
        self._ignorelist = l
279
 
        return l
280
 
 
281
 
 
282
 
    def is_ignored(self, filename):
283
 
        """Check whether the filename matches an ignore pattern.
284
 
 
285
 
        Patterns containing '/' need to match the whole path; others
286
 
        match against only the last component.
287
 
 
288
 
        If the file is ignored, returns the pattern which caused it to
289
 
        be ignored, otherwise None.  So this can simply be used as a
290
 
        boolean if desired."""
291
 
 
292
 
        ## TODO: Use '**' to match directories, and other extended globbing stuff from cvs/rsync.
293
 
        
294
 
        for pat in self.get_ignore_list():
295
 
            if '/' in pat:
296
 
                if fnmatch.fnmatchcase(filename, pat):
297
 
                    return pat
298
 
            else:
299
 
                if fnmatch.fnmatchcase(splitpath(filename)[-1], pat):
300
 
                    return pat
301
 
        return None
302
 
        
303
 
 
304
 
        
305
 
        
306
 
 
 
103
    def print_file(self, file_id):
 
104
        """Print file with id `file_id` to stdout."""
 
105
        import sys
 
106
        sys.stdout.write(self.get_file_text(file_id))
 
107
 
 
108
    def lock_read(self):
 
109
        pass
 
110
 
 
111
    def unlock(self):
 
112
        pass
 
113
        
 
114
        
307
115
class RevisionTree(Tree):
308
116
    """Tree viewing a previous revision.
309
117
 
310
118
    File text can be retrieved from the text store.
311
119
 
312
 
    :todo: Some kind of `__repr__` method, but a good one
 
120
    TODO: Some kind of `__repr__` method, but a good one
313
121
           probably means knowing the branch and revision number,
314
122
           or at least passing a description to the constructor.
315
123
    """
316
124
    
317
 
    def __init__(self, store, inv):
318
 
        self._store = store
 
125
    def __init__(self, branch, inv, revision_id):
 
126
        self._branch = branch
 
127
        self._weave_store = branch.weave_store
319
128
        self._inventory = inv
 
129
        self._revision_id = revision_id
 
130
 
 
131
    def get_weave(self, file_id):
 
132
        import bzrlib.transactions as transactions
 
133
        return self._weave_store.get_weave(file_id,
 
134
                self._branch.get_transaction())
 
135
 
 
136
    def get_weave_prelude(self, file_id):
 
137
        import bzrlib.transactions as transactions
 
138
        return self._weave_store.get_weave_prelude(file_id,
 
139
                self._branch.get_transaction())
 
140
 
 
141
    def get_file_lines(self, file_id):
 
142
        ie = self._inventory[file_id]
 
143
        weave = self.get_weave(file_id)
 
144
        return weave.get(ie.revision)
 
145
 
 
146
    def get_file_text(self, file_id):
 
147
        return ''.join(self.get_file_lines(file_id))
320
148
 
321
149
    def get_file(self, file_id):
322
 
        ie = self._inventory[file_id]
323
 
        f = self._store[ie.text_id]
324
 
        mutter("  get fileid{%s} from %r" % (file_id, self))
325
 
        self._check_retrieved(ie, f)
326
 
        return f
 
150
        return StringIO(self.get_file_text(file_id))
327
151
 
328
152
    def get_file_size(self, file_id):
329
153
        return self._inventory[file_id].text_size
330
154
 
331
155
    def get_file_sha1(self, file_id):
332
156
        ie = self._inventory[file_id]
333
 
        return ie.text_sha1
 
157
        if ie.kind == "file":
 
158
            return ie.text_sha1
 
159
 
 
160
    def is_executable(self, file_id):
 
161
        ie = self._inventory[file_id]
 
162
        if ie.kind != "file":
 
163
            return None 
 
164
        return self._inventory[file_id].executable
334
165
 
335
166
    def has_filename(self, filename):
336
167
        return bool(self.inventory.path2id(filename))
338
169
    def list_files(self):
339
170
        # The only files returned by this are those from the version
340
171
        for path, entry in self.inventory.iter_entries():
341
 
            yield path, 'V', entry.kind, entry.file_id
 
172
            yield path, 'V', entry.kind, entry.file_id, entry
 
173
 
 
174
    def get_symlink_target(self, file_id):
 
175
        ie = self._inventory[file_id]
 
176
        return ie.symlink_target;
 
177
 
 
178
    def kind(self, file_id):
 
179
        return self._inventory[file_id].kind
 
180
 
 
181
    def lock_read(self):
 
182
        self._branch.lock_read()
 
183
 
 
184
    def unlock(self):
 
185
        self._branch.unlock()
342
186
 
343
187
 
344
188
class EmptyTree(Tree):
345
189
    def __init__(self):
346
190
        self._inventory = Inventory()
347
191
 
 
192
    def get_symlink_target(self, file_id):
 
193
        return None
 
194
 
348
195
    def has_filename(self, filename):
349
196
        return False
350
197
 
 
198
    def kind(self, file_id):
 
199
        assert self._inventory[file_id].kind == "root_directory"
 
200
        return "root_directory"
 
201
 
351
202
    def list_files(self):
352
 
        if False:  # just to make it a generator
353
 
            yield None
 
203
        return iter([])
354
204
    
 
205
    def __contains__(self, file_id):
 
206
        return file_id in self._inventory
 
207
 
 
208
    def get_file_sha1(self, file_id):
 
209
        assert self._inventory[file_id].kind == "root_directory"
 
210
        return None
355
211
 
356
212
 
357
213
######################################################################
409
265
 
410
266
    
411
267
 
 
268
def find_renames(old_inv, new_inv):
 
269
    for file_id in old_inv:
 
270
        if file_id not in new_inv:
 
271
            continue
 
272
        old_name = old_inv.id2path(file_id)
 
273
        new_name = new_inv.id2path(file_id)
 
274
        if old_name != new_name:
 
275
            yield (old_name, new_name)
 
276
            
 
277
 
 
278