~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

merge merge tweaks from aaron, which includes latest .dev

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# This should really be an id randomly assigned when the tree is
 
19
# created, but it's not for now.
 
20
ROOT_ID = "TREE_ROOT"
 
21
 
 
22
 
 
23
import sys, os.path, types, re
 
24
 
 
25
import bzrlib
 
26
from bzrlib.errors import BzrError, BzrCheckError
 
27
 
 
28
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
 
29
from bzrlib.trace import mutter
 
30
from bzrlib.errors import NotVersionedError
 
31
        
 
32
 
 
33
class InventoryEntry(object):
 
34
    """Description of a versioned file.
 
35
 
 
36
    An InventoryEntry has the following fields, which are also
 
37
    present in the XML inventory-entry element:
 
38
 
 
39
    * *file_id*
 
40
    * *name*: (only the basename within the directory, must not
 
41
      contain slashes)
 
42
    * *kind*: "directory" or "file"
 
43
    * *directory_id*: (if absent/null means the branch root directory)
 
44
    * *text_sha1*: only for files
 
45
    * *text_size*: in bytes, only for files 
 
46
    * *text_id*: identifier for the text version, only for files
 
47
 
 
48
    InventoryEntries can also exist inside a WorkingTree
 
49
    inventory, in which case they are not yet bound to a
 
50
    particular revision of the file.  In that case the text_sha1,
 
51
    text_size and text_id are absent.
 
52
 
 
53
 
 
54
    >>> i = Inventory()
 
55
    >>> i.path2id('')
 
56
    'TREE_ROOT'
 
57
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
58
    InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT')
 
59
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
60
    InventoryEntry('2323', 'hello.c', kind='file', parent_id='123')
 
61
    >>> for j in i.iter_entries():
 
62
    ...   print j
 
63
    ... 
 
64
    ('src', InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT'))
 
65
    ('src/hello.c', InventoryEntry('2323', 'hello.c', kind='file', parent_id='123'))
 
66
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
 
67
    Traceback (most recent call last):
 
68
    ...
 
69
    BzrError: inventory already contains entry with id {2323}
 
70
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
71
    InventoryEntry('2324', 'bye.c', kind='file', parent_id='123')
 
72
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
73
    InventoryEntry('2325', 'wibble', kind='directory', parent_id='123')
 
74
    >>> i.path2id('src/wibble')
 
75
    '2325'
 
76
    >>> '2325' in i
 
77
    True
 
78
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
79
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
80
    >>> i['2326']
 
81
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
 
82
    >>> for j in i.iter_entries():
 
83
    ...     print j[0]
 
84
    ...     assert i.path2id(j[0])
 
85
    ... 
 
86
    src
 
87
    src/bye.c
 
88
    src/hello.c
 
89
    src/wibble
 
90
    src/wibble/wibble.c
 
91
    >>> i.id2path('2326')
 
92
    'src/wibble/wibble.c'
 
93
 
 
94
    TODO: Maybe also keep the full path of the entry, and the children?
 
95
           But those depend on its position within a particular inventory, and
 
96
           it would be nice not to need to hold the backpointer here.
 
97
    """
 
98
 
 
99
    # TODO: split InventoryEntry into subclasses for files,
 
100
    # directories, etc etc.
 
101
 
 
102
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
103
                 'text_id', 'parent_id', 'children',
 
104
                 'text_version', 'entry_version', ]
 
105
 
 
106
 
 
107
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
 
108
        """Create an InventoryEntry
 
109
        
 
110
        The filename must be a single component, relative to the
 
111
        parent directory; it cannot be a whole path or relative name.
 
112
 
 
113
        >>> e = InventoryEntry('123', 'hello.c', 'file', ROOT_ID)
 
114
        >>> e.name
 
115
        'hello.c'
 
116
        >>> e.file_id
 
117
        '123'
 
118
        >>> e = InventoryEntry('123', 'src/hello.c', 'file', ROOT_ID)
 
119
        Traceback (most recent call last):
 
120
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
 
121
        """
 
122
        assert isinstance(name, basestring), name
 
123
        if '/' in name or '\\' in name:
 
124
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
 
125
        
 
126
        self.text_version = None
 
127
        self.entry_version = None
 
128
        self.text_sha1 = None
 
129
        self.text_size = None
 
130
        self.file_id = file_id
 
131
        self.name = name
 
132
        self.kind = kind
 
133
        self.text_id = text_id
 
134
        self.parent_id = parent_id
 
135
        if kind == 'directory':
 
136
            self.children = {}
 
137
        elif kind == 'file':
 
138
            pass
 
139
        else:
 
140
            raise BzrError("unhandled entry kind %r" % kind)
 
141
 
 
142
 
 
143
 
 
144
    def sorted_children(self):
 
145
        l = self.children.items()
 
146
        l.sort()
 
147
        return l
 
148
 
 
149
 
 
150
    def copy(self):
 
151
        other = InventoryEntry(self.file_id, self.name, self.kind,
 
152
                               self.parent_id, text_id=self.text_id)
 
153
        other.text_sha1 = self.text_sha1
 
154
        other.text_size = self.text_size
 
155
        # note that children are *not* copied; they're pulled across when
 
156
        # others are added
 
157
        return other
 
158
 
 
159
 
 
160
    def __repr__(self):
 
161
        return ("%s(%r, %r, kind=%r, parent_id=%r)"
 
162
                % (self.__class__.__name__,
 
163
                   self.file_id,
 
164
                   self.name,
 
165
                   self.kind,
 
166
                   self.parent_id))
 
167
 
 
168
    
 
169
    def __eq__(self, other):
 
170
        if not isinstance(other, InventoryEntry):
 
171
            return NotImplemented
 
172
 
 
173
        return (self.file_id == other.file_id) \
 
174
               and (self.name == other.name) \
 
175
               and (self.text_sha1 == other.text_sha1) \
 
176
               and (self.text_size == other.text_size) \
 
177
               and (self.text_id == other.text_id) \
 
178
               and (self.parent_id == other.parent_id) \
 
179
               and (self.kind == other.kind) \
 
180
               and (self.text_version == other.text_version) \
 
181
               and (self.entry_version == other.entry_version)
 
182
 
 
183
 
 
184
    def __ne__(self, other):
 
185
        return not (self == other)
 
186
 
 
187
    def __hash__(self):
 
188
        raise ValueError('not hashable')
 
189
 
 
190
 
 
191
 
 
192
class RootEntry(InventoryEntry):
 
193
    def __init__(self, file_id):
 
194
        self.file_id = file_id
 
195
        self.children = {}
 
196
        self.kind = 'root_directory'
 
197
        self.parent_id = None
 
198
        self.name = ''
 
199
 
 
200
    def __eq__(self, other):
 
201
        if not isinstance(other, RootEntry):
 
202
            return NotImplemented
 
203
        
 
204
        return (self.file_id == other.file_id) \
 
205
               and (self.children == other.children)
 
206
 
 
207
 
 
208
 
 
209
class Inventory(object):
 
210
    """Inventory of versioned files in a tree.
 
211
 
 
212
    This describes which file_id is present at each point in the tree,
 
213
    and possibly the SHA-1 or other information about the file.
 
214
    Entries can be looked up either by path or by file_id.
 
215
 
 
216
    The inventory represents a typical unix file tree, with
 
217
    directories containing files and subdirectories.  We never store
 
218
    the full path to a file, because renaming a directory implicitly
 
219
    moves all of its contents.  This class internally maintains a
 
220
    lookup tree that allows the children under a directory to be
 
221
    returned quickly.
 
222
 
 
223
    InventoryEntry objects must not be modified after they are
 
224
    inserted, other than through the Inventory API.
 
225
 
 
226
    >>> inv = Inventory()
 
227
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
228
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT')
 
229
    >>> inv['123-123'].name
 
230
    'hello.c'
 
231
 
 
232
    May be treated as an iterator or set to look up file ids:
 
233
    
 
234
    >>> bool(inv.path2id('hello.c'))
 
235
    True
 
236
    >>> '123-123' in inv
 
237
    True
 
238
 
 
239
    May also look up by name:
 
240
 
 
241
    >>> [x[0] for x in inv.iter_entries()]
 
242
    ['hello.c']
 
243
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
 
244
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
245
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT-12345678-12345678')
 
246
    """
 
247
    def __init__(self, root_id=ROOT_ID):
 
248
        """Create or read an inventory.
 
249
 
 
250
        If a working directory is specified, the inventory is read
 
251
        from there.  If the file is specified, read from that. If not,
 
252
        the inventory is created empty.
 
253
 
 
254
        The inventory is created with a default root directory, with
 
255
        an id of None.
 
256
        """
 
257
        # We are letting Branch.initialize() create a unique inventory
 
258
        # root id. Rather than generating a random one here.
 
259
        #if root_id is None:
 
260
        #    root_id = bzrlib.branch.gen_file_id('TREE_ROOT')
 
261
        self.root = RootEntry(root_id)
 
262
        self._byid = {self.root.file_id: self.root}
 
263
 
 
264
 
 
265
    def __iter__(self):
 
266
        return iter(self._byid)
 
267
 
 
268
 
 
269
    def __len__(self):
 
270
        """Returns number of entries."""
 
271
        return len(self._byid)
 
272
 
 
273
 
 
274
    def iter_entries(self, from_dir=None):
 
275
        """Return (path, entry) pairs, in order by name."""
 
276
        if from_dir == None:
 
277
            assert self.root
 
278
            from_dir = self.root
 
279
        elif isinstance(from_dir, basestring):
 
280
            from_dir = self._byid[from_dir]
 
281
            
 
282
        kids = from_dir.children.items()
 
283
        kids.sort()
 
284
        for name, ie in kids:
 
285
            yield name, ie
 
286
            if ie.kind == 'directory':
 
287
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
 
288
                    yield os.path.join(name, cn), cie
 
289
 
 
290
 
 
291
    def entries(self):
 
292
        """Return list of (path, ie) for all entries except the root.
 
293
 
 
294
        This may be faster than iter_entries.
 
295
        """
 
296
        accum = []
 
297
        def descend(dir_ie, dir_path):
 
298
            kids = dir_ie.children.items()
 
299
            kids.sort()
 
300
            for name, ie in kids:
 
301
                child_path = os.path.join(dir_path, name)
 
302
                accum.append((child_path, ie))
 
303
                if ie.kind == 'directory':
 
304
                    descend(ie, child_path)
 
305
 
 
306
        descend(self.root, '')
 
307
        return accum
 
308
 
 
309
 
 
310
    def directories(self):
 
311
        """Return (path, entry) pairs for all directories, including the root.
 
312
        """
 
313
        accum = []
 
314
        def descend(parent_ie, parent_path):
 
315
            accum.append((parent_path, parent_ie))
 
316
            
 
317
            kids = [(ie.name, ie) for ie in parent_ie.children.itervalues() if ie.kind == 'directory']
 
318
            kids.sort()
 
319
 
 
320
            for name, child_ie in kids:
 
321
                child_path = os.path.join(parent_path, name)
 
322
                descend(child_ie, child_path)
 
323
        descend(self.root, '')
 
324
        return accum
 
325
        
 
326
 
 
327
 
 
328
    def __contains__(self, file_id):
 
329
        """True if this entry contains a file with given id.
 
330
 
 
331
        >>> inv = Inventory()
 
332
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
333
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
 
334
        >>> '123' in inv
 
335
        True
 
336
        >>> '456' in inv
 
337
        False
 
338
        """
 
339
        return file_id in self._byid
 
340
 
 
341
 
 
342
    def __getitem__(self, file_id):
 
343
        """Return the entry for given file_id.
 
344
 
 
345
        >>> inv = Inventory()
 
346
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
347
        InventoryEntry('123123', 'hello.c', kind='file', parent_id='TREE_ROOT')
 
348
        >>> inv['123123'].name
 
349
        'hello.c'
 
350
        """
 
351
        try:
 
352
            return self._byid[file_id]
 
353
        except KeyError:
 
354
            if file_id == None:
 
355
                raise BzrError("can't look up file_id None")
 
356
            else:
 
357
                raise BzrError("file_id {%s} not in inventory" % file_id)
 
358
 
 
359
 
 
360
    def get_file_kind(self, file_id):
 
361
        return self._byid[file_id].kind
 
362
 
 
363
    def get_child(self, parent_id, filename):
 
364
        return self[parent_id].children.get(filename)
 
365
 
 
366
 
 
367
    def add(self, entry):
 
368
        """Add entry to inventory.
 
369
 
 
370
        To add  a file to a branch ready to be committed, use Branch.add,
 
371
        which calls this.
 
372
 
 
373
        Returns the new entry object.
 
374
        """
 
375
        if entry.file_id in self._byid:
 
376
            raise BzrError("inventory already contains entry with id {%s}" % entry.file_id)
 
377
 
 
378
        if entry.parent_id == ROOT_ID or entry.parent_id is None:
 
379
            entry.parent_id = self.root.file_id
 
380
 
 
381
        try:
 
382
            parent = self._byid[entry.parent_id]
 
383
        except KeyError:
 
384
            raise BzrError("parent_id {%s} not in inventory" % entry.parent_id)
 
385
 
 
386
        if parent.children.has_key(entry.name):
 
387
            raise BzrError("%s is already versioned" %
 
388
                    appendpath(self.id2path(parent.file_id), entry.name))
 
389
 
 
390
        self._byid[entry.file_id] = entry
 
391
        parent.children[entry.name] = entry
 
392
        return entry
 
393
 
 
394
 
 
395
    def add_path(self, relpath, kind, file_id=None):
 
396
        """Add entry from a path.
 
397
 
 
398
        The immediate parent must already be versioned.
 
399
 
 
400
        Returns the new entry object."""
 
401
        from bzrlib.branch import gen_file_id
 
402
        
 
403
        parts = bzrlib.osutils.splitpath(relpath)
 
404
        if len(parts) == 0:
 
405
            raise BzrError("cannot re-add root of inventory")
 
406
 
 
407
        if file_id == None:
 
408
            file_id = gen_file_id(relpath)
 
409
 
 
410
        parent_path = parts[:-1]
 
411
        parent_id = self.path2id(parent_path)
 
412
        if parent_id == None:
 
413
            raise NotVersionedError(parent_path)
 
414
 
 
415
        ie = InventoryEntry(file_id, parts[-1],
 
416
                            kind=kind, parent_id=parent_id)
 
417
        return self.add(ie)
 
418
 
 
419
 
 
420
    def __delitem__(self, file_id):
 
421
        """Remove entry by id.
 
422
 
 
423
        >>> inv = Inventory()
 
424
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
425
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
 
426
        >>> '123' in inv
 
427
        True
 
428
        >>> del inv['123']
 
429
        >>> '123' in inv
 
430
        False
 
431
        """
 
432
        ie = self[file_id]
 
433
 
 
434
        assert self[ie.parent_id].children[ie.name] == ie
 
435
        
 
436
        # TODO: Test deleting all children; maybe hoist to a separate
 
437
        # deltree method?
 
438
        if ie.kind == 'directory':
 
439
            for cie in ie.children.values():
 
440
                del self[cie.file_id]
 
441
            del ie.children
 
442
 
 
443
        del self._byid[file_id]
 
444
        del self[ie.parent_id].children[ie.name]
 
445
 
 
446
 
 
447
    def __eq__(self, other):
 
448
        """Compare two sets by comparing their contents.
 
449
 
 
450
        >>> i1 = Inventory()
 
451
        >>> i2 = Inventory()
 
452
        >>> i1 == i2
 
453
        True
 
454
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
455
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
 
456
        >>> i1 == i2
 
457
        False
 
458
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
459
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
 
460
        >>> i1 == i2
 
461
        True
 
462
        """
 
463
        if not isinstance(other, Inventory):
 
464
            return NotImplemented
 
465
 
 
466
        if len(self._byid) != len(other._byid):
 
467
            # shortcut: obviously not the same
 
468
            return False
 
469
 
 
470
        return self._byid == other._byid
 
471
 
 
472
 
 
473
    def __ne__(self, other):
 
474
        return not (self == other)
 
475
 
 
476
 
 
477
    def __hash__(self):
 
478
        raise ValueError('not hashable')
 
479
 
 
480
 
 
481
    def get_idpath(self, file_id):
 
482
        """Return a list of file_ids for the path to an entry.
 
483
 
 
484
        The list contains one element for each directory followed by
 
485
        the id of the file itself.  So the length of the returned list
 
486
        is equal to the depth of the file in the tree, counting the
 
487
        root directory as depth 1.
 
488
        """
 
489
        p = []
 
490
        while file_id != None:
 
491
            try:
 
492
                ie = self._byid[file_id]
 
493
            except KeyError:
 
494
                raise BzrError("file_id {%s} not found in inventory" % file_id)
 
495
            p.insert(0, ie.file_id)
 
496
            file_id = ie.parent_id
 
497
        return p
 
498
 
 
499
 
 
500
    def id2path(self, file_id):
 
501
        """Return as a list the path to file_id."""
 
502
 
 
503
        # get all names, skipping root
 
504
        p = [self._byid[fid].name for fid in self.get_idpath(file_id)[1:]]
 
505
        return os.sep.join(p)
 
506
            
 
507
 
 
508
 
 
509
    def path2id(self, name):
 
510
        """Walk down through directories to return entry of last component.
 
511
 
 
512
        names may be either a list of path components, or a single
 
513
        string, in which case it is automatically split.
 
514
 
 
515
        This returns the entry of the last component in the path,
 
516
        which may be either a file or a directory.
 
517
 
 
518
        Returns None iff the path is not found.
 
519
        """
 
520
        if isinstance(name, types.StringTypes):
 
521
            name = splitpath(name)
 
522
 
 
523
        mutter("lookup path %r" % name)
 
524
 
 
525
        parent = self.root
 
526
        for f in name:
 
527
            try:
 
528
                cie = parent.children[f]
 
529
                assert cie.name == f
 
530
                assert cie.parent_id == parent.file_id
 
531
                parent = cie
 
532
            except KeyError:
 
533
                # or raise an error?
 
534
                return None
 
535
 
 
536
        return parent.file_id
 
537
 
 
538
 
 
539
    def has_filename(self, names):
 
540
        return bool(self.path2id(names))
 
541
 
 
542
 
 
543
    def has_id(self, file_id):
 
544
        return self._byid.has_key(file_id)
 
545
 
 
546
 
 
547
    def rename(self, file_id, new_parent_id, new_name):
 
548
        """Move a file within the inventory.
 
549
 
 
550
        This can change either the name, or the parent, or both.
 
551
 
 
552
        This does not move the working file."""
 
553
        if not is_valid_name(new_name):
 
554
            raise BzrError("not an acceptable filename: %r" % new_name)
 
555
 
 
556
        new_parent = self._byid[new_parent_id]
 
557
        if new_name in new_parent.children:
 
558
            raise BzrError("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
559
 
 
560
        new_parent_idpath = self.get_idpath(new_parent_id)
 
561
        if file_id in new_parent_idpath:
 
562
            raise BzrError("cannot move directory %r into a subdirectory of itself, %r"
 
563
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
 
564
 
 
565
        file_ie = self._byid[file_id]
 
566
        old_parent = self._byid[file_ie.parent_id]
 
567
 
 
568
        # TODO: Don't leave things messed up if this fails
 
569
 
 
570
        del old_parent.children[file_ie.name]
 
571
        new_parent.children[new_name] = file_ie
 
572
        
 
573
        file_ie.name = new_name
 
574
        file_ie.parent_id = new_parent_id
 
575
 
 
576
 
 
577
 
 
578
 
 
579
_NAME_RE = None
 
580
 
 
581
def is_valid_name(name):
 
582
    global _NAME_RE
 
583
    if _NAME_RE == None:
 
584
        _NAME_RE = re.compile(r'^[^/\\]+$')
 
585
        
 
586
    return bool(_NAME_RE.match(name))