~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: John Arbash Meinel
  • Date: 2005-09-17 21:57:11 UTC
  • mto: (1393.2.1)
  • mto: This revision was merged to the branch mainline in revision 1396.
  • Revision ID: john@arbash-meinel.com-20050917215711-9fa31e650a1f2fd8
Got HttpTransport tests to pass. Check for EAGAIN, pass permit_failure around, etc

Show diffs side-by-side

added added

removed removed

Lines of Context:
21
21
 
22
22
 
23
23
import sys, os.path, types, re
24
 
from sets import Set
25
 
 
26
 
try:
27
 
    from cElementTree import Element, ElementTree, SubElement
28
 
except ImportError:
29
 
    from elementtree.ElementTree import Element, ElementTree, SubElement
30
 
 
31
 
from xml import XMLMixin
32
 
from errors import bailout, BzrError, BzrCheckError
33
24
 
34
25
import bzrlib
 
26
from bzrlib.errors import BzrError, BzrCheckError
 
27
 
35
28
from bzrlib.osutils import uuid, quotefn, splitpath, joinpath, appendpath
36
29
from bzrlib.trace import mutter
 
30
from bzrlib.errors import NotVersionedError
 
31
        
37
32
 
38
 
class InventoryEntry(XMLMixin):
 
33
class InventoryEntry(object):
39
34
    """Description of a versioned file.
40
35
 
41
36
    An InventoryEntry has the following fields, which are also
60
55
    >>> i.path2id('')
61
56
    'TREE_ROOT'
62
57
    >>> i.add(InventoryEntry('123', 'src', 'directory', ROOT_ID))
 
58
    InventoryEntry('123', 'src', kind='directory', parent_id='TREE_ROOT')
63
59
    >>> i.add(InventoryEntry('2323', 'hello.c', 'file', parent_id='123'))
 
60
    InventoryEntry('2323', 'hello.c', kind='file', parent_id='123')
64
61
    >>> for j in i.iter_entries():
65
62
    ...   print j
66
63
    ... 
69
66
    >>> i.add(InventoryEntry('2323', 'bye.c', 'file', '123'))
70
67
    Traceback (most recent call last):
71
68
    ...
72
 
    BzrError: ('inventory already contains entry with id {2323}', [])
 
69
    BzrError: inventory already contains entry with id {2323}
73
70
    >>> i.add(InventoryEntry('2324', 'bye.c', 'file', '123'))
 
71
    InventoryEntry('2324', 'bye.c', kind='file', parent_id='123')
74
72
    >>> i.add(InventoryEntry('2325', 'wibble', 'directory', '123'))
 
73
    InventoryEntry('2325', 'wibble', kind='directory', parent_id='123')
75
74
    >>> i.path2id('src/wibble')
76
75
    '2325'
77
76
    >>> '2325' in i
78
77
    True
79
78
    >>> i.add(InventoryEntry('2326', 'wibble.c', 'file', '2325'))
 
79
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
80
80
    >>> i['2326']
81
81
    InventoryEntry('2326', 'wibble.c', kind='file', parent_id='2325')
82
82
    >>> for j in i.iter_entries():
99
99
    # TODO: split InventoryEntry into subclasses for files,
100
100
    # directories, etc etc.
101
101
 
102
 
    text_sha1 = None
103
 
    text_size = None
104
 
    
 
102
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
103
                 'text_id', 'parent_id', 'children',
 
104
                 'text_version', 'entry_version', ]
 
105
 
 
106
 
105
107
    def __init__(self, file_id, name, kind, parent_id, text_id=None):
106
108
        """Create an InventoryEntry
107
109
        
117
119
        Traceback (most recent call last):
118
120
        BzrCheckError: InventoryEntry name 'src/hello.c' is invalid
119
121
        """
 
122
        assert isinstance(name, basestring), name
120
123
        if '/' in name or '\\' in name:
121
124
            raise BzrCheckError('InventoryEntry name %r is invalid' % name)
122
125
        
 
126
        self.text_version = None
 
127
        self.entry_version = None
 
128
        self.text_sha1 = None
 
129
        self.text_size = None
123
130
        self.file_id = file_id
124
131
        self.name = name
125
132
        self.kind = kind
145
152
                               self.parent_id, text_id=self.text_id)
146
153
        other.text_sha1 = self.text_sha1
147
154
        other.text_size = self.text_size
 
155
        # note that children are *not* copied; they're pulled across when
 
156
        # others are added
148
157
        return other
149
158
 
150
159
 
157
166
                   self.parent_id))
158
167
 
159
168
    
160
 
    def to_element(self):
161
 
        """Convert to XML element"""
162
 
        e = Element('entry')
163
 
 
164
 
        e.set('name', self.name)
165
 
        e.set('file_id', self.file_id)
166
 
        e.set('kind', self.kind)
167
 
 
168
 
        if self.text_size != None:
169
 
            e.set('text_size', '%d' % self.text_size)
170
 
            
171
 
        for f in ['text_id', 'text_sha1']:
172
 
            v = getattr(self, f)
173
 
            if v != None:
174
 
                e.set(f, v)
175
 
 
176
 
        # to be conservative, we don't externalize the root pointers
177
 
        # for now, leaving them as null in the xml form.  in a future
178
 
        # version it will be implied by nested elements.
179
 
        if self.parent_id != ROOT_ID:
180
 
            assert isinstance(self.parent_id, basestring)
181
 
            e.set('parent_id', self.parent_id)
182
 
 
183
 
        e.tail = '\n'
184
 
            
185
 
        return e
186
 
 
187
 
 
188
 
    def from_element(cls, elt):
189
 
        assert elt.tag == 'entry'
190
 
 
191
 
        ## original format inventories don't have a parent_id for
192
 
        ## nodes in the root directory, but it's cleaner to use one
193
 
        ## internally.
194
 
        parent_id = elt.get('parent_id')
195
 
        if parent_id == None:
196
 
            parent_id = ROOT_ID
197
 
 
198
 
        self = cls(elt.get('file_id'), elt.get('name'), elt.get('kind'), parent_id)
199
 
        self.text_id = elt.get('text_id')
200
 
        self.text_sha1 = elt.get('text_sha1')
201
 
        
202
 
        ## mutter("read inventoryentry: %r" % (elt.attrib))
203
 
 
204
 
        v = elt.get('text_size')
205
 
        self.text_size = v and int(v)
206
 
 
207
 
        return self
208
 
            
209
 
 
210
 
    from_element = classmethod(from_element)
211
 
 
212
 
    def __cmp__(self, other):
213
 
        if self is other:
214
 
            return 0
 
169
    def __eq__(self, other):
215
170
        if not isinstance(other, InventoryEntry):
216
171
            return NotImplemented
217
172
 
218
 
        return cmp(self.file_id, other.file_id) \
219
 
               or cmp(self.name, other.name) \
220
 
               or cmp(self.text_sha1, other.text_sha1) \
221
 
               or cmp(self.text_size, other.text_size) \
222
 
               or cmp(self.text_id, other.text_id) \
223
 
               or cmp(self.parent_id, other.parent_id) \
224
 
               or cmp(self.kind, other.kind)
 
173
        return (self.file_id == other.file_id) \
 
174
               and (self.name == other.name) \
 
175
               and (self.text_sha1 == other.text_sha1) \
 
176
               and (self.text_size == other.text_size) \
 
177
               and (self.text_id == other.text_id) \
 
178
               and (self.parent_id == other.parent_id) \
 
179
               and (self.kind == other.kind) \
 
180
               and (self.text_version == other.text_version) \
 
181
               and (self.entry_version == other.entry_version)
 
182
 
 
183
 
 
184
    def __ne__(self, other):
 
185
        return not (self == other)
 
186
 
 
187
    def __hash__(self):
 
188
        raise ValueError('not hashable')
225
189
 
226
190
 
227
191
 
233
197
        self.parent_id = None
234
198
        self.name = ''
235
199
 
236
 
    def __cmp__(self, other):
237
 
        if self is other:
238
 
            return 0
 
200
    def __eq__(self, other):
239
201
        if not isinstance(other, RootEntry):
240
202
            return NotImplemented
241
 
        return cmp(self.file_id, other.file_id) \
242
 
               or cmp(self.children, other.children)
243
 
 
244
 
 
245
 
 
246
 
class Inventory(XMLMixin):
 
203
        
 
204
        return (self.file_id == other.file_id) \
 
205
               and (self.children == other.children)
 
206
 
 
207
 
 
208
 
 
209
class Inventory(object):
247
210
    """Inventory of versioned files in a tree.
248
211
 
249
212
    This describes which file_id is present at each point in the tree,
261
224
    inserted, other than through the Inventory API.
262
225
 
263
226
    >>> inv = Inventory()
264
 
    >>> inv.write_xml(sys.stdout)
265
 
    <inventory>
266
 
    </inventory>
267
227
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
228
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT')
268
229
    >>> inv['123-123'].name
269
230
    'hello.c'
270
231
 
279
240
 
280
241
    >>> [x[0] for x in inv.iter_entries()]
281
242
    ['hello.c']
282
 
    
283
 
    >>> inv.write_xml(sys.stdout)
284
 
    <inventory>
285
 
    <entry file_id="123-123" kind="file" name="hello.c" />
286
 
    </inventory>
287
 
 
 
243
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
 
244
    >>> inv.add(InventoryEntry('123-123', 'hello.c', 'file', ROOT_ID))
 
245
    InventoryEntry('123-123', 'hello.c', kind='file', parent_id='TREE_ROOT-12345678-12345678')
288
246
    """
289
 
    def __init__(self):
 
247
    def __init__(self, root_id=ROOT_ID):
290
248
        """Create or read an inventory.
291
249
 
292
250
        If a working directory is specified, the inventory is read
296
254
        The inventory is created with a default root directory, with
297
255
        an id of None.
298
256
        """
299
 
        self.root = RootEntry(ROOT_ID)
 
257
        # We are letting Branch.initialize() create a unique inventory
 
258
        # root id. Rather than generating a random one here.
 
259
        #if root_id is None:
 
260
        #    root_id = bzrlib.branch.gen_file_id('TREE_ROOT')
 
261
        self.root = RootEntry(root_id)
300
262
        self._byid = {self.root.file_id: self.root}
301
263
 
302
264
 
324
286
            if ie.kind == 'directory':
325
287
                for cn, cie in self.iter_entries(from_dir=ie.file_id):
326
288
                    yield os.path.join(name, cn), cie
327
 
                    
 
289
 
 
290
 
 
291
    def entries(self):
 
292
        """Return list of (path, ie) for all entries except the root.
 
293
 
 
294
        This may be faster than iter_entries.
 
295
        """
 
296
        accum = []
 
297
        def descend(dir_ie, dir_path):
 
298
            kids = dir_ie.children.items()
 
299
            kids.sort()
 
300
            for name, ie in kids:
 
301
                child_path = os.path.join(dir_path, name)
 
302
                accum.append((child_path, ie))
 
303
                if ie.kind == 'directory':
 
304
                    descend(ie, child_path)
 
305
 
 
306
        descend(self.root, '')
 
307
        return accum
328
308
 
329
309
 
330
310
    def directories(self):
331
 
        """Return (path, entry) pairs for all directories.
 
311
        """Return (path, entry) pairs for all directories, including the root.
332
312
        """
333
 
        def descend(parent_ie):
334
 
            parent_name = parent_ie.name
335
 
            yield parent_name, parent_ie
336
 
 
337
 
            # directory children in sorted order
338
 
            dn = []
339
 
            for ie in parent_ie.children.itervalues():
340
 
                if ie.kind == 'directory':
341
 
                    dn.append((ie.name, ie))
342
 
            dn.sort()
 
313
        accum = []
 
314
        def descend(parent_ie, parent_path):
 
315
            accum.append((parent_path, parent_ie))
343
316
            
344
 
            for name, child_ie in dn:
345
 
                for sub_name, sub_ie in descend(child_ie):
346
 
                    yield appendpath(parent_name, sub_name), sub_ie
 
317
            kids = [(ie.name, ie) for ie in parent_ie.children.itervalues() if ie.kind == 'directory']
 
318
            kids.sort()
347
319
 
348
 
        for name, ie in descend(self.root):
349
 
            yield name, ie
 
320
            for name, child_ie in kids:
 
321
                child_path = os.path.join(parent_path, name)
 
322
                descend(child_ie, child_path)
 
323
        descend(self.root, '')
 
324
        return accum
350
325
        
351
326
 
352
327
 
355
330
 
356
331
        >>> inv = Inventory()
357
332
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
333
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
358
334
        >>> '123' in inv
359
335
        True
360
336
        >>> '456' in inv
368
344
 
369
345
        >>> inv = Inventory()
370
346
        >>> inv.add(InventoryEntry('123123', 'hello.c', 'file', ROOT_ID))
 
347
        InventoryEntry('123123', 'hello.c', kind='file', parent_id='TREE_ROOT')
371
348
        >>> inv['123123'].name
372
349
        'hello.c'
373
350
        """
391
368
        """Add entry to inventory.
392
369
 
393
370
        To add  a file to a branch ready to be committed, use Branch.add,
394
 
        which calls this."""
 
371
        which calls this.
 
372
 
 
373
        Returns the new entry object.
 
374
        """
395
375
        if entry.file_id in self._byid:
396
 
            bailout("inventory already contains entry with id {%s}" % entry.file_id)
 
376
            raise BzrError("inventory already contains entry with id {%s}" % entry.file_id)
 
377
 
 
378
        if entry.parent_id == ROOT_ID or entry.parent_id is None:
 
379
            entry.parent_id = self.root.file_id
397
380
 
398
381
        try:
399
382
            parent = self._byid[entry.parent_id]
400
383
        except KeyError:
401
 
            bailout("parent_id {%s} not in inventory" % entry.parent_id)
 
384
            raise BzrError("parent_id {%s} not in inventory" % entry.parent_id)
402
385
 
403
386
        if parent.children.has_key(entry.name):
404
 
            bailout("%s is already versioned" %
 
387
            raise BzrError("%s is already versioned" %
405
388
                    appendpath(self.id2path(parent.file_id), entry.name))
406
389
 
407
390
        self._byid[entry.file_id] = entry
408
391
        parent.children[entry.name] = entry
 
392
        return entry
409
393
 
410
394
 
411
395
    def add_path(self, relpath, kind, file_id=None):
412
396
        """Add entry from a path.
413
397
 
414
 
        The immediate parent must already be versioned"""
 
398
        The immediate parent must already be versioned.
 
399
 
 
400
        Returns the new entry object."""
 
401
        from bzrlib.branch import gen_file_id
 
402
        
415
403
        parts = bzrlib.osutils.splitpath(relpath)
416
404
        if len(parts) == 0:
417
 
            bailout("cannot re-add root of inventory")
 
405
            raise BzrError("cannot re-add root of inventory")
418
406
 
419
407
        if file_id == None:
420
 
            file_id = bzrlib.branch.gen_file_id(relpath)
421
 
 
422
 
        parent_id = self.path2id(parts[:-1])
423
 
        assert parent_id != None
 
408
            file_id = gen_file_id(relpath)
 
409
 
 
410
        parent_path = parts[:-1]
 
411
        parent_id = self.path2id(parent_path)
 
412
        if parent_id == None:
 
413
            raise NotVersionedError(parent_path)
 
414
 
424
415
        ie = InventoryEntry(file_id, parts[-1],
425
416
                            kind=kind, parent_id=parent_id)
426
417
        return self.add(ie)
431
422
 
432
423
        >>> inv = Inventory()
433
424
        >>> inv.add(InventoryEntry('123', 'foo.c', 'file', ROOT_ID))
 
425
        InventoryEntry('123', 'foo.c', kind='file', parent_id='TREE_ROOT')
434
426
        >>> '123' in inv
435
427
        True
436
428
        >>> del inv['123']
452
444
        del self[ie.parent_id].children[ie.name]
453
445
 
454
446
 
455
 
    def id_set(self):
456
 
        return Set(self._byid)
457
 
 
458
 
 
459
 
    def to_element(self):
460
 
        """Convert to XML Element"""
461
 
        e = Element('inventory')
462
 
        e.text = '\n'
463
 
        for path, ie in self.iter_entries():
464
 
            e.append(ie.to_element())
465
 
        return e
466
 
    
467
 
 
468
 
    def from_element(cls, elt):
469
 
        """Construct from XML Element
470
 
 
471
 
        >>> inv = Inventory()
472
 
        >>> inv.add(InventoryEntry('foo.c-123981239', 'foo.c', 'file', ROOT_ID))
473
 
        >>> elt = inv.to_element()
474
 
        >>> inv2 = Inventory.from_element(elt)
475
 
        >>> inv2 == inv
476
 
        True
477
 
        """
478
 
        assert elt.tag == 'inventory'
479
 
        o = cls()
480
 
        for e in elt:
481
 
            o.add(InventoryEntry.from_element(e))
482
 
        return o
483
 
        
484
 
    from_element = classmethod(from_element)
485
 
 
486
 
 
487
 
    def __cmp__(self, other):
 
447
    def __eq__(self, other):
488
448
        """Compare two sets by comparing their contents.
489
449
 
490
450
        >>> i1 = Inventory()
492
452
        >>> i1 == i2
493
453
        True
494
454
        >>> i1.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
455
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
495
456
        >>> i1 == i2
496
457
        False
497
458
        >>> i2.add(InventoryEntry('123', 'foo', 'file', ROOT_ID))
 
459
        InventoryEntry('123', 'foo', kind='file', parent_id='TREE_ROOT')
498
460
        >>> i1 == i2
499
461
        True
500
462
        """
501
 
        if self is other:
502
 
            return 0
503
 
        
504
463
        if not isinstance(other, Inventory):
505
464
            return NotImplemented
506
465
 
507
 
        if self.id_set() ^ other.id_set():
508
 
            return 1
509
 
 
510
 
        for file_id in self._byid:
511
 
            c = cmp(self[file_id], other[file_id])
512
 
            if c: return c
513
 
 
514
 
        return 0
 
466
        if len(self._byid) != len(other._byid):
 
467
            # shortcut: obviously not the same
 
468
            return False
 
469
 
 
470
        return self._byid == other._byid
 
471
 
 
472
 
 
473
    def __ne__(self, other):
 
474
        return not (self == other)
 
475
 
 
476
 
 
477
    def __hash__(self):
 
478
        raise ValueError('not hashable')
515
479
 
516
480
 
517
481
    def get_idpath(self, file_id):
527
491
            try:
528
492
                ie = self._byid[file_id]
529
493
            except KeyError:
530
 
                bailout("file_id {%s} not found in inventory" % file_id)
 
494
                raise BzrError("file_id {%s} not found in inventory" % file_id)
531
495
            p.insert(0, ie.file_id)
532
496
            file_id = ie.parent_id
533
497
        return p
537
501
        """Return as a list the path to file_id."""
538
502
 
539
503
        # get all names, skipping root
540
 
        p = [self[fid].name for fid in self.get_idpath(file_id)[1:]]
 
504
        p = [self._byid[fid].name for fid in self.get_idpath(file_id)[1:]]
541
505
        return os.sep.join(p)
542
506
            
543
507
 
587
551
 
588
552
        This does not move the working file."""
589
553
        if not is_valid_name(new_name):
590
 
            bailout("not an acceptable filename: %r" % new_name)
 
554
            raise BzrError("not an acceptable filename: %r" % new_name)
591
555
 
592
556
        new_parent = self._byid[new_parent_id]
593
557
        if new_name in new_parent.children:
594
 
            bailout("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
 
558
            raise BzrError("%r already exists in %r" % (new_name, self.id2path(new_parent_id)))
595
559
 
596
560
        new_parent_idpath = self.get_idpath(new_parent_id)
597
561
        if file_id in new_parent_idpath:
598
 
            bailout("cannot move directory %r into a subdirectory of itself, %r"
 
562
            raise BzrError("cannot move directory %r into a subdirectory of itself, %r"
599
563
                    % (self.id2path(file_id), self.id2path(new_parent_id)))
600
564
 
601
565
        file_ie = self._byid[file_id]
612
576
 
613
577
 
614
578
 
615
 
_NAME_RE = re.compile(r'^[^/\\]+$')
 
579
_NAME_RE = None
616
580
 
617
581
def is_valid_name(name):
 
582
    global _NAME_RE
 
583
    if _NAME_RE == None:
 
584
        _NAME_RE = re.compile(r'^[^/\\]+$')
 
585
        
618
586
    return bool(_NAME_RE.match(name))