← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/mutabletree.py

  • Committer: John Arbash Meinel
  • Date: 2010-08-05 16:27:35 UTC
  • mto: This revision was merged to the branch mainline in revision 5374.
  • Revision ID: john@arbash-meinel.com-20100805162735-172opvx34sr5gpbl
Find a case where we are wasting a bit of memory.

Specifically the 'build_details' tuple contains a lot of wasted references,
and we hold on to one of these for each record we are fetching.
And for something like 'bzr pack', that is all keys.

For just loading all text build details on my bzr+ repository, With:
locations = b.repository.texts._index.get_build_details(b.repository.texts.keys())
This drops the memory consumption from:
WorkingSize   77604KiB
 to
WorkingSize   64640KiB

Or around 10.6MB. I worked it out to a savings of about 80 bytes/record
on data that can have hundreds of thousands of records (in 32-bit).

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/mutabletree.py
32
32
    hooks,
33
33
    osutils,
34
34
    revisiontree,
35
 
    inventory,
36
35
    symbol_versioning,
37
36
    trace,
38
37
    tree,
416
415
            for c in self.conflicts():
417
416
                conflicts_related.update(c.associated_filenames())
418
417
 
419
 
        # expand any symlinks in the directory part, while leaving the
420
 
        # filename alone
421
 
        file_list = map(osutils.normalizepath, file_list)
422
 
 
423
418
        # validate user file paths and convert all paths to tree
424
419
        # relative : it's cheaper to make a tree relative path an abspath
425
420
        # than to convert an abspath to tree relative, and it's cheaper to
724
719
        file_id or None to generate a new file id
725
720
    :returns: None
726
721
    """
727
 
    # if the parent exists, but isn't a directory, we have to do the
728
 
    # kind change now -- really the inventory shouldn't pretend to know
729
 
    # the kind of wt files, but it does.
730
 
    if parent_ie.kind != 'directory':
731
 
        # nb: this relies on someone else checking that the path we're using
732
 
        # doesn't contain symlinks.
733
 
        new_parent_ie = inventory.make_entry('directory', parent_ie.name,
734
 
            parent_ie.parent_id, parent_ie.file_id)
735
 
        del inv[parent_ie.file_id]
736
 
        inv.add(new_parent_ie)
737
 
        parent_ie = new_parent_ie
738
722
    file_id = file_id_callback(inv, parent_ie, path, kind)
739
723
    entry = inv.make_entry(kind, path.base_path, parent_ie.file_id,
740
724
        file_id=file_id)