~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/memorytree.py

  • Committer: Eric Holmberg
  • Date: 2008-05-06 15:02:27 UTC
  • mto: This revision was merged to the branch mainline in revision 3449.
  • Revision ID: eholmberg@arrow.com-20080506150227-l3arq1yntdvnoxum
Fix for Bug #215426 in which bzr can cause a MemoryError in socket.recv while
downloading large packs over http.  This patch limits the request size for
socket.recv to avoid this problem.

Changes:
Added mock file object bzrlib.tests.file_utils.
Added new parameters to bzrlib.osutils.pumpfile.
Added unit tests for bzrlib.osutils.pumpfile.
Added usage of bzrlib.osutils.pumpfile to bzrlib.transport.http.response.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
"""MemoryTree object.
 
18
 
 
19
See MemoryTree for more details.
 
20
"""
 
21
 
 
22
 
 
23
from copy import deepcopy
 
24
 
 
25
from bzrlib import (
 
26
    errors,
 
27
    mutabletree,
 
28
    revision as _mod_revision,
 
29
    )
 
30
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
31
from bzrlib.osutils import sha_file
 
32
from bzrlib.mutabletree import needs_tree_write_lock
 
33
from bzrlib.transport.memory import MemoryTransport
 
34
 
 
35
 
 
36
class MemoryTree(mutabletree.MutableTree):
 
37
    """A MemoryTree is a specialisation of MutableTree.
 
38
    
 
39
    It maintains nearly no state outside of read_lock and write_lock
 
40
    transactions. (it keeps a reference to the branch, and its last-revision
 
41
    only).
 
42
    """
 
43
 
 
44
    def __init__(self, branch, revision_id):
 
45
        """Construct a MemoryTree for branch using revision_id."""
 
46
        self.branch = branch
 
47
        self.bzrdir = branch.bzrdir
 
48
        self._branch_revision_id = revision_id
 
49
        self._locks = 0
 
50
        self._lock_mode = None
 
51
 
 
52
    @needs_tree_write_lock
 
53
    def _add(self, files, ids, kinds):
 
54
        """See MutableTree._add."""
 
55
        for f, file_id, kind in zip(files, ids, kinds):
 
56
            if kind is None:
 
57
                kind = 'file'
 
58
            if file_id is None:
 
59
                self._inventory.add_path(f, kind=kind)
 
60
            else:
 
61
                self._inventory.add_path(f, kind=kind, file_id=file_id)
 
62
 
 
63
    def basis_tree(self):
 
64
        """See Tree.basis_tree()."""
 
65
        return self._basis_tree
 
66
 
 
67
    @staticmethod
 
68
    def create_on_branch(branch):
 
69
        """Create a MemoryTree for branch, using the last-revision of branch."""
 
70
        revision_id = _mod_revision.ensure_null(branch.last_revision())
 
71
        if _mod_revision.is_null(revision_id):
 
72
            revision_id = None
 
73
        return MemoryTree(branch, revision_id)
 
74
 
 
75
    def _gather_kinds(self, files, kinds):
 
76
        """See MutableTree._gather_kinds.
 
77
        
 
78
        This implementation does not care about the file kind of
 
79
        missing files, so is a no-op.
 
80
        """
 
81
 
 
82
    def get_file(self, file_id, path=None):
 
83
        """See Tree.get_file."""
 
84
        if path is None:
 
85
            path = self.id2path(file_id)
 
86
        return self._file_transport.get(path)
 
87
 
 
88
    def get_file_sha1(self, file_id, path=None, stat_value=None):
 
89
        """See Tree.get_file_sha1()."""
 
90
        if path is None:
 
91
            path = self.id2path(file_id)
 
92
        stream = self._file_transport.get(path)
 
93
        return sha_file(stream)
 
94
 
 
95
    def get_root_id(self):
 
96
        return self.path2id('')
 
97
 
 
98
    def _comparison_data(self, entry, path):
 
99
        """See Tree._comparison_data."""
 
100
        if entry is None:
 
101
            return None, False, None
 
102
        return entry.kind, entry.executable, None
 
103
 
 
104
    def path_content_summary(self, path):
 
105
        """See Tree.path_content_summary."""
 
106
        id = self.path2id(path)
 
107
        if id is None:
 
108
            return 'missing', None, None, None
 
109
        kind = self.kind(id)
 
110
        if kind == 'file':
 
111
            bytes = self._file_transport.get_bytes(path)
 
112
            size = len(bytes)
 
113
            executable = self._inventory[id].executable
 
114
            sha1 = None # no stat cache
 
115
            return (kind, size, executable, sha1)
 
116
        elif kind == 'directory':
 
117
            # memory tree does not support nested trees yet.
 
118
            return kind, None, None, None
 
119
        elif kind == 'symlink':
 
120
            raise NotImplementedError('symlink support')
 
121
        else:
 
122
            raise NotImplementedError('unknown kind')
 
123
 
 
124
    def _file_size(self, entry, stat_value):
 
125
        """See Tree._file_size."""
 
126
        if entry is None:
 
127
            return 0
 
128
        return entry.text_size
 
129
 
 
130
    @needs_read_lock
 
131
    def get_parent_ids(self):
 
132
        """See Tree.get_parent_ids.
 
133
 
 
134
        This implementation returns the current cached value from
 
135
            self._parent_ids.
 
136
        """
 
137
        return list(self._parent_ids)
 
138
 
 
139
    def has_filename(self, filename):
 
140
        """See Tree.has_filename()."""
 
141
        return self._file_transport.has(filename)
 
142
 
 
143
    def is_executable(self, file_id, path=None):
 
144
        return self._inventory[file_id].executable
 
145
 
 
146
    def kind(self, file_id):
 
147
        return self._inventory[file_id].kind
 
148
 
 
149
    def mkdir(self, path, file_id=None):
 
150
        """See MutableTree.mkdir()."""
 
151
        self.add(path, file_id, 'directory')
 
152
        if file_id is None:
 
153
            file_id = self.path2id(path)
 
154
        self._file_transport.mkdir(path)
 
155
        return file_id
 
156
 
 
157
    @needs_read_lock
 
158
    def last_revision(self):
 
159
        """See MutableTree.last_revision."""
 
160
        return self._branch_revision_id
 
161
 
 
162
    def lock_read(self):
 
163
        """Lock the memory tree for reading.
 
164
 
 
165
        This triggers population of data from the branch for its revision.
 
166
        """
 
167
        self._locks += 1
 
168
        try:
 
169
            if self._locks == 1:
 
170
                self.branch.lock_read()
 
171
                self._lock_mode = "r"
 
172
                self._populate_from_branch()
 
173
        except:
 
174
            self._locks -= 1
 
175
            raise
 
176
 
 
177
    def lock_tree_write(self):
 
178
        """See MutableTree.lock_tree_write()."""
 
179
        self._locks += 1
 
180
        try:
 
181
            if self._locks == 1:
 
182
                self.branch.lock_read()
 
183
                self._lock_mode = "w"
 
184
                self._populate_from_branch()
 
185
            elif self._lock_mode == "r":
 
186
                raise errors.ReadOnlyError(self)
 
187
        except:
 
188
            self._locks -= 1
 
189
            raise
 
190
 
 
191
    def lock_write(self):
 
192
        """See MutableTree.lock_write()."""
 
193
        self._locks += 1
 
194
        try:
 
195
            if self._locks == 1:
 
196
                self.branch.lock_write()
 
197
                self._lock_mode = "w"
 
198
                self._populate_from_branch()
 
199
            elif self._lock_mode == "r":
 
200
                raise errors.ReadOnlyError(self)
 
201
        except:
 
202
            self._locks -= 1
 
203
            raise
 
204
 
 
205
    def _populate_from_branch(self):
 
206
        """Populate the in-tree state from the branch."""
 
207
        self._basis_tree = self.branch.repository.revision_tree(
 
208
            self._branch_revision_id)
 
209
        if self._branch_revision_id is None:
 
210
            self._parent_ids = []
 
211
        else:
 
212
            self._parent_ids = [self._branch_revision_id]
 
213
        self._inventory = deepcopy(self._basis_tree._inventory)
 
214
        self._file_transport = MemoryTransport()
 
215
        # TODO copy the revision trees content, or do it lazy, or something.
 
216
        inventory_entries = self._inventory.iter_entries()
 
217
        for path, entry in inventory_entries:
 
218
            if path == '':
 
219
                continue
 
220
            if entry.kind == 'directory':
 
221
                self._file_transport.mkdir(path)
 
222
            elif entry.kind == 'file':
 
223
                self._file_transport.put_file(path,
 
224
                    self._basis_tree.get_file(entry.file_id))
 
225
            else:
 
226
                raise NotImplementedError(self._populate_from_branch)
 
227
 
 
228
    def put_file_bytes_non_atomic(self, file_id, bytes):
 
229
        """See MutableTree.put_file_bytes_non_atomic."""
 
230
        self._file_transport.put_bytes(self.id2path(file_id), bytes)
 
231
 
 
232
    def unlock(self):
 
233
        """Release a lock.
 
234
 
 
235
        This frees all cached state when the last lock context for the tree is
 
236
        left.
 
237
        """
 
238
        if self._locks == 1:
 
239
            self._basis_tree = None
 
240
            self._parent_ids = []
 
241
            self._inventory = None
 
242
            try:
 
243
                self.branch.unlock()
 
244
            finally:
 
245
                self._locks = 0
 
246
                self._lock_mode = None
 
247
        else:
 
248
            self._locks -= 1
 
249
 
 
250
    @needs_tree_write_lock
 
251
    def unversion(self, file_ids):
 
252
        """Remove the file ids in file_ids from the current versioned set.
 
253
 
 
254
        When a file_id is unversioned, all of its children are automatically
 
255
        unversioned.
 
256
 
 
257
        :param file_ids: The file ids to stop versioning.
 
258
        :raises: NoSuchId if any fileid is not currently versioned.
 
259
        """
 
260
        # XXX: This should be in mutabletree, but the inventory-save action
 
261
        # is not relevant to memory tree. Until that is done in unlock by
 
262
        # working tree, we cannot share the implementation.
 
263
        for file_id in file_ids:
 
264
            if self._inventory.has_id(file_id):
 
265
                self._inventory.remove_recursive_id(file_id)
 
266
            else:
 
267
                raise errors.NoSuchId(self, file_id)
 
268
 
 
269
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
 
270
        """See MutableTree.set_parent_trees()."""
 
271
        for revision_id in revision_ids:
 
272
            _mod_revision.check_not_reserved_id(revision_id)
 
273
        if len(revision_ids) == 0:
 
274
            self._parent_ids = []
 
275
            self._basis_tree = self.branch.repository.revision_tree(None)
 
276
        else:
 
277
            self._parent_ids = revision_ids
 
278
            self._basis_tree = self.branch.repository.revision_tree(
 
279
                                    revision_ids[0])
 
280
            self._branch_revision_id = revision_ids[0]
 
281
 
 
282
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
 
283
        """See MutableTree.set_parent_trees()."""
 
284
        if len(parents_list) == 0:
 
285
            self._parent_ids = []
 
286
            self._basis_tree = self.branch.repository.revision_tree(None)
 
287
        else:
 
288
            if parents_list[0][1] is None and not allow_leftmost_as_ghost:
 
289
                # a ghost in the left most parent
 
290
                raise errors.GhostRevisionUnusableHere(parents_list[0][0])
 
291
            self._parent_ids = [parent_id for parent_id, tree in parents_list]
 
292
            if parents_list[0][1] is None or parents_list[0][1] == 'null:':
 
293
                import pdb; pdb.set_trace()
 
294
                self._basis_tree = self.branch.repository.revision_tree(None)
 
295
            else:
 
296
                self._basis_tree = parents_list[0][1]
 
297
            self._branch_revision_id = parents_list[0][0]