← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/fetch.py

  • Committer: John Arbash Meinel
  • Date: 2007-05-04 18:59:36 UTC
  • mto: This revision was merged to the branch mainline in revision 2643.
  • Revision ID: john@arbash-meinel.com-20070504185936-1mjdoqmtz74xe5mg
A C implementation of _fields_to_entry_0_parents drops the time from 400ms to 330ms for a 21k-entry tree

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/fetch.py
33
33
 
34
34
import bzrlib
35
35
import bzrlib.errors as errors
36
 
from bzrlib.errors import InstallFailed
 
36
from bzrlib.errors import (InstallFailed,
 
37
                           )
37
38
from bzrlib.progress import ProgressPhase
38
 
from bzrlib.revision import is_null, NULL_REVISION
 
39
from bzrlib.revision import NULL_REVISION
39
40
from bzrlib.symbol_versioning import (deprecated_function,
40
41
        deprecated_method,
 
42
        zero_eight,
41
43
        )
42
44
from bzrlib.trace import mutter
43
45
import bzrlib.ui
62
64
#   and add in all file versions
63
65
 
64
66
 
 
67
@deprecated_function(zero_eight)
 
68
def greedy_fetch(to_branch, from_branch, revision=None, pb=None):
 
69
    """Legacy API, please see branch.fetch(from_branch, last_revision, pb)."""
 
70
    f = Fetcher(to_branch, from_branch, revision, pb)
 
71
    return f.count_copied, f.failed_revisions
 
72
 
 
73
fetch = greedy_fetch
 
74
 
 
75
 
65
76
class RepoFetcher(object):
66
77
    """Pull revisions and texts from one repository to another.
67
78
 
71
82
    after running:
72
83
    count_copied -- number of revisions copied
73
84
 
74
 
    This should not be used directly, it's essential a object to encapsulate
 
85
    This should not be used directory, its essential a object to encapsulate
75
86
    the logic in InterRepository.fetch().
76
87
    """
77
 
 
78
 
    def __init__(self, to_repository, from_repository, last_revision=None, pb=None,
79
 
        find_ghosts=True):
80
 
        """Create a repo fetcher.
81
 
 
82
 
        :param find_ghosts: If True search the entire history for ghosts.
83
 
        """
 
88
    def __init__(self, to_repository, from_repository, last_revision=None, pb=None):
84
89
        # result variables.
85
90
        self.failed_revisions = []
86
91
        self.count_copied = 0
87
 
        if to_repository.has_same_location(from_repository):
88
 
            # repository.fetch should be taking care of this case.
89
 
            raise errors.BzrError('RepoFetcher run '
90
 
                    'between two objects at the same location: '
91
 
                    '%r and %r' % (to_repository, from_repository))
 
92
        if to_repository.control_files._transport.base == from_repository.control_files._transport.base:
 
93
            # check that last_revision is in 'from' and then return a no-operation.
 
94
            if last_revision not in (None, NULL_REVISION):
 
95
                from_repository.get_revision(last_revision)
 
96
            return
92
97
        self.to_repository = to_repository
93
98
        self.from_repository = from_repository
94
99
        # must not mutate self._last_revision as its potentially a shared instance
95
100
        self._last_revision = last_revision
96
 
        self.find_ghosts = find_ghosts
97
101
        if pb is None:
98
102
            self.pb = bzrlib.ui.ui_factory.nested_progress_bar()
99
103
            self.nested_pb = self.pb
104
108
        try:
105
109
            self.to_repository.lock_write()
106
110
            try:
107
 
                self.to_repository.start_write_group()
108
 
                try:
109
 
                    self.__fetch()
110
 
                except:
111
 
                    self.to_repository.abort_write_group()
112
 
                    raise
113
 
                else:
114
 
                    self.to_repository.commit_write_group()
 
111
                self.__fetch()
115
112
            finally:
116
113
                if self.nested_pb is not None:
117
114
                    self.nested_pb.finished()
126
123
        requested revisions, finally clearing the progress bar.
127
124
        """
128
125
        self.to_weaves = self.to_repository.weave_store
 
126
        self.to_control = self.to_repository.control_weaves
129
127
        self.from_weaves = self.from_repository.weave_store
 
128
        self.from_control = self.from_repository.control_weaves
130
129
        self.count_total = 0
131
130
        self.file_ids_names = {}
132
 
        pp = ProgressPhase('Transferring', 4, self.pb)
 
131
        pp = ProgressPhase('Fetch phase', 4, self.pb)
133
132
        try:
134
133
            pp.next_phase()
135
 
            search = self._revids_to_fetch()
136
 
            if search is None:
137
 
                return
138
 
            if getattr(self, '_fetch_everything_for_search', None) is not None:
139
 
                self._fetch_everything_for_search(search, pp)
140
 
            else:
141
 
                # backward compatibility
142
 
                self._fetch_everything_for_revisions(search.get_keys, pp)
 
134
            revs = self._revids_to_fetch()
 
135
            # something to do ?
 
136
            if revs:
 
137
                pp.next_phase()
 
138
                self._fetch_weave_texts(revs)
 
139
                pp.next_phase()
 
140
                self._fetch_inventory_weave(revs)
 
141
                pp.next_phase()
 
142
                self._fetch_revision_texts(revs)
 
143
                self.count_copied += len(revs)
143
144
        finally:
144
145
            self.pb.clear()
145
146
 
146
 
    def _fetch_everything_for_search(self, search, pp):
147
 
        """Fetch all data for the given set of revisions."""
148
 
        # The first phase is "file".  We pass the progress bar for it directly
149
 
        # into item_keys_introduced_by, which has more information about how
150
 
        # that phase is progressing than we do.  Progress updates for the other
151
 
        # phases are taken care of in this function.
152
 
        # XXX: there should be a clear owner of the progress reporting.  Perhaps
153
 
        # item_keys_introduced_by should have a richer API than it does at the
154
 
        # moment, so that it can feed the progress information back to this
155
 
        # function?
156
 
        phase = 'file'
157
 
        pb = bzrlib.ui.ui_factory.nested_progress_bar()
158
 
        try:
159
 
            revs = search.get_keys()
160
 
            data_to_fetch = self.from_repository.item_keys_introduced_by(revs, pb)
161
 
            for knit_kind, file_id, revisions in data_to_fetch:
162
 
                if knit_kind != phase:
163
 
                    phase = knit_kind
164
 
                    # Make a new progress bar for this phase
165
 
                    pb.finished()
166
 
                    pp.next_phase()
167
 
                    pb = bzrlib.ui.ui_factory.nested_progress_bar()
168
 
                if knit_kind == "file":
169
 
                    self._fetch_weave_text(file_id, revisions)
170
 
                elif knit_kind == "inventory":
171
 
                    # XXX:
172
 
                    # Once we've processed all the files, then we generate the root
173
 
                    # texts (if necessary), then we process the inventory.  It's a
174
 
                    # bit distasteful to have knit_kind == "inventory" mean this,
175
 
                    # perhaps it should happen on the first non-"file" knit, in case
176
 
                    # it's not always inventory?
177
 
                    self._generate_root_texts(revs)
178
 
                    self._fetch_inventory_weave(revs, pb)
179
 
                elif knit_kind == "signatures":
180
 
                    # Nothing to do here; this will be taken care of when
181
 
                    # _fetch_revision_texts happens.
182
 
                    pass
183
 
                elif knit_kind == "revisions":
184
 
                    self._fetch_revision_texts(revs, pb)
185
 
                else:
186
 
                    raise AssertionError("Unknown knit kind %r" % knit_kind)
187
 
        finally:
188
 
            if pb is not None:
189
 
                pb.finished()
190
 
        self.count_copied += len(revs)
191
 
        
192
147
    def _revids_to_fetch(self):
193
 
        """Determines the exact revisions needed from self.from_repository to
194
 
        install self._last_revision in self.to_repository.
195
 
 
196
 
        If no revisions need to be fetched, then this just returns None.
197
 
        """
198
148
        mutter('fetch up to rev {%s}', self._last_revision)
199
149
        if self._last_revision is NULL_REVISION:
200
150
            # explicit limit of no revisions needed
202
152
        if (self._last_revision is not None and
203
153
            self.to_repository.has_revision(self._last_revision)):
204
154
            return None
 
155
            
205
156
        try:
206
 
            return self.to_repository.search_missing_revision_ids(
207
 
                self.from_repository, self._last_revision,
208
 
                find_ghosts=self.find_ghosts)
 
157
            return self.to_repository.missing_revision_ids(self.from_repository,
 
158
                                                           self._last_revision)
209
159
        except errors.NoSuchRevision:
210
160
            raise InstallFailed([self._last_revision])
211
161
 
212
 
    def _fetch_weave_text(self, file_id, required_versions):
213
 
        to_weave = self.to_weaves.get_weave_or_empty(file_id,
214
 
            self.to_repository.get_transaction())
215
 
        from_weave = self.from_weaves.get_weave(file_id,
216
 
            self.from_repository.get_transaction())
217
 
        # we fetch all the texts, because texts do
218
 
        # not reference anything, and its cheap enough
219
 
        to_weave.join(from_weave, version_ids=required_versions)
220
 
        # we don't need *all* of this data anymore, but we dont know
221
 
        # what we do. This cache clearing will result in a new read 
222
 
        # of the knit data when we do the checkout, but probably we
223
 
        # want to emit the needed data on the fly rather than at the
224
 
        # end anyhow.
225
 
        # the from weave should know not to cache data being joined,
226
 
        # but its ok to ask it to clear.
227
 
        from_weave.clear_cache()
228
 
        to_weave.clear_cache()
229
 
 
230
 
    def _fetch_inventory_weave(self, revs, pb):
231
 
        pb.update("fetch inventory", 0, 2)
232
 
        to_weave = self.to_repository.get_inventory_weave()
233
 
        child_pb = bzrlib.ui.ui_factory.nested_progress_bar()
234
 
        try:
235
 
            # just merge, this is optimisable and its means we don't
236
 
            # copy unreferenced data such as not-needed inventories.
237
 
            pb.update("fetch inventory", 1, 3)
238
 
            from_weave = self.from_repository.get_inventory_weave()
239
 
            pb.update("fetch inventory", 2, 3)
240
 
            # we fetch only the referenced inventories because we do not
241
 
            # know for unselected inventories whether all their required
242
 
            # texts are present in the other repository - it could be
243
 
            # corrupt.
244
 
            to_weave.join(from_weave, pb=child_pb, msg='merge inventory',
245
 
                          version_ids=revs)
246
 
            from_weave.clear_cache()
247
 
        finally:
248
 
            child_pb.finished()
249
 
 
250
 
    def _generate_root_texts(self, revs):
251
 
        """This will be called by __fetch between fetching weave texts and
252
 
        fetching the inventory weave.
253
 
 
254
 
        Subclasses should override this if they need to generate root texts
255
 
        after fetching weave texts.
256
 
        """
257
 
        pass
 
162
    def _fetch_weave_texts(self, revs):
 
163
        texts_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
164
        try:
 
165
            # fileids_altered_by_revision_ids requires reading the inventory
 
166
            # weave, we will need to read the inventory weave again when
 
167
            # all this is done, so enable caching for that specific weave
 
168
            inv_w = self.from_repository.get_inventory_weave()
 
169
            inv_w.enable_cache()
 
170
            file_ids = self.from_repository.fileids_altered_by_revision_ids(revs)
 
171
            count = 0
 
172
            num_file_ids = len(file_ids)
 
173
            for file_id, required_versions in file_ids.items():
 
174
                texts_pb.update("fetch texts", count, num_file_ids)
 
175
                count +=1
 
176
                to_weave = self.to_weaves.get_weave_or_empty(file_id,
 
177
                    self.to_repository.get_transaction())
 
178
                from_weave = self.from_weaves.get_weave(file_id,
 
179
                    self.from_repository.get_transaction())
 
180
                # we fetch all the texts, because texts do
 
181
                # not reference anything, and its cheap enough
 
182
                to_weave.join(from_weave, version_ids=required_versions)
 
183
                # we don't need *all* of this data anymore, but we dont know
 
184
                # what we do. This cache clearing will result in a new read 
 
185
                # of the knit data when we do the checkout, but probably we
 
186
                # want to emit the needed data on the fly rather than at the
 
187
                # end anyhow.
 
188
                # the from weave should know not to cache data being joined,
 
189
                # but its ok to ask it to clear.
 
190
                from_weave.clear_cache()
 
191
                to_weave.clear_cache()
 
192
        finally:
 
193
            texts_pb.finished()
 
194
 
 
195
    def _fetch_inventory_weave(self, revs):
 
196
        pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
197
        try:
 
198
            pb.update("fetch inventory", 0, 2)
 
199
            to_weave = self.to_control.get_weave('inventory',
 
200
                    self.to_repository.get_transaction())
 
201
    
 
202
            child_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
203
            try:
 
204
                # just merge, this is optimisable and its means we don't
 
205
                # copy unreferenced data such as not-needed inventories.
 
206
                pb.update("fetch inventory", 1, 3)
 
207
                from_weave = self.from_repository.get_inventory_weave()
 
208
                pb.update("fetch inventory", 2, 3)
 
209
                # we fetch only the referenced inventories because we do not
 
210
                # know for unselected inventories whether all their required
 
211
                # texts are present in the other repository - it could be
 
212
                # corrupt.
 
213
                to_weave.join(from_weave, pb=child_pb, msg='merge inventory',
 
214
                              version_ids=revs)
 
215
                from_weave.clear_cache()
 
216
            finally:
 
217
                child_pb.finished()
 
218
        finally:
 
219
            pb.finished()
258
220
 
259
221
 
260
222
class GenericRepoFetcher(RepoFetcher):
264
226
    It triggers a reconciliation after fetching to ensure integrity.
265
227
    """
266
228
 
267
 
    def _fetch_revision_texts(self, revs, pb):
 
229
    def _fetch_revision_texts(self, revs):
268
230
        """Fetch revision object texts"""
269
 
        to_txn = self.to_transaction = self.to_repository.get_transaction()
270
 
        count = 0
271
 
        total = len(revs)
272
 
        to_store = self.to_repository._revision_store
273
 
        for rev in revs:
274
 
            pb.update('copying revisions', count, total)
275
 
            try:
276
 
                sig_text = self.from_repository.get_signature_text(rev)
277
 
                to_store.add_revision_signature_text(rev, sig_text, to_txn)
278
 
            except errors.NoSuchRevision:
279
 
                # not signed.
280
 
                pass
281
 
            to_store.add_revision(self.from_repository.get_revision(rev),
282
 
                                  to_txn)
283
 
            count += 1
284
 
        # fixup inventory if needed: 
285
 
        # this is expensive because we have no inverse index to current ghosts.
286
 
        # but on local disk its a few seconds and sftp push is already insane.
287
 
        # so we just-do-it.
288
 
        # FIXME: repository should inform if this is needed.
289
 
        self.to_repository.reconcile()
 
231
        rev_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
232
        try:
 
233
            to_txn = self.to_transaction = self.to_repository.get_transaction()
 
234
            count = 0
 
235
            total = len(revs)
 
236
            to_store = self.to_repository._revision_store
 
237
            for rev in revs:
 
238
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
239
                try:
 
240
                    pb.update('copying revisions', count, total)
 
241
                    try:
 
242
                        sig_text = self.from_repository.get_signature_text(rev)
 
243
                        to_store.add_revision_signature_text(rev, sig_text, to_txn)
 
244
                    except errors.NoSuchRevision:
 
245
                        # not signed.
 
246
                        pass
 
247
                    to_store.add_revision(self.from_repository.get_revision(rev),
 
248
                                          to_txn)
 
249
                    count += 1
 
250
                finally:
 
251
                    pb.finished()
 
252
            # fixup inventory if needed: 
 
253
            # this is expensive because we have no inverse index to current ghosts.
 
254
            # but on local disk its a few seconds and sftp push is already insane.
 
255
            # so we just-do-it.
 
256
            # FIXME: repository should inform if this is needed.
 
257
            self.to_repository.reconcile()
 
258
        finally:
 
259
            rev_pb.finished()
290
260
    
291
261
 
292
262
class KnitRepoFetcher(RepoFetcher):
297
267
    copy revision texts.
298
268
    """
299
269
 
300
 
    def _fetch_revision_texts(self, revs, pb):
 
270
    def _fetch_revision_texts(self, revs):
301
271
        # may need to be a InterRevisionStore call here.
302
272
        from_transaction = self.from_repository.get_transaction()
303
273
        to_transaction = self.to_repository.get_transaction()
338
308
 
339
309
        :param revs: A list of revision ids
340
310
        """
341
 
        # In case that revs is not a list.
342
 
        revs = list(revs)
343
311
        while revs:
344
312
            for tree in self.source.revision_trees(revs[:100]):
345
313
                if tree.inventory.revision_id is None:
356
324
        parent_texts = {}
357
325
        versionedfile = {}
358
326
        to_store = self.target.weave_store
359
 
        parent_map = self.source.get_graph().get_parent_map(revs)
360
327
        for tree in self.iter_rev_trees(revs):
361
328
            revision_id = tree.inventory.root.revision
362
 
            root_id = tree.get_root_id()
363
 
            parents = parent_map[revision_id]
364
 
            if parents[0] == NULL_REVISION:
365
 
                parents = ()
 
329
            root_id = tree.inventory.root.file_id
 
330
            parents = inventory_weave.get_parents(revision_id)
366
331
            if root_id not in versionedfile:
367
 
                versionedfile[root_id] = to_store.get_weave_or_empty(root_id,
 
332
                versionedfile[root_id] = to_store.get_weave_or_empty(root_id, 
368
333
                    self.target.get_transaction())
369
 
            _, _, parent_texts[root_id] = versionedfile[root_id].add_lines(
 
334
            parent_texts[root_id] = versionedfile[root_id].add_lines(
370
335
                revision_id, parents, [], parent_texts)
371
336
 
372
337
    def regenerate_inventory(self, revs):
376
341
        stored in the target (reserializing it in a different format).
377
342
        :param revs: The revisions to include
378
343
        """
 
344
        inventory_weave = self.source.get_inventory_weave()
379
345
        for tree in self.iter_rev_trees(revs):
380
 
            parents = tree.get_parent_ids()
 
346
            parents = inventory_weave.get_parents(tree.get_revision_id())
381
347
            self.target.add_inventory(tree.get_revision_id(), tree.inventory,
382
348
                                      parents)
383
349
 
385
351
class Model1toKnit2Fetcher(GenericRepoFetcher):
386
352
    """Fetch from a Model1 repository into a Knit2 repository
387
353
    """
388
 
    def __init__(self, to_repository, from_repository, last_revision=None,
389
 
                 pb=None, find_ghosts=True):
 
354
    def __init__(self, to_repository, from_repository, last_revision=None, 
 
355
                 pb=None):
390
356
        self.helper = Inter1and2Helper(from_repository, to_repository)
391
357
        GenericRepoFetcher.__init__(self, to_repository, from_repository,
392
 
            last_revision, pb, find_ghosts)
 
358
                                    last_revision, pb)
393
359
 
394
 
    def _generate_root_texts(self, revs):
 
360
    def _fetch_weave_texts(self, revs):
 
361
        GenericRepoFetcher._fetch_weave_texts(self, revs)
 
362
        # Now generate a weave for the tree root
395
363
        self.helper.generate_root_texts(revs)
396
364
 
397
 
    def _fetch_inventory_weave(self, revs, pb):
 
365
    def _fetch_inventory_weave(self, revs):
398
366
        self.helper.regenerate_inventory(revs)
399
367
 
400
368
 
402
370
    """Fetch from a Knit1 repository into a Knit2 repository"""
403
371
 
404
372
    def __init__(self, to_repository, from_repository, last_revision=None, 
405
 
                 pb=None, find_ghosts=True):
 
373
                 pb=None):
406
374
        self.helper = Inter1and2Helper(from_repository, to_repository)
407
375
        KnitRepoFetcher.__init__(self, to_repository, from_repository,
408
 
            last_revision, pb, find_ghosts)
 
376
                                 last_revision, pb)
409
377
 
410
 
    def _generate_root_texts(self, revs):
 
378
    def _fetch_weave_texts(self, revs):
 
379
        KnitRepoFetcher._fetch_weave_texts(self, revs)
 
380
        # Now generate a weave for the tree root
411
381
        self.helper.generate_root_texts(revs)
412
382
 
413
 
    def _fetch_inventory_weave(self, revs, pb):
 
383
    def _fetch_inventory_weave(self, revs):
414
384
        self.helper.regenerate_inventory(revs)
415
 
 
416
 
 
417
 
class RemoteToOtherFetcher(GenericRepoFetcher):
418
 
 
419
 
    def _fetch_everything_for_search(self, search, pp):
420
 
        data_stream = self.from_repository.get_data_stream_for_search(search)
421
 
        self.to_repository.insert_data_stream(data_stream)
422
 
 
423
 
 
 
385
        
 
386
 
 
387
class Fetcher(object):
 
388
    """Backwards compatibility glue for branch.fetch()."""
 
389
 
 
390
    @deprecated_method(zero_eight)
 
391
    def __init__(self, to_branch, from_branch, last_revision=None, pb=None):
 
392
        """Please see branch.fetch()."""
 
393
        to_branch.fetch(from_branch, last_revision, pb)