← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/fetch.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2007-10-24 12:49:17 UTC
  • mfrom: (2935.1.1 ianc-integration)
  • Revision ID: pqm@pqm.ubuntu.com-20071024124917-xb75eckyxx6vkrlg
Makefile fixes - hooks.html generation & allow python to be overridden (Ian Clatworthy)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/fetch.py
1
 
# Copyright (C) 2005, 2006 by Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
35
35
import bzrlib.errors as errors
36
36
from bzrlib.errors import (InstallFailed,
37
37
                           )
38
 
from bzrlib.trace import mutter
39
38
from bzrlib.progress import ProgressPhase
40
 
from bzrlib.revision import NULL_REVISION
 
39
from bzrlib.revision import is_null, NULL_REVISION
41
40
from bzrlib.symbol_versioning import (deprecated_function,
42
41
        deprecated_method,
43
 
        zero_eight,
44
42
        )
 
43
from bzrlib.trace import mutter
 
44
import bzrlib.ui
45
45
 
 
46
from bzrlib.lazy_import import lazy_import
46
47
 
47
48
# TODO: Avoid repeatedly opening weaves so many times.
48
49
 
62
63
#   and add in all file versions
63
64
 
64
65
 
65
 
@deprecated_function(zero_eight)
66
 
def greedy_fetch(to_branch, from_branch, revision=None, pb=None):
67
 
    """Legacy API, please see branch.fetch(from_branch, last_revision, pb)."""
68
 
    f = Fetcher(to_branch, from_branch, revision, pb)
69
 
    return f.count_copied, f.failed_revisions
70
 
 
71
 
fetch = greedy_fetch
72
 
 
73
 
 
74
66
class RepoFetcher(object):
75
67
    """Pull revisions and texts from one repository to another.
76
68
 
80
72
    after running:
81
73
    count_copied -- number of revisions copied
82
74
 
83
 
    This should not be used directory, its essential a object to encapsulate
 
75
    This should not be used directly, it's essential a object to encapsulate
84
76
    the logic in InterRepository.fetch().
85
77
    """
86
78
    def __init__(self, to_repository, from_repository, last_revision=None, pb=None):
87
79
        # result variables.
88
80
        self.failed_revisions = []
89
81
        self.count_copied = 0
90
 
        if to_repository.control_files._transport.base == from_repository.control_files._transport.base:
91
 
            # check that last_revision is in 'from' and then return a no-operation.
92
 
            if last_revision not in (None, NULL_REVISION):
93
 
                from_repository.get_revision(last_revision)
94
 
            return
 
82
        if to_repository.has_same_location(from_repository):
 
83
            # repository.fetch should be taking care of this case.
 
84
            raise errors.BzrError('RepoFetcher run '
 
85
                    'between two objects at the same location: '
 
86
                    '%r and %r' % (to_repository, from_repository))
95
87
        self.to_repository = to_repository
96
88
        self.from_repository = from_repository
97
89
        # must not mutate self._last_revision as its potentially a shared instance
106
98
        try:
107
99
            self.to_repository.lock_write()
108
100
            try:
109
 
                self.__fetch()
 
101
                self.to_repository.start_write_group()
 
102
                try:
 
103
                    self.__fetch()
 
104
                except:
 
105
                    self.to_repository.abort_write_group()
 
106
                    raise
 
107
                else:
 
108
                    self.to_repository.commit_write_group()
110
109
            finally:
111
110
                if self.nested_pb is not None:
112
111
                    self.nested_pb.finished()
121
120
        requested revisions, finally clearing the progress bar.
122
121
        """
123
122
        self.to_weaves = self.to_repository.weave_store
124
 
        self.to_control = self.to_repository.control_weaves
125
123
        self.from_weaves = self.from_repository.weave_store
126
 
        self.from_control = self.from_repository.control_weaves
127
124
        self.count_total = 0
128
125
        self.file_ids_names = {}
129
126
        pp = ProgressPhase('Fetch phase', 4, self.pb)
130
127
        try:
131
128
            pp.next_phase()
132
129
            revs = self._revids_to_fetch()
133
 
            # something to do ?
134
 
            if revs:
135
 
                pp.next_phase()
136
 
                self._fetch_weave_texts(revs)
137
 
                pp.next_phase()
138
 
                self._fetch_inventory_weave(revs)
139
 
                pp.next_phase()
140
 
                self._fetch_revision_texts(revs)
141
 
                self.count_copied += len(revs)
 
130
            if revs is None:
 
131
                return
 
132
            self._fetch_everything_for_revisions(revs, pp)
142
133
        finally:
143
134
            self.pb.clear()
144
135
 
 
136
    def _fetch_everything_for_revisions(self, revs, pp):
 
137
        """Fetch all data for the given set of revisions."""
 
138
        # The first phase is "file".  We pass the progress bar for it directly
 
139
        # into item_keys_introduced_by, which has more information about how
 
140
        # that phase is progressing than we do.  Progress updates for the other
 
141
        # phases are taken care of in this function.
 
142
        # XXX: there should be a clear owner of the progress reporting.  Perhaps
 
143
        # item_keys_introduced_by should have a richer API than it does at the
 
144
        # moment, so that it can feed the progress information back to this
 
145
        # function?
 
146
        phase = 'file'
 
147
        pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
148
        try:
 
149
            data_to_fetch = self.from_repository.item_keys_introduced_by(revs, pb)
 
150
            for knit_kind, file_id, revisions in data_to_fetch:
 
151
                if knit_kind != phase:
 
152
                    phase = knit_kind
 
153
                    # Make a new progress bar for this phase
 
154
                    pb.finished()
 
155
                    pp.next_phase()
 
156
                    pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
157
                if knit_kind == "file":
 
158
                    self._fetch_weave_text(file_id, revisions)
 
159
                elif knit_kind == "inventory":
 
160
                    # XXX:
 
161
                    # Once we've processed all the files, then we generate the root
 
162
                    # texts (if necessary), then we process the inventory.  It's a
 
163
                    # bit distasteful to have knit_kind == "inventory" mean this,
 
164
                    # perhaps it should happen on the first non-"file" knit, in case
 
165
                    # it's not always inventory?
 
166
                    self._generate_root_texts(revs)
 
167
                    self._fetch_inventory_weave(revs, pb)
 
168
                elif knit_kind == "signatures":
 
169
                    # Nothing to do here; this will be taken care of when
 
170
                    # _fetch_revision_texts happens.
 
171
                    pass
 
172
                elif knit_kind == "revisions":
 
173
                    self._fetch_revision_texts(revs, pb)
 
174
                else:
 
175
                    raise AssertionError("Unknown knit kind %r" % knit_kind)
 
176
        finally:
 
177
            if pb is not None:
 
178
                pb.finished()
 
179
        self.count_copied += len(revs)
 
180
        
145
181
    def _revids_to_fetch(self):
 
182
        """Determines the exact revisions needed from self.from_repository to
 
183
        install self._last_revision in self.to_repository.
 
184
 
 
185
        If no revisions need to be fetched, then this just returns None.
 
186
        """
146
187
        mutter('fetch up to rev {%s}', self._last_revision)
147
188
        if self._last_revision is NULL_REVISION:
148
189
            # explicit limit of no revisions needed
149
190
            return None
150
 
        if (self._last_revision != None and
 
191
        if (self._last_revision is not None and
151
192
            self.to_repository.has_revision(self._last_revision)):
152
193
            return None
153
194
            
154
195
        try:
 
196
            # XXX: this gets the full graph on both sides, and will make sure
 
197
            # that ghosts are filled whether or not you care about them.
155
198
            return self.to_repository.missing_revision_ids(self.from_repository,
156
199
                                                           self._last_revision)
157
200
        except errors.NoSuchRevision:
158
201
            raise InstallFailed([self._last_revision])
159
202
 
160
 
    def _fetch_weave_texts(self, revs):
161
 
        texts_pb = bzrlib.ui.ui_factory.nested_progress_bar()
162
 
        try:
163
 
            # fileids_altered_by_revision_ids requires reading the inventory
164
 
            # weave, we will need to read the inventory weave again when
165
 
            # all this is done, so enable caching for that specific weave
166
 
            inv_w = self.from_repository.get_inventory_weave()
167
 
            inv_w.enable_cache()
168
 
            file_ids = self.from_repository.fileids_altered_by_revision_ids(revs)
169
 
            count = 0
170
 
            num_file_ids = len(file_ids)
171
 
            for file_id, required_versions in file_ids.items():
172
 
                texts_pb.update("fetch texts", count, num_file_ids)
173
 
                count +=1
174
 
                to_weave = self.to_weaves.get_weave_or_empty(file_id,
175
 
                    self.to_repository.get_transaction())
176
 
                from_weave = self.from_weaves.get_weave(file_id,
177
 
                    self.from_repository.get_transaction())
178
 
                # we fetch all the texts, because texts do
179
 
                # not reference anything, and its cheap enough
180
 
                to_weave.join(from_weave, version_ids=required_versions)
181
 
                # we don't need *all* of this data anymore, but we dont know
182
 
                # what we do. This cache clearing will result in a new read 
183
 
                # of the knit data when we do the checkout, but probably we
184
 
                # want to emit the needed data on the fly rather than at the
185
 
                # end anyhow.
186
 
                # the from weave should know not to cache data being joined,
187
 
                # but its ok to ask it to clear.
188
 
                from_weave.clear_cache()
189
 
                to_weave.clear_cache()
190
 
        finally:
191
 
            texts_pb.finished()
192
 
 
193
 
    def _fetch_inventory_weave(self, revs):
194
 
        pb = bzrlib.ui.ui_factory.nested_progress_bar()
195
 
        try:
196
 
            pb.update("fetch inventory", 0, 2)
197
 
            to_weave = self.to_control.get_weave('inventory',
198
 
                    self.to_repository.get_transaction())
199
 
    
200
 
            child_pb = bzrlib.ui.ui_factory.nested_progress_bar()
201
 
            try:
202
 
                # just merge, this is optimisable and its means we don't
203
 
                # copy unreferenced data such as not-needed inventories.
204
 
                pb.update("fetch inventory", 1, 3)
205
 
                from_weave = self.from_repository.get_inventory_weave()
206
 
                pb.update("fetch inventory", 2, 3)
207
 
                # we fetch only the referenced inventories because we do not
208
 
                # know for unselected inventories whether all their required
209
 
                # texts are present in the other repository - it could be
210
 
                # corrupt.
211
 
                to_weave.join(from_weave, pb=child_pb, msg='merge inventory',
212
 
                              version_ids=revs)
213
 
                from_weave.clear_cache()
214
 
            finally:
215
 
                child_pb.finished()
216
 
        finally:
217
 
            pb.finished()
 
203
    def _fetch_weave_text(self, file_id, required_versions):
 
204
        to_weave = self.to_weaves.get_weave_or_empty(file_id,
 
205
            self.to_repository.get_transaction())
 
206
        from_weave = self.from_weaves.get_weave(file_id,
 
207
            self.from_repository.get_transaction())
 
208
        # we fetch all the texts, because texts do
 
209
        # not reference anything, and its cheap enough
 
210
        to_weave.join(from_weave, version_ids=required_versions)
 
211
        # we don't need *all* of this data anymore, but we dont know
 
212
        # what we do. This cache clearing will result in a new read 
 
213
        # of the knit data when we do the checkout, but probably we
 
214
        # want to emit the needed data on the fly rather than at the
 
215
        # end anyhow.
 
216
        # the from weave should know not to cache data being joined,
 
217
        # but its ok to ask it to clear.
 
218
        from_weave.clear_cache()
 
219
        to_weave.clear_cache()
 
220
 
 
221
    def _fetch_inventory_weave(self, revs, pb):
 
222
        pb.update("fetch inventory", 0, 2)
 
223
        to_weave = self.to_repository.get_inventory_weave()
 
224
        child_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
225
        try:
 
226
            # just merge, this is optimisable and its means we don't
 
227
            # copy unreferenced data such as not-needed inventories.
 
228
            pb.update("fetch inventory", 1, 3)
 
229
            from_weave = self.from_repository.get_inventory_weave()
 
230
            pb.update("fetch inventory", 2, 3)
 
231
            # we fetch only the referenced inventories because we do not
 
232
            # know for unselected inventories whether all their required
 
233
            # texts are present in the other repository - it could be
 
234
            # corrupt.
 
235
            to_weave.join(from_weave, pb=child_pb, msg='merge inventory',
 
236
                          version_ids=revs)
 
237
            from_weave.clear_cache()
 
238
        finally:
 
239
            child_pb.finished()
 
240
 
 
241
    def _generate_root_texts(self, revs):
 
242
        """This will be called by __fetch between fetching weave texts and
 
243
        fetching the inventory weave.
 
244
 
 
245
        Subclasses should override this if they need to generate root texts
 
246
        after fetching weave texts.
 
247
        """
 
248
        pass
218
249
 
219
250
 
220
251
class GenericRepoFetcher(RepoFetcher):
224
255
    It triggers a reconciliation after fetching to ensure integrity.
225
256
    """
226
257
 
227
 
    def _fetch_revision_texts(self, revs):
 
258
    def _fetch_revision_texts(self, revs, pb):
228
259
        """Fetch revision object texts"""
229
 
        rev_pb = bzrlib.ui.ui_factory.nested_progress_bar()
230
 
        try:
231
 
            to_txn = self.to_transaction = self.to_repository.get_transaction()
232
 
            count = 0
233
 
            total = len(revs)
234
 
            to_store = self.to_repository._revision_store
235
 
            for rev in revs:
236
 
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
237
 
                try:
238
 
                    pb.update('copying revisions', count, total)
239
 
                    try:
240
 
                        sig_text = self.from_repository.get_signature_text(rev)
241
 
                        to_store.add_revision_signature_text(rev, sig_text, to_txn)
242
 
                    except errors.NoSuchRevision:
243
 
                        # not signed.
244
 
                        pass
245
 
                    to_store.add_revision(self.from_repository.get_revision(rev),
246
 
                                          to_txn)
247
 
                    count += 1
248
 
                finally:
249
 
                    pb.finished()
250
 
            # fixup inventory if needed: 
251
 
            # this is expensive because we have no inverse index to current ghosts.
252
 
            # but on local disk its a few seconds and sftp push is already insane.
253
 
            # so we just-do-it.
254
 
            # FIXME: repository should inform if this is needed.
255
 
            self.to_repository.reconcile()
256
 
        finally:
257
 
            rev_pb.finished()
 
260
        to_txn = self.to_transaction = self.to_repository.get_transaction()
 
261
        count = 0
 
262
        total = len(revs)
 
263
        to_store = self.to_repository._revision_store
 
264
        for rev in revs:
 
265
            pb.update('copying revisions', count, total)
 
266
            try:
 
267
                sig_text = self.from_repository.get_signature_text(rev)
 
268
                to_store.add_revision_signature_text(rev, sig_text, to_txn)
 
269
            except errors.NoSuchRevision:
 
270
                # not signed.
 
271
                pass
 
272
            to_store.add_revision(self.from_repository.get_revision(rev),
 
273
                                  to_txn)
 
274
            count += 1
 
275
        # fixup inventory if needed: 
 
276
        # this is expensive because we have no inverse index to current ghosts.
 
277
        # but on local disk its a few seconds and sftp push is already insane.
 
278
        # so we just-do-it.
 
279
        # FIXME: repository should inform if this is needed.
 
280
        self.to_repository.reconcile()
258
281
    
259
282
 
260
283
class KnitRepoFetcher(RepoFetcher):
265
288
    copy revision texts.
266
289
    """
267
290
 
268
 
    def _fetch_revision_texts(self, revs):
 
291
    def _fetch_revision_texts(self, revs, pb):
269
292
        # may need to be a InterRevisionStore call here.
270
293
        from_transaction = self.from_repository.get_transaction()
271
294
        to_transaction = self.to_repository.get_transaction()
281
304
        to_rf.join(from_rf, version_ids=revs)
282
305
 
283
306
 
284
 
class Fetcher(object):
285
 
    """Backwards compatibility glue for branch.fetch()."""
286
 
 
287
 
    @deprecated_method(zero_eight)
288
 
    def __init__(self, to_branch, from_branch, last_revision=None, pb=None):
289
 
        """Please see branch.fetch()."""
290
 
        to_branch.fetch(from_branch, last_revision, pb)
 
307
class Inter1and2Helper(object):
 
308
    """Helper for operations that convert data from model 1 and 2
 
309
    
 
310
    This is for use by fetchers and converters.
 
311
    """
 
312
 
 
313
    def __init__(self, source, target):
 
314
        """Constructor.
 
315
 
 
316
        :param source: The repository data comes from
 
317
        :param target: The repository data goes to
 
318
        """
 
319
        self.source = source
 
320
        self.target = target
 
321
 
 
322
    def iter_rev_trees(self, revs):
 
323
        """Iterate through RevisionTrees efficiently.
 
324
 
 
325
        Additionally, the inventory's revision_id is set if unset.
 
326
 
 
327
        Trees are retrieved in batches of 100, and then yielded in the order
 
328
        they were requested.
 
329
 
 
330
        :param revs: A list of revision ids
 
331
        """
 
332
        while revs:
 
333
            for tree in self.source.revision_trees(revs[:100]):
 
334
                if tree.inventory.revision_id is None:
 
335
                    tree.inventory.revision_id = tree.get_revision_id()
 
336
                yield tree
 
337
            revs = revs[100:]
 
338
 
 
339
    def generate_root_texts(self, revs):
 
340
        """Generate VersionedFiles for all root ids.
 
341
        
 
342
        :param revs: the revisions to include
 
343
        """
 
344
        inventory_weave = self.source.get_inventory_weave()
 
345
        parent_texts = {}
 
346
        versionedfile = {}
 
347
        to_store = self.target.weave_store
 
348
        for tree in self.iter_rev_trees(revs):
 
349
            revision_id = tree.inventory.root.revision
 
350
            root_id = tree.inventory.root.file_id
 
351
            parents = inventory_weave.get_parents(revision_id)
 
352
            if root_id not in versionedfile:
 
353
                versionedfile[root_id] = to_store.get_weave_or_empty(root_id, 
 
354
                    self.target.get_transaction())
 
355
            _, _, parent_texts[root_id] = versionedfile[root_id].add_lines(
 
356
                revision_id, parents, [], parent_texts)
 
357
 
 
358
    def regenerate_inventory(self, revs):
 
359
        """Generate a new inventory versionedfile in target, convertin data.
 
360
        
 
361
        The inventory is retrieved from the source, (deserializing it), and
 
362
        stored in the target (reserializing it in a different format).
 
363
        :param revs: The revisions to include
 
364
        """
 
365
        inventory_weave = self.source.get_inventory_weave()
 
366
        for tree in self.iter_rev_trees(revs):
 
367
            parents = inventory_weave.get_parents(tree.get_revision_id())
 
368
            self.target.add_inventory(tree.get_revision_id(), tree.inventory,
 
369
                                      parents)
 
370
 
 
371
 
 
372
class Model1toKnit2Fetcher(GenericRepoFetcher):
 
373
    """Fetch from a Model1 repository into a Knit2 repository
 
374
    """
 
375
    def __init__(self, to_repository, from_repository, last_revision=None, 
 
376
                 pb=None):
 
377
        self.helper = Inter1and2Helper(from_repository, to_repository)
 
378
        GenericRepoFetcher.__init__(self, to_repository, from_repository,
 
379
                                    last_revision, pb)
 
380
 
 
381
    def _generate_root_texts(self, revs):
 
382
        self.helper.generate_root_texts(revs)
 
383
 
 
384
    def _fetch_inventory_weave(self, revs, pb):
 
385
        self.helper.regenerate_inventory(revs)
 
386
 
 
387
 
 
388
class Knit1to2Fetcher(KnitRepoFetcher):
 
389
    """Fetch from a Knit1 repository into a Knit2 repository"""
 
390
 
 
391
    def __init__(self, to_repository, from_repository, last_revision=None, 
 
392
                 pb=None):
 
393
        self.helper = Inter1and2Helper(from_repository, to_repository)
 
394
        KnitRepoFetcher.__init__(self, to_repository, from_repository,
 
395
                                 last_revision, pb)
 
396
 
 
397
    def _generate_root_texts(self, revs):
 
398
        self.helper.generate_root_texts(revs)
 
399
 
 
400
    def _fetch_inventory_weave(self, revs, pb):
 
401
        self.helper.regenerate_inventory(revs)
 
402
 
 
403
 
 
404
class RemoteToOtherFetcher(GenericRepoFetcher):
 
405
 
 
406
    def _fetch_everything_for_revisions(self, revs, pp):
 
407
        data_stream = self.from_repository.get_data_stream(revs)
 
408
        self.to_repository.insert_data_stream(data_stream)
 
409
 
 
410