~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/add.py

  • Committer: John Arbash Meinel
  • Date: 2006-06-10 14:27:45 UTC
  • mto: (1711.7.2 win32)
  • mto: This revision was merged to the branch mainline in revision 1796.
  • Revision ID: john@arbash-meinel.com-20060610142745-1f86eec922285e65
Fix some broken tests because of stupid ntpath.abspath behavior

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
"""Helper functions for adding files to working trees."""
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18
16
 
19
17
import sys
20
 
import os
21
 
 
22
 
from bzrlib import (
23
 
    osutils,
24
 
    ui, 
25
 
    )
26
 
from bzrlib.i18n import gettext
 
18
from os.path import dirname
 
19
 
 
20
import bzrlib.errors as errors
 
21
from bzrlib.inventory import InventoryEntry
 
22
from bzrlib.trace import mutter, note, warning
 
23
from bzrlib.errors import NotBranchError
 
24
import bzrlib.osutils
 
25
from bzrlib.workingtree import WorkingTree
 
26
 
 
27
 
 
28
def glob_expand_for_win32(file_list):
 
29
    if not file_list:
 
30
        return
 
31
    import glob
 
32
    expanded_file_list = []
 
33
    for possible_glob in file_list:
 
34
        glob_files = glob.glob(possible_glob)
 
35
       
 
36
        if glob_files == []:
 
37
            # special case to let the normal code path handle
 
38
            # files that do not exists
 
39
            expanded_file_list.append(possible_glob)
 
40
        else:
 
41
            expanded_file_list += glob_files
 
42
    return expanded_file_list
 
43
 
 
44
 
 
45
def _prepare_file_list(file_list):
 
46
    """Prepare a file list for use by smart_add_*."""
 
47
    if sys.platform == 'win32':
 
48
        file_list = glob_expand_for_win32(file_list)
 
49
    if not file_list:
 
50
        file_list = [u'.']
 
51
    file_list = list(file_list)
 
52
    return file_list
 
53
 
27
54
 
28
55
class AddAction(object):
29
56
    """A class which defines what action to take when adding a file."""
30
57
 
31
 
    def __init__(self, to_file=None, should_print=None):
32
 
        """Initialize an action which prints added files to an output stream.
33
 
 
34
 
        :param to_file: The stream to write into. This is expected to take
35
 
            Unicode paths. If not supplied, it will default to ``sys.stdout``.
36
 
        :param should_print: If False, printing will be suppressed.
37
 
        """
 
58
    def __init__(self, to_file=None, should_add=None, should_print=None):
38
59
        self._to_file = to_file
39
60
        if to_file is None:
40
61
            self._to_file = sys.stdout
 
62
        self.should_add = False
 
63
        if should_add is not None:
 
64
            self.should_add = should_add
41
65
        self.should_print = False
42
66
        if should_print is not None:
43
67
            self.should_print = should_print
44
68
 
45
 
    def __call__(self, inv, parent_ie, path, kind, _quote=osutils.quotefn):
 
69
    def __call__(self, inv, parent_ie, path, kind):
46
70
        """Add path to inventory.
47
71
 
48
72
        The default action does nothing.
49
73
 
50
74
        :param inv: The inventory we are working with.
51
 
        :param path: The FastPath being added
 
75
        :param path: The path being added
52
76
        :param kind: The kind of the object being added.
53
77
        """
 
78
        if self.should_add:
 
79
            self._add_to_inv(inv, parent_ie, path, kind)
54
80
        if self.should_print:
55
 
            self._to_file.write('adding %s\n' % _quote(path))
56
 
        return None
57
 
 
58
 
    def skip_file(self, tree, path, kind, stat_value = None):
59
 
        """Test whether the given file should be skipped or not.
60
 
        
61
 
        The default action never skips. Note this is only called during
62
 
        recursive adds
63
 
        
64
 
        :param tree: The tree we are working in
65
 
        :param path: The path being added
66
 
        :param kind: The kind of object being added.
67
 
        :param stat: Stat result for this file, if available already
68
 
        :return bool. True if the file should be skipped (not added)
69
 
        """
70
 
        return False
71
 
 
72
 
 
73
 
class AddWithSkipLargeAction(AddAction):
74
 
    """A class that can decide to skip a file if it's considered too large"""
75
 
 
76
 
    # default 20 MB
77
 
    _DEFAULT_MAX_FILE_SIZE = 20000000
78
 
    _optionName = 'add.maximum_file_size'
79
 
    _maxSize = None
80
 
 
81
 
    def skip_file(self, tree, path, kind, stat_value = None):
82
 
        if kind != 'file':
83
 
            return False            
84
 
        if self._maxSize is None:
85
 
            config = tree.branch.get_config()
86
 
            self._maxSize = config.get_user_option_as_int_from_SI(
87
 
                self._optionName,  
88
 
                self._DEFAULT_MAX_FILE_SIZE)
89
 
        if stat_value is None:
90
 
            file_size = os.path.getsize(path);
91
 
        else:
92
 
            file_size = stat_value.st_size;
93
 
        if self._maxSize > 0 and file_size > self._maxSize:
94
 
            ui.ui_factory.show_warning(gettext(
95
 
                "skipping {0} (larger than {1} of {2} bytes)").format(
96
 
                path, self._optionName,  self._maxSize))
97
 
            return True
98
 
        return False
99
 
 
100
 
 
101
 
class AddFromBaseAction(AddAction):
102
 
    """This class will try to extract file ids from another tree."""
103
 
 
104
 
    def __init__(self, base_tree, base_path, to_file=None, should_print=None):
105
 
        super(AddFromBaseAction, self).__init__(to_file=to_file,
106
 
                                                should_print=should_print)
107
 
        self.base_tree = base_tree
108
 
        self.base_path = base_path
109
 
 
110
 
    def __call__(self, inv, parent_ie, path, kind):
111
 
        # Place the parent call
112
 
        # Now check to see if we can extract an id for this file
113
 
        file_id, base_path = self._get_base_file_id(path, parent_ie)
114
 
        if file_id is not None:
115
 
            if self.should_print:
116
 
                self._to_file.write('adding %s w/ file id from %s\n'
117
 
                                    % (path, base_path))
118
 
        else:
119
 
            # we aren't doing anything special, so let the default
120
 
            # reporter happen
121
 
            file_id = super(AddFromBaseAction, self).__call__(
122
 
                        inv, parent_ie, path, kind)
123
 
        return file_id
124
 
 
125
 
    def _get_base_file_id(self, path, parent_ie):
126
 
        """Look for a file id in the base branch.
127
 
 
128
 
        First, if the base tree has the parent directory,
129
 
        we look for a file with the same name in that directory.
130
 
        Else, we look for an entry in the base tree with the same path.
131
 
        """
132
 
 
133
 
        if self.base_tree.has_id(parent_ie.file_id):
134
 
            base_parent_ie = self.base_tree.inventory[parent_ie.file_id]
135
 
            base_child_ie = base_parent_ie.children.get(
136
 
                osutils.basename(path))
137
 
            if base_child_ie is not None:
138
 
                return (base_child_ie.file_id,
139
 
                        self.base_tree.id2path(base_child_ie.file_id))
140
 
        full_base_path = osutils.pathjoin(self.base_path, path)
141
 
        # This may return None, but it is our last attempt
142
 
        return self.base_tree.path2id(full_base_path), full_base_path
 
81
            self._print(inv, parent_ie, path, kind)
 
82
 
 
83
    def _print(self, inv, parent_ie, path, kind):
 
84
        """Print a line to self._to_file for each file that would be added."""
 
85
        self._to_file.write('added ')
 
86
        self._to_file.write(bzrlib.osutils.quotefn(path))
 
87
        self._to_file.write('\n')
 
88
 
 
89
    def _add_to_inv(self, inv, parent_ie, path, kind):
 
90
        """Add each file to the given inventory. Produce no output."""
 
91
        if parent_ie is not None:
 
92
            entry = bzrlib.inventory.make_entry(
 
93
                kind, bzrlib.osutils.basename(path),  parent_ie.file_id)
 
94
            inv.add(entry)
 
95
        else:
 
96
            entry = inv.add_path(path, kind=kind)
 
97
        # mutter("added %r kind %r file_id={%s}", path, kind, entry.file_id)
 
98
 
 
99
 
 
100
# TODO: jam 20050105 These could be used for compatibility
 
101
#       however, they bind against the current stdout, not the
 
102
#       one which exists at the time they are called, so they
 
103
#       don't work for the test suite.
 
104
# deprecated
 
105
add_action_null = AddAction()
 
106
add_action_add = AddAction(should_add=True)
 
107
add_action_print = AddAction(should_print=True)
 
108
add_action_add_and_print = AddAction(should_add=True, should_print=True)
 
109
 
 
110
 
 
111
def smart_add(file_list, recurse=True, action=None):
 
112
    """Add files to version, optionally recursing into directories.
 
113
 
 
114
    This is designed more towards DWIM for humans than API simplicity.
 
115
    For the specific behaviour see the help for cmd_add().
 
116
 
 
117
    Returns the number of files added.
 
118
    """
 
119
    file_list = _prepare_file_list(file_list)
 
120
    tree = WorkingTree.open_containing(file_list[0])[0]
 
121
    return smart_add_tree(tree, file_list, recurse, action=action)
 
122
 
 
123
 
 
124
def smart_add_tree(tree, file_list, recurse=True, action=None):
 
125
    """Add files to version, optionally recursing into directories.
 
126
 
 
127
    This is designed more towards DWIM for humans than API simplicity.
 
128
    For the specific behaviour see the help for cmd_add().
 
129
 
 
130
    This calls reporter with each (path, kind, file_id) of added files.
 
131
 
 
132
    Returns the number of files added.
 
133
    """
 
134
    import os, errno
 
135
    from bzrlib.errors import BadFileKindError, ForbiddenFileError
 
136
    assert isinstance(recurse, bool)
 
137
    if action is None:
 
138
        action = AddAction(should_add=True)
 
139
    
 
140
    prepared_list = _prepare_file_list(file_list)
 
141
    mutter("smart add of %r, originally %r", prepared_list, file_list)
 
142
    inv = tree.read_working_inventory()
 
143
    added = []
 
144
    ignored = {}
 
145
    user_files = set()
 
146
    files_to_add = []
 
147
 
 
148
    # validate user file paths and convert all paths to tree 
 
149
    # relative : its cheaper to make a tree relative path an abspath
 
150
    # than to convert an abspath to tree relative.
 
151
    for filepath in prepared_list:
 
152
        rf = tree.relpath(filepath)
 
153
        user_files.add(rf)
 
154
        files_to_add.append((rf, None))
 
155
        # validate user parameters. Our recursive code avoids adding new files
 
156
        # that need such validation 
 
157
        if tree.is_control_filename(rf):
 
158
            raise ForbiddenFileError('cannot add control file %s' % filepath)
 
159
 
 
160
    for filepath, parent_ie in files_to_add:
 
161
        # filepath is tree-relative
 
162
        abspath = tree.abspath(filepath)
 
163
 
 
164
        # find the kind of the path being added. This is not
 
165
        # currently determined when we list directories 
 
166
        # recursively, but in theory we can determine while 
 
167
        # doing the directory listing on *some* platformans.
 
168
        # TODO: a safe, portable, clean interface which will 
 
169
        # be faster than os.listdir() + stat. Specifically,
 
170
        # readdir - dirent.d_type supplies the file type when
 
171
        # it is defined. (Apparently Mac OSX has the field but
 
172
        # does not fill it in ?!) Robert C, Martin P.
 
173
        try:
 
174
            kind = bzrlib.osutils.file_kind(abspath)
 
175
        except OSError, e:
 
176
            if hasattr(e, 'errno') and e.errno == errno.ENOENT:
 
177
                raise errors.NoSuchFile(abspath)
 
178
            raise
 
179
 
 
180
        # we need to call this to determine the inventory kind to create.
 
181
        if not InventoryEntry.versionable_kind(kind):
 
182
            if filepath in user_files:
 
183
                raise BadFileKindError("cannot add %s of type %s" % (abspath, kind))
 
184
            else:
 
185
                warning("skipping %s (can't add file of kind '%s')", abspath, kind)
 
186
                continue
 
187
 
 
188
        if parent_ie is not None:
 
189
            versioned = bzrlib.osutils.basename(filepath) in parent_ie.children
 
190
        else:
 
191
            # without the parent ie, use the relatively slower inventory 
 
192
            # probing method
 
193
            versioned = inv.has_filename(filepath)
 
194
 
 
195
        if kind == 'directory':
 
196
            try:
 
197
                sub_branch = bzrlib.bzrdir.BzrDir.open(abspath)
 
198
                sub_tree = True
 
199
            except NotBranchError:
 
200
                sub_tree = False
 
201
            except errors.UnsupportedFormatError:
 
202
                sub_tree = True
 
203
        else:
 
204
            sub_tree = False
 
205
 
 
206
        if filepath == '':
 
207
            # mutter("tree root doesn't need to be added")
 
208
            sub_tree = False
 
209
        elif versioned:
 
210
            pass
 
211
            # mutter("%r is already versioned", abspath)
 
212
        elif sub_tree:
 
213
            mutter("%r is a nested bzr tree", abspath)
 
214
        else:
 
215
            added.extend(__add_one(tree, inv, parent_ie, filepath, kind, action))
 
216
 
 
217
        if kind == 'directory' and recurse and not sub_tree:
 
218
            try:
 
219
                if parent_ie is not None:
 
220
                    # must be present:
 
221
                    this_ie = parent_ie.children[bzrlib.osutils.basename(filepath)]
 
222
                else:
 
223
                    # without the parent ie, use the relatively slower inventory 
 
224
                    # probing method
 
225
                    this_id = inv.path2id(filepath)
 
226
                    if this_id is None:
 
227
                        this_ie = None
 
228
                    else:
 
229
                        this_ie = inv[this_id]
 
230
            except KeyError:
 
231
                this_ie = None
 
232
 
 
233
            for subf in os.listdir(abspath):
 
234
                # here we could use TreeDirectory rather than 
 
235
                # string concatenation.
 
236
                subp = bzrlib.osutils.pathjoin(filepath, subf)
 
237
                # TODO: is_control_filename is very slow. Make it faster. 
 
238
                # TreeDirectory.is_control_filename could also make this 
 
239
                # faster - its impossible for a non root dir to have a 
 
240
                # control file.
 
241
                if tree.is_control_filename(subp):
 
242
                    mutter("skip control directory %r", subp)
 
243
                else:
 
244
                    # ignore while selecting files - if we globbed in the
 
245
                    # outer loop we would ignore user files.
 
246
                    ignore_glob = tree.is_ignored(subp)
 
247
                    if ignore_glob is not None:
 
248
                        # mutter("skip ignored sub-file %r", subp)
 
249
                        if ignore_glob not in ignored:
 
250
                            ignored[ignore_glob] = []
 
251
                        ignored[ignore_glob].append(subp)
 
252
                    else:
 
253
                        #mutter("queue to add sub-file %r", subp)
 
254
                        files_to_add.append((subp, this_ie))
 
255
 
 
256
    if len(added) > 0:
 
257
        tree._write_inventory(inv)
 
258
    return added, ignored
 
259
 
 
260
 
 
261
def __add_one(tree, inv, parent_ie, path, kind, action):
 
262
    """Add a new entry to the inventory and automatically add unversioned parents.
 
263
 
 
264
    Actual adding of the entry is delegated to the action callback.
 
265
 
 
266
    :param inv: Inventory which will receive the new entry.
 
267
    :param parent_ie: Parent inventory entry if known, or None.  If
 
268
    None, the parent is looked up by name and used if present, otherwise
 
269
    it is recursively added.
 
270
    :param kind: Kind of new entry (file, directory, etc)
 
271
    :param action: callback(inv, parent_ie, path, kind); return ignored.
 
272
    :returns: A list of paths which have been added.
 
273
    """
 
274
 
 
275
    # Nothing to do if path is already versioned.
 
276
    # This is safe from infinite recursion because the tree root is
 
277
    # always versioned.
 
278
    if parent_ie is not None:
 
279
        # we have a parent ie already
 
280
        added = []
 
281
    else:
 
282
        # slower but does not need parent_ie
 
283
        if inv.has_filename(path):
 
284
            return []
 
285
        # add parent
 
286
        added = __add_one(tree, inv, None, dirname(path), 'directory', action)
 
287
        parent_id = inv.path2id(dirname(path))
 
288
        if parent_id is not None:
 
289
            parent_ie = inv[inv.path2id(dirname(path))]
 
290
        else:
 
291
            parent_ie = None
 
292
    action(inv, parent_ie, path, kind)
 
293
 
 
294
    return added + [path]