← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/ignores.py

(vila) Fix test failures blocking package builds. (Vincent Ladeuil)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/ignores.py
 
1
# Copyright (C) 2006-2011 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""Lists of ignore files, etc."""
 
18
 
 
19
from __future__ import absolute_import
 
20
 
 
21
import errno
 
22
import os
 
23
from cStringIO import StringIO
 
24
 
 
25
import bzrlib
 
26
from bzrlib.lazy_import import lazy_import
 
27
lazy_import(globals(), """
 
28
from bzrlib import (
 
29
    atomicfile,
 
30
    config,
 
31
    globbing,
 
32
    trace,
 
33
    )
 
34
""")
 
35
 
 
36
# ~/.bazaar/ignore will be filled out using
 
37
# this ignore list, if it does not exist
 
38
# please keep these sorted (in C locale order) to aid merging
 
39
USER_DEFAULTS = [
 
40
    '*.a',
 
41
    '*.o',
 
42
    '*.py[co]',
 
43
    '*.so',
 
44
    '*.sw[nop]',
 
45
    '*~',
 
46
    '.#*',
 
47
    '[#]*#',
 
48
    '__pycache__',
 
49
    'bzr-orphans',
 
50
]
 
51
 
 
52
 
 
53
 
 
54
def parse_ignore_file(f):
 
55
    """Read in all of the lines in the file and turn it into an ignore list
 
56
    
 
57
    Continue in the case of utf8 decoding errors, and emit a warning when 
 
58
    such and error is found. Optimise for the common case -- no decoding 
 
59
    errors.
 
60
    """
 
61
    ignored = set()
 
62
    ignore_file = f.read()
 
63
    try:
 
64
        # Try and parse whole ignore file at once.
 
65
        unicode_lines = ignore_file.decode('utf8').split('\n')
 
66
    except UnicodeDecodeError:
 
67
        # Otherwise go though line by line and pick out the 'good'
 
68
        # decodable lines
 
69
        lines = ignore_file.split('\n')
 
70
        unicode_lines = []
 
71
        for line_number, line in enumerate(lines):
 
72
            try:
 
73
                unicode_lines.append(line.decode('utf-8'))
 
74
            except UnicodeDecodeError:
 
75
                # report error about line (idx+1)
 
76
                trace.warning(
 
77
                        '.bzrignore: On Line #%d, malformed utf8 character. '
 
78
                        'Ignoring line.' % (line_number+1))
 
79
 
 
80
    # Append each line to ignore list if it's not a comment line
 
81
    for line in unicode_lines:
 
82
        line = line.rstrip('\r\n')
 
83
        if not line or line.startswith('#'):
 
84
            continue
 
85
        ignored.add(globbing.normalize_pattern(line))
 
86
    return ignored
 
87
 
 
88
 
 
89
def get_user_ignores():
 
90
    """Get the list of user ignored files, possibly creating it."""
 
91
    path = config.user_ignore_config_filename()
 
92
    patterns = set(USER_DEFAULTS)
 
93
    try:
 
94
        f = open(path, 'rb')
 
95
    except (IOError, OSError), e:
 
96
        # open() shouldn't return an IOError without errno, but just in case
 
97
        err = getattr(e, 'errno', None)
 
98
        if err not in (errno.ENOENT,):
 
99
            raise
 
100
        # Create the ignore file, and just return the default
 
101
        # We want to ignore if we can't write to the file
 
102
        # since get_* should be a safe operation
 
103
        try:
 
104
            _set_user_ignores(USER_DEFAULTS)
 
105
        except (IOError, OSError), e:
 
106
            if e.errno not in (errno.EPERM,):
 
107
                raise
 
108
        return patterns
 
109
 
 
110
    try:
 
111
        return parse_ignore_file(f)
 
112
    finally:
 
113
        f.close()
 
114
 
 
115
 
 
116
def _set_user_ignores(patterns):
 
117
    """Fill out the user ignore file with the given patterns
 
118
 
 
119
    This may raise an error if it doesn't have permission to
 
120
    write to the user ignore file.
 
121
    This is mostly used for testing, since it would be
 
122
    bad form to rewrite a user's ignore list.
 
123
    bzrlib only writes this file if it does not exist.
 
124
    """
 
125
    ignore_path = config.user_ignore_config_filename()
 
126
    config.ensure_config_dir_exists()
 
127
 
 
128
    # Create an empty file
 
129
    f = open(ignore_path, 'wb')
 
130
    try:
 
131
        for pattern in patterns:
 
132
            f.write(pattern.encode('utf8') + '\n')
 
133
    finally:
 
134
        f.close()
 
135
 
 
136
 
 
137
def add_unique_user_ignores(new_ignores):
 
138
    """Add entries to the user's ignore list if not present.
 
139
 
 
140
    :param new_ignores: A list of ignore patterns
 
141
    :return: The list of ignores that were added
 
142
    """
 
143
    ignored = get_user_ignores()
 
144
    to_add = []
 
145
    for ignore in new_ignores:
 
146
        ignore = globbing.normalize_pattern(ignore)
 
147
        if ignore not in ignored:
 
148
            ignored.add(ignore)
 
149
            to_add.append(ignore)
 
150
 
 
151
    if not to_add:
 
152
        return []
 
153
 
 
154
    f = open(config.user_ignore_config_filename(), 'ab')
 
155
    try:
 
156
        for pattern in to_add:
 
157
            f.write(pattern.encode('utf8') + '\n')
 
158
    finally:
 
159
        f.close()
 
160
 
 
161
    return to_add
 
162
 
 
163
 
 
164
_runtime_ignores = set()
 
165
 
 
166
 
 
167
def add_runtime_ignores(ignores):
 
168
    """Add some ignore patterns that only exists in memory.
 
169
 
 
170
    This is used by some plugins that want bzr to ignore files,
 
171
    but don't want to change a users ignore list.
 
172
    (Such as a conversion script that needs to ignore temporary files,
 
173
    but does not want to modify the project's ignore list.)
 
174
 
 
175
    :param ignores: A list or generator of ignore patterns.
 
176
    :return: None
 
177
    """
 
178
    global _runtime_ignores
 
179
    _runtime_ignores.update(set(ignores))
 
180
 
 
181
 
 
182
def get_runtime_ignores():
 
183
    """Get the current set of runtime ignores."""
 
184
    return _runtime_ignores
 
185
 
 
186
 
 
187
def tree_ignores_add_patterns(tree, name_pattern_list):
 
188
    """Add more ignore patterns to the ignore file in a tree.
 
189
    If ignore file does not exist then it will be created.
 
190
    The ignore file will be automatically added under version control.
 
191
 
 
192
    :param tree: Working tree to update the ignore list.
 
193
    :param name_pattern_list: List of ignore patterns.
 
194
    :return: None
 
195
    """
 
196
    # read in the existing ignores set
 
197
    ifn = tree.abspath(bzrlib.IGNORE_FILENAME)
 
198
    if tree.has_filename(ifn):
 
199
        f = open(ifn, 'rU')
 
200
        try:
 
201
            file_contents = f.read()
 
202
            # figure out what kind of line endings are used
 
203
            newline = getattr(f, 'newlines', None)
 
204
            if type(newline) is tuple:
 
205
                newline = newline[0]
 
206
            elif newline is None:
 
207
                newline = os.linesep
 
208
        finally:
 
209
            f.close()
 
210
    else:
 
211
        file_contents = ""
 
212
        newline = os.linesep
 
213
    
 
214
    sio = StringIO(file_contents)
 
215
    try:
 
216
        ignores = parse_ignore_file(sio)
 
217
    finally:
 
218
        sio.close()
 
219
    
 
220
    # write out the updated ignores set
 
221
    f = atomicfile.AtomicFile(ifn, 'wb')
 
222
    try:
 
223
        # write the original contents, preserving original line endings
 
224
        f.write(newline.join(file_contents.split('\n')))
 
225
        if len(file_contents) > 0 and not file_contents.endswith('\n'):
 
226
            f.write(newline)
 
227
        for pattern in name_pattern_list:
 
228
            if not pattern in ignores:
 
229
                f.write(pattern.encode('utf-8'))
 
230
                f.write(newline)
 
231
        f.commit()
 
232
    finally:
 
233
        f.close()
 
234
 
 
235
    if not tree.path2id(bzrlib.IGNORE_FILENAME):
 
236
        tree.add([bzrlib.IGNORE_FILENAME])