← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/ignores.py

[merge] robert's knit-performance work

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/ignores.py
1
 
# Copyright (C) 2006-2011 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
"""Lists of ignore files, etc."""
18
 
 
19
 
import errno
20
 
import os
21
 
from cStringIO import StringIO
22
 
 
23
 
import bzrlib
24
 
from bzrlib.lazy_import import lazy_import
25
 
lazy_import(globals(), """
26
 
from bzrlib import (
27
 
    atomicfile,
28
 
    config,
29
 
    globbing,
30
 
    )
31
 
 
32
 
from trace import warning
33
 
""")
34
 
 
35
 
# ~/.bazaar/ignore will be filled out using
36
 
# this ignore list, if it does not exist
37
 
# please keep these sorted (in C locale order) to aid merging
38
 
USER_DEFAULTS = [
39
 
    '*.a',
40
 
    '*.o',
41
 
    '*.py[co]',
42
 
    '*.so',
43
 
    '*.sw[nop]',
44
 
    '*~',
45
 
    '.#*',
46
 
    '[#]*#',
47
 
    '__pycache__',
48
 
    'bzr-orphans',
49
 
]
50
 
 
51
 
 
52
 
 
53
 
def parse_ignore_file(f):
54
 
    """Read in all of the lines in the file and turn it into an ignore list
55
 
    
56
 
    Continue in the case of utf8 decoding errors, and emit a warning when 
57
 
    such and error is found. Optimise for the common case -- no decoding 
58
 
    errors.
59
 
    """
60
 
    ignored = set()
61
 
    ignore_file = f.read()
62
 
    try:
63
 
        # Try and parse whole ignore file at once.
64
 
        unicode_lines = ignore_file.decode('utf8').split('\n')
65
 
    except UnicodeDecodeError:
66
 
        # Otherwise go though line by line and pick out the 'good'
67
 
        # decodable lines
68
 
        lines = ignore_file.split('\n')
69
 
        unicode_lines = []
70
 
        for line_number, line in enumerate(lines):
71
 
            try:
72
 
                unicode_lines.append(line.decode('utf-8'))
73
 
            except UnicodeDecodeError:
74
 
                # report error about line (idx+1)
75
 
                warning('.bzrignore: On Line #%d, malformed utf8 character. '
76
 
                        'Ignoring line.' % (line_number+1))
77
 
 
78
 
    # Append each line to ignore list if it's not a comment line
79
 
    for line in unicode_lines:
80
 
        line = line.rstrip('\r\n')
81
 
        if not line or line.startswith('#'):
82
 
            continue
83
 
        ignored.add(globbing.normalize_pattern(line))
84
 
    return ignored
85
 
 
86
 
 
87
 
def get_user_ignores():
88
 
    """Get the list of user ignored files, possibly creating it."""
89
 
    path = config.user_ignore_config_filename()
90
 
    patterns = set(USER_DEFAULTS)
91
 
    try:
92
 
        f = open(path, 'rb')
93
 
    except (IOError, OSError), e:
94
 
        # open() shouldn't return an IOError without errno, but just in case
95
 
        err = getattr(e, 'errno', None)
96
 
        if err not in (errno.ENOENT,):
97
 
            raise
98
 
        # Create the ignore file, and just return the default
99
 
        # We want to ignore if we can't write to the file
100
 
        # since get_* should be a safe operation
101
 
        try:
102
 
            _set_user_ignores(USER_DEFAULTS)
103
 
        except (IOError, OSError), e:
104
 
            if e.errno not in (errno.EPERM,):
105
 
                raise
106
 
        return patterns
107
 
 
108
 
    try:
109
 
        return parse_ignore_file(f)
110
 
    finally:
111
 
        f.close()
112
 
 
113
 
 
114
 
def _set_user_ignores(patterns):
115
 
    """Fill out the user ignore file with the given patterns
116
 
 
117
 
    This may raise an error if it doesn't have permission to
118
 
    write to the user ignore file.
119
 
    This is mostly used for testing, since it would be
120
 
    bad form to rewrite a user's ignore list.
121
 
    bzrlib only writes this file if it does not exist.
122
 
    """
123
 
    ignore_path = config.user_ignore_config_filename()
124
 
    config.ensure_config_dir_exists()
125
 
 
126
 
    # Create an empty file
127
 
    f = open(ignore_path, 'wb')
128
 
    try:
129
 
        for pattern in patterns:
130
 
            f.write(pattern.encode('utf8') + '\n')
131
 
    finally:
132
 
        f.close()
133
 
 
134
 
 
135
 
def add_unique_user_ignores(new_ignores):
136
 
    """Add entries to the user's ignore list if not present.
137
 
 
138
 
    :param new_ignores: A list of ignore patterns
139
 
    :return: The list of ignores that were added
140
 
    """
141
 
    ignored = get_user_ignores()
142
 
    to_add = []
143
 
    for ignore in new_ignores:
144
 
        ignore = globbing.normalize_pattern(ignore)
145
 
        if ignore not in ignored:
146
 
            ignored.add(ignore)
147
 
            to_add.append(ignore)
148
 
 
149
 
    if not to_add:
150
 
        return []
151
 
 
152
 
    f = open(config.user_ignore_config_filename(), 'ab')
153
 
    try:
154
 
        for pattern in to_add:
155
 
            f.write(pattern.encode('utf8') + '\n')
156
 
    finally:
157
 
        f.close()
158
 
 
159
 
    return to_add
160
 
 
161
 
 
162
 
_runtime_ignores = set()
163
 
 
164
 
 
165
 
def add_runtime_ignores(ignores):
166
 
    """Add some ignore patterns that only exists in memory.
167
 
 
168
 
    This is used by some plugins that want bzr to ignore files,
169
 
    but don't want to change a users ignore list.
170
 
    (Such as a conversion script that needs to ignore temporary files,
171
 
    but does not want to modify the project's ignore list.)
172
 
 
173
 
    :param ignores: A list or generator of ignore patterns.
174
 
    :return: None
175
 
    """
176
 
    global _runtime_ignores
177
 
    _runtime_ignores.update(set(ignores))
178
 
 
179
 
 
180
 
def get_runtime_ignores():
181
 
    """Get the current set of runtime ignores."""
182
 
    return _runtime_ignores
183
 
 
184
 
 
185
 
def tree_ignores_add_patterns(tree, name_pattern_list):
186
 
    """Add more ignore patterns to the ignore file in a tree.
187
 
    If ignore file does not exist then it will be created.
188
 
    The ignore file will be automatically added under version control.
189
 
 
190
 
    :param tree: Working tree to update the ignore list.
191
 
    :param name_pattern_list: List of ignore patterns.
192
 
    :return: None
193
 
    """
194
 
    # read in the existing ignores set
195
 
    ifn = tree.abspath(bzrlib.IGNORE_FILENAME)
196
 
    if tree.has_filename(ifn):
197
 
        f = open(ifn, 'rU')
198
 
        try:
199
 
            file_contents = f.read()
200
 
            # figure out what kind of line endings are used
201
 
            newline = getattr(f, 'newlines', None)
202
 
            if type(newline) is tuple:
203
 
                newline = newline[0]
204
 
            elif newline is None:
205
 
                newline = os.linesep
206
 
        finally:
207
 
            f.close()
208
 
    else:
209
 
        file_contents = ""
210
 
        newline = os.linesep
211
 
    
212
 
    sio = StringIO(file_contents)
213
 
    try:
214
 
        ignores = parse_ignore_file(sio)
215
 
    finally:
216
 
        sio.close()
217
 
    
218
 
    # write out the updated ignores set
219
 
    f = atomicfile.AtomicFile(ifn, 'wb')
220
 
    try:
221
 
        # write the original contents, preserving original line endings
222
 
        f.write(newline.join(file_contents.split('\n')))
223
 
        if len(file_contents) > 0 and not file_contents.endswith('\n'):
224
 
            f.write(newline)
225
 
        for pattern in name_pattern_list:
226
 
            if not pattern in ignores:
227
 
                f.write(pattern.encode('utf-8'))
228
 
                f.write(newline)
229
 
        f.commit()
230
 
    finally:
231
 
        f.close()
232
 
 
233
 
    if not tree.path2id(bzrlib.IGNORE_FILENAME):
234
 
        tree.add([bzrlib.IGNORE_FILENAME])