~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/win32utils.py

(Matt Nordhoff) Standardize the exceptions when creating a new
        StaticTuple (bug #457979)

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005-2010 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""Win32-specific helper functions
 
18
 
 
19
Only one dependency: ctypes should be installed.
 
20
"""
 
21
 
 
22
import glob
 
23
import os
 
24
import re
 
25
import struct
 
26
import sys
 
27
 
 
28
 
 
29
# Windows version
 
30
if sys.platform == 'win32':
 
31
    _major,_minor,_build,_platform,_text = sys.getwindowsversion()
 
32
    # from MSDN:
 
33
    # dwPlatformId
 
34
    #   The operating system platform.
 
35
    #   This member can be one of the following values.
 
36
    #   ==========================  ======================================
 
37
    #   Value                       Meaning
 
38
    #   --------------------------  --------------------------------------
 
39
    #   VER_PLATFORM_WIN32_NT       The operating system is Windows Vista,
 
40
    #   2                           Windows Server "Longhorn",
 
41
    #                               Windows Server 2003, Windows XP,
 
42
    #                               Windows 2000, or Windows NT.
 
43
    #
 
44
    #   VER_PLATFORM_WIN32_WINDOWS  The operating system is Windows Me,
 
45
    #   1                           Windows 98, or Windows 95.
 
46
    #   ==========================  ======================================
 
47
    if _platform == 2:
 
48
        winver = 'Windows NT'
 
49
    else:
 
50
        # don't care about real Windows name, just to force safe operations
 
51
        winver = 'Windows 98'
 
52
else:
 
53
    winver = None
 
54
 
 
55
 
 
56
# We can cope without it; use a separate variable to help pyflakes
 
57
try:
 
58
    import ctypes
 
59
    has_ctypes = True
 
60
except ImportError:
 
61
    has_ctypes = False
 
62
else:
 
63
    if winver == 'Windows 98':
 
64
        create_buffer = ctypes.create_string_buffer
 
65
        suffix = 'A'
 
66
    else:
 
67
        create_buffer = ctypes.create_unicode_buffer
 
68
        suffix = 'W'
 
69
try:
 
70
    import win32file
 
71
    import pywintypes
 
72
    has_win32file = True
 
73
except ImportError:
 
74
    has_win32file = False
 
75
try:
 
76
    import win32api
 
77
    has_win32api = True
 
78
except ImportError:
 
79
    has_win32api = False
 
80
 
 
81
# pulling in win32com.shell is a bit of overhead, and normally we don't need
 
82
# it as ctypes is preferred and common.  lazy_imports and "optional"
 
83
# modules don't work well, so we do our own lazy thing...
 
84
has_win32com_shell = None # Set to True or False once we know for sure...
 
85
 
 
86
# Special Win32 API constants
 
87
# Handles of std streams
 
88
WIN32_STDIN_HANDLE = -10
 
89
WIN32_STDOUT_HANDLE = -11
 
90
WIN32_STDERR_HANDLE = -12
 
91
 
 
92
# CSIDL constants (from MSDN 2003)
 
93
CSIDL_APPDATA = 0x001A      # Application Data folder
 
94
CSIDL_LOCAL_APPDATA = 0x001c# <user name>\Local Settings\Application Data (non roaming)
 
95
CSIDL_PERSONAL = 0x0005     # My Documents folder
 
96
 
 
97
# from winapi C headers
 
98
MAX_PATH = 260
 
99
UNLEN = 256
 
100
MAX_COMPUTERNAME_LENGTH = 31
 
101
 
 
102
# Registry data type ids
 
103
REG_SZ = 1
 
104
REG_EXPAND_SZ = 2
 
105
 
 
106
 
 
107
def debug_memory_win32api(message='', short=True):
 
108
    """Use trace.note() to dump the running memory info."""
 
109
    from bzrlib import trace
 
110
    if has_ctypes:
 
111
        class PROCESS_MEMORY_COUNTERS_EX(ctypes.Structure):
 
112
            """Used by GetProcessMemoryInfo"""
 
113
            _fields_ = [('cb', ctypes.c_ulong),
 
114
                        ('PageFaultCount', ctypes.c_ulong),
 
115
                        ('PeakWorkingSetSize', ctypes.c_size_t),
 
116
                        ('WorkingSetSize', ctypes.c_size_t),
 
117
                        ('QuotaPeakPagedPoolUsage', ctypes.c_size_t),
 
118
                        ('QuotaPagedPoolUsage', ctypes.c_size_t),
 
119
                        ('QuotaPeakNonPagedPoolUsage', ctypes.c_size_t),
 
120
                        ('QuotaNonPagedPoolUsage', ctypes.c_size_t),
 
121
                        ('PagefileUsage', ctypes.c_size_t),
 
122
                        ('PeakPagefileUsage', ctypes.c_size_t),
 
123
                        ('PrivateUsage', ctypes.c_size_t),
 
124
                       ]
 
125
        cur_process = ctypes.windll.kernel32.GetCurrentProcess()
 
126
        mem_struct = PROCESS_MEMORY_COUNTERS_EX()
 
127
        ret = ctypes.windll.psapi.GetProcessMemoryInfo(cur_process,
 
128
            ctypes.byref(mem_struct),
 
129
            ctypes.sizeof(mem_struct))
 
130
        if not ret:
 
131
            trace.note('Failed to GetProcessMemoryInfo()')
 
132
            return
 
133
        info = {'PageFaultCount': mem_struct.PageFaultCount,
 
134
                'PeakWorkingSetSize': mem_struct.PeakWorkingSetSize,
 
135
                'WorkingSetSize': mem_struct.WorkingSetSize,
 
136
                'QuotaPeakPagedPoolUsage': mem_struct.QuotaPeakPagedPoolUsage,
 
137
                'QuotaPagedPoolUsage': mem_struct.QuotaPagedPoolUsage,
 
138
                'QuotaPeakNonPagedPoolUsage': mem_struct.QuotaPeakNonPagedPoolUsage,
 
139
                'QuotaNonPagedPoolUsage': mem_struct.QuotaNonPagedPoolUsage,
 
140
                'PagefileUsage': mem_struct.PagefileUsage,
 
141
                'PeakPagefileUsage': mem_struct.PeakPagefileUsage,
 
142
                'PrivateUsage': mem_struct.PrivateUsage,
 
143
               }
 
144
    elif has_win32api:
 
145
        import win32process
 
146
        # win32process does not return PrivateUsage, because it doesn't use
 
147
        # PROCESS_MEMORY_COUNTERS_EX (it uses the one without _EX).
 
148
        proc = win32process.GetCurrentProcess()
 
149
        info = win32process.GetProcessMemoryInfo(proc)
 
150
    else:
 
151
        trace.note('Cannot debug memory on win32 without ctypes'
 
152
                   ' or win32process')
 
153
        return
 
154
    if short:
 
155
        trace.note('WorkingSize %7dKB'
 
156
                   '\tPeakWorking %7dKB\t%s',
 
157
                   info['WorkingSetSize'] / 1024,
 
158
                   info['PeakWorkingSetSize'] / 1024,
 
159
                   message)
 
160
        return
 
161
    if message:
 
162
        trace.note('%s', message)
 
163
    trace.note('WorkingSize       %8d KB', info['WorkingSetSize'] / 1024)
 
164
    trace.note('PeakWorking       %8d KB', info['PeakWorkingSetSize'] / 1024)
 
165
    trace.note('PagefileUsage     %8d KB', info.get('PagefileUsage', 0) / 1024)
 
166
    trace.note('PeakPagefileUsage %8d KB', info.get('PeakPagefileUsage', 0) / 1024)
 
167
    trace.note('PrivateUsage      %8d KB', info.get('PrivateUsage', 0) / 1024)
 
168
    trace.note('PageFaultCount    %8d', info.get('PageFaultCount', 0))
 
169
 
 
170
 
 
171
def get_console_size(defaultx=80, defaulty=25):
 
172
    """Return size of current console.
 
173
 
 
174
    This function try to determine actual size of current working
 
175
    console window and return tuple (sizex, sizey) if success,
 
176
    or default size (defaultx, defaulty) otherwise.
 
177
    """
 
178
    if not has_ctypes:
 
179
        # no ctypes is found
 
180
        return (defaultx, defaulty)
 
181
 
 
182
    # To avoid problem with redirecting output via pipe
 
183
    # we need to use stderr instead of stdout
 
184
    h = ctypes.windll.kernel32.GetStdHandle(WIN32_STDERR_HANDLE)
 
185
    csbi = ctypes.create_string_buffer(22)
 
186
    res = ctypes.windll.kernel32.GetConsoleScreenBufferInfo(h, csbi)
 
187
 
 
188
    if res:
 
189
        (bufx, bufy, curx, cury, wattr,
 
190
        left, top, right, bottom, maxx, maxy) = struct.unpack("hhhhHhhhhhh", csbi.raw)
 
191
        sizex = right - left + 1
 
192
        sizey = bottom - top + 1
 
193
        return (sizex, sizey)
 
194
    else:
 
195
        return (defaultx, defaulty)
 
196
 
 
197
 
 
198
def _get_sh_special_folder_path(csidl):
 
199
    """Call SHGetSpecialFolderPathW if available, or return None.
 
200
 
 
201
    Result is always unicode (or None).
 
202
    """
 
203
    if has_ctypes:
 
204
        try:
 
205
            SHGetSpecialFolderPath = \
 
206
                ctypes.windll.shell32.SHGetSpecialFolderPathW
 
207
        except AttributeError:
 
208
            pass
 
209
        else:
 
210
            buf = ctypes.create_unicode_buffer(MAX_PATH)
 
211
            if SHGetSpecialFolderPath(None,buf,csidl,0):
 
212
                return buf.value
 
213
 
 
214
    global has_win32com_shell
 
215
    if has_win32com_shell is None:
 
216
        try:
 
217
            from win32com.shell import shell
 
218
            has_win32com_shell = True
 
219
        except ImportError:
 
220
            has_win32com_shell = False
 
221
    if has_win32com_shell:
 
222
        # still need to bind the name locally, but this is fast.
 
223
        from win32com.shell import shell
 
224
        try:
 
225
            return shell.SHGetSpecialFolderPath(0, csidl, 0)
 
226
        except shell.error:
 
227
            # possibly E_NOTIMPL meaning we can't load the function pointer,
 
228
            # or E_FAIL meaning the function failed - regardless, just ignore it
 
229
            pass
 
230
    return None
 
231
 
 
232
 
 
233
def get_appdata_location():
 
234
    """Return Application Data location.
 
235
    Return None if we cannot obtain location.
 
236
 
 
237
    Windows defines two 'Application Data' folders per user - a 'roaming'
 
238
    one that moves with the user as they logon to different machines, and
 
239
    a 'local' one that stays local to the machine.  This returns the 'roaming'
 
240
    directory, and thus is suitable for storing user-preferences, etc.
 
241
 
 
242
    Returned value can be unicode or plain string.
 
243
    To convert plain string to unicode use
 
244
    s.decode(osutils.get_user_encoding())
 
245
    (XXX - but see bug 262874, which asserts the correct encoding is 'mbcs')
 
246
    """
 
247
    appdata = _get_sh_special_folder_path(CSIDL_APPDATA)
 
248
    if appdata:
 
249
        return appdata
 
250
    # from env variable
 
251
    appdata = os.environ.get('APPDATA')
 
252
    if appdata:
 
253
        return appdata
 
254
    # if we fall to this point we on win98
 
255
    # at least try C:/WINDOWS/Application Data
 
256
    windir = os.environ.get('windir')
 
257
    if windir:
 
258
        appdata = os.path.join(windir, 'Application Data')
 
259
        if os.path.isdir(appdata):
 
260
            return appdata
 
261
    # did not find anything
 
262
    return None
 
263
 
 
264
 
 
265
def get_local_appdata_location():
 
266
    """Return Local Application Data location.
 
267
    Return the same as get_appdata_location() if we cannot obtain location.
 
268
 
 
269
    Windows defines two 'Application Data' folders per user - a 'roaming'
 
270
    one that moves with the user as they logon to different machines, and
 
271
    a 'local' one that stays local to the machine.  This returns the 'local'
 
272
    directory, and thus is suitable for caches, temp files and other things
 
273
    which don't need to move with the user.
 
274
 
 
275
    Returned value can be unicode or plain string.
 
276
    To convert plain string to unicode use
 
277
    s.decode(osutils.get_user_encoding())
 
278
    (XXX - but see bug 262874, which asserts the correct encoding is 'mbcs')
 
279
    """
 
280
    local = _get_sh_special_folder_path(CSIDL_LOCAL_APPDATA)
 
281
    if local:
 
282
        return local
 
283
    # Vista supplies LOCALAPPDATA, but XP and earlier do not.
 
284
    local = os.environ.get('LOCALAPPDATA')
 
285
    if local:
 
286
        return local
 
287
    return get_appdata_location()
 
288
 
 
289
 
 
290
def get_home_location():
 
291
    """Return user's home location.
 
292
    Assume on win32 it's the <My Documents> folder.
 
293
    If location cannot be obtained return system drive root,
 
294
    i.e. C:\
 
295
 
 
296
    Returned value can be unicode or plain string.
 
297
    To convert plain string to unicode use
 
298
    s.decode(osutils.get_user_encoding())
 
299
    """
 
300
    home = _get_sh_special_folder_path(CSIDL_PERSONAL)
 
301
    if home:
 
302
        return home
 
303
    # try for HOME env variable
 
304
    home = os.path.expanduser('~')
 
305
    if home != '~':
 
306
        return home
 
307
    # at least return windows root directory
 
308
    windir = os.environ.get('windir')
 
309
    if windir:
 
310
        return os.path.splitdrive(windir)[0] + '/'
 
311
    # otherwise C:\ is good enough for 98% users
 
312
    return 'C:/'
 
313
 
 
314
 
 
315
def get_user_name():
 
316
    """Return user name as login name.
 
317
    If name cannot be obtained return None.
 
318
 
 
319
    Returned value can be unicode or plain string.
 
320
    To convert plain string to unicode use
 
321
    s.decode(osutils.get_user_encoding())
 
322
    """
 
323
    if has_ctypes:
 
324
        try:
 
325
            advapi32 = ctypes.windll.advapi32
 
326
            GetUserName = getattr(advapi32, 'GetUserName'+suffix)
 
327
        except AttributeError:
 
328
            pass
 
329
        else:
 
330
            buf = create_buffer(UNLEN+1)
 
331
            n = ctypes.c_int(UNLEN+1)
 
332
            if GetUserName(buf, ctypes.byref(n)):
 
333
                return buf.value
 
334
    # otherwise try env variables
 
335
    return os.environ.get('USERNAME', None)
 
336
 
 
337
 
 
338
# 1 == ComputerNameDnsHostname, which returns "The DNS host name of the local
 
339
# computer or the cluster associated with the local computer."
 
340
_WIN32_ComputerNameDnsHostname = 1
 
341
 
 
342
def get_host_name():
 
343
    """Return host machine name.
 
344
    If name cannot be obtained return None.
 
345
 
 
346
    :return: A unicode string representing the host name. On win98, this may be
 
347
        a plain string as win32 api doesn't support unicode.
 
348
    """
 
349
    if has_win32api:
 
350
        try:
 
351
            return win32api.GetComputerNameEx(_WIN32_ComputerNameDnsHostname)
 
352
        except (NotImplementedError, win32api.error):
 
353
            # NotImplemented will happen on win9x...
 
354
            pass
 
355
    if has_ctypes:
 
356
        try:
 
357
            kernel32 = ctypes.windll.kernel32
 
358
        except AttributeError:
 
359
            pass # Missing the module we need
 
360
        else:
 
361
            buf = create_buffer(MAX_COMPUTERNAME_LENGTH+1)
 
362
            n = ctypes.c_int(MAX_COMPUTERNAME_LENGTH+1)
 
363
 
 
364
            # Try GetComputerNameEx which gives a proper Unicode hostname
 
365
            GetComputerNameEx = getattr(kernel32, 'GetComputerNameEx'+suffix,
 
366
                                        None)
 
367
            if (GetComputerNameEx is not None
 
368
                and GetComputerNameEx(_WIN32_ComputerNameDnsHostname,
 
369
                                      buf, ctypes.byref(n))):
 
370
                return buf.value
 
371
 
 
372
            # Try GetComputerName in case GetComputerNameEx wasn't found
 
373
            # It returns the NETBIOS name, which isn't as good, but still ok.
 
374
            # The first GetComputerNameEx might have changed 'n', so reset it
 
375
            n = ctypes.c_int(MAX_COMPUTERNAME_LENGTH+1)
 
376
            GetComputerName = getattr(kernel32, 'GetComputerName'+suffix,
 
377
                                      None)
 
378
            if (GetComputerName is not None
 
379
                and GetComputerName(buf, ctypes.byref(n))):
 
380
                return buf.value
 
381
    # otherwise try env variables, which will be 'mbcs' encoded
 
382
    # on Windows (Python doesn't expose the native win32 unicode environment)
 
383
    # According to this:
 
384
    # http://msdn.microsoft.com/en-us/library/aa246807.aspx
 
385
    # environment variables should always be encoded in 'mbcs'.
 
386
    try:
 
387
        return os.environ['COMPUTERNAME'].decode("mbcs")
 
388
    except KeyError:
 
389
        return None
 
390
 
 
391
 
 
392
def _ensure_unicode(s):
 
393
    if s and type(s) != unicode:
 
394
        from bzrlib import osutils
 
395
        s = s.decode(osutils.get_user_encoding())
 
396
    return s
 
397
 
 
398
 
 
399
def get_appdata_location_unicode():
 
400
    return _ensure_unicode(get_appdata_location())
 
401
 
 
402
def get_home_location_unicode():
 
403
    return _ensure_unicode(get_home_location())
 
404
 
 
405
def get_user_name_unicode():
 
406
    return _ensure_unicode(get_user_name())
 
407
 
 
408
def get_host_name_unicode():
 
409
    return _ensure_unicode(get_host_name())
 
410
 
 
411
 
 
412
def _ensure_with_dir(path):
 
413
    if not os.path.split(path)[0] or path.startswith(u'*') or path.startswith(u'?'):
 
414
        return u'./' + path, True
 
415
    else:
 
416
        return path, False
 
417
 
 
418
def _undo_ensure_with_dir(path, corrected):
 
419
    if corrected:
 
420
        return path[2:]
 
421
    else:
 
422
        return path
 
423
 
 
424
 
 
425
 
 
426
def glob_one(possible_glob):
 
427
    """Same as glob.glob().
 
428
 
 
429
    work around bugs in glob.glob()
 
430
    - Python bug #1001604 ("glob doesn't return unicode with ...")
 
431
    - failing expansion for */* with non-iso-8859-* chars
 
432
    """
 
433
    corrected_glob, corrected = _ensure_with_dir(possible_glob)
 
434
    glob_files = glob.glob(corrected_glob)
 
435
 
 
436
    if not glob_files:
 
437
        # special case to let the normal code path handle
 
438
        # files that do not exist, etc.
 
439
        glob_files = [possible_glob]
 
440
    elif corrected:
 
441
        glob_files = [_undo_ensure_with_dir(elem, corrected)
 
442
                      for elem in glob_files]
 
443
    return [elem.replace(u'\\', u'/') for elem in glob_files]
 
444
 
 
445
 
 
446
def glob_expand(file_list):
 
447
    """Replacement for glob expansion by the shell.
 
448
 
 
449
    Win32's cmd.exe does not do glob expansion (eg ``*.py``), so we do our own
 
450
    here.
 
451
 
 
452
    :param file_list: A list of filenames which may include shell globs.
 
453
    :return: An expanded list of filenames.
 
454
 
 
455
    Introduced in bzrlib 0.18.
 
456
    """
 
457
    if not file_list:
 
458
        return []
 
459
    expanded_file_list = []
 
460
    for possible_glob in file_list:
 
461
        expanded_file_list.extend(glob_one(possible_glob))
 
462
    return expanded_file_list
 
463
 
 
464
 
 
465
def get_app_path(appname):
 
466
    """Look up in Windows registry for full path to application executable.
 
467
    Typically, applications create subkey with their basename
 
468
    in HKLM\SOFTWARE\Microsoft\Windows\CurrentVersion\App Paths\
 
469
 
 
470
    :param  appname:    name of application (if no filename extension
 
471
                        is specified, .exe used)
 
472
    :return:    full path to aplication executable from registry,
 
473
                or appname itself if nothing found.
 
474
    """
 
475
    import _winreg
 
476
 
 
477
    basename = appname
 
478
    if not os.path.splitext(basename)[1]:
 
479
        basename = appname + '.exe'
 
480
 
 
481
    try:
 
482
        hkey = _winreg.OpenKey(_winreg.HKEY_LOCAL_MACHINE,
 
483
            'SOFTWARE\\Microsoft\\Windows\\CurrentVersion\\App Paths\\' +
 
484
            basename)
 
485
    except EnvironmentError:
 
486
        return appname
 
487
 
 
488
    try:
 
489
        try:
 
490
            path, type_id = _winreg.QueryValueEx(hkey, '')
 
491
        except WindowsError:
 
492
            return appname
 
493
    finally:
 
494
        _winreg.CloseKey(hkey)
 
495
 
 
496
    if type_id == REG_SZ:
 
497
        return path
 
498
    if type_id == REG_EXPAND_SZ and has_win32api:
 
499
        fullpath = win32api.ExpandEnvironmentStrings(path)
 
500
        if len(fullpath) > 1 and fullpath[0] == '"' and fullpath[-1] == '"':
 
501
            fullpath = fullpath[1:-1]   # remove quotes around value
 
502
        return fullpath
 
503
    return appname
 
504
 
 
505
 
 
506
def set_file_attr_hidden(path):
 
507
    """Set file attributes to hidden if possible"""
 
508
    if has_win32file:
 
509
        if winver != 'Windows 98':
 
510
            SetFileAttributes = win32file.SetFileAttributesW
 
511
        else:
 
512
            SetFileAttributes = win32file.SetFileAttributes
 
513
        try:
 
514
            SetFileAttributes(path, win32file.FILE_ATTRIBUTE_HIDDEN)
 
515
        except pywintypes.error, e:
 
516
            from bzrlib import trace
 
517
            trace.mutter('Unable to set hidden attribute on %r: %s', path, e)
 
518
 
 
519
 
 
520
 
 
521
class UnicodeShlex(object):
 
522
    """This is a very simplified version of shlex.shlex.
 
523
 
 
524
    The main change is that it supports non-ascii input streams. The internal
 
525
    structure is quite simplified relative to shlex.shlex, since we aren't
 
526
    trying to handle multiple input streams, etc. In fact, we don't use a
 
527
    file-like api either.
 
528
    """
 
529
 
 
530
    def __init__(self, uni_string):
 
531
        self._input = uni_string
 
532
        self._input_iter = iter(self._input)
 
533
        self._whitespace_match = re.compile(u'\s').match
 
534
        self._word_match = re.compile(u'\S').match
 
535
        self._quote_chars = u'"'
 
536
        # self._quote_match = re.compile(u'[\'"]').match
 
537
        self._escape_match = lambda x: None # Never matches
 
538
        self._escape = '\\'
 
539
        # State can be
 
540
        #   ' ' - after whitespace, starting a new token
 
541
        #   'a' - after text, currently working on a token
 
542
        #   '"' - after ", currently in a "-delimited quoted section
 
543
        #   "\" - after '\', checking the next char
 
544
        self._state = ' '
 
545
        self._token = [] # Current token being parsed
 
546
 
 
547
    def _get_token(self):
 
548
        # Were there quote chars as part of this token?
 
549
        quoted = False
 
550
        quoted_state = None
 
551
        for nextchar in self._input_iter:
 
552
            if self._state == ' ':
 
553
                if self._whitespace_match(nextchar):
 
554
                    # if self._token: return token
 
555
                    continue
 
556
                elif nextchar in self._quote_chars:
 
557
                    self._state = nextchar # quoted state
 
558
                elif self._word_match(nextchar):
 
559
                    self._token.append(nextchar)
 
560
                    self._state = 'a'
 
561
                else:
 
562
                    raise AssertionError('wtttf?')
 
563
            elif self._state in self._quote_chars:
 
564
                quoted = True
 
565
                if nextchar == self._state: # End of quote
 
566
                    self._state = 'a' # posix allows 'foo'bar to translate to
 
567
                                      # foobar
 
568
                elif self._state == '"' and nextchar == self._escape:
 
569
                    quoted_state = self._state
 
570
                    self._state = nextchar
 
571
                else:
 
572
                    self._token.append(nextchar)
 
573
            elif self._state == self._escape:
 
574
                if nextchar == '\\':
 
575
                    self._token.append('\\')
 
576
                elif nextchar == '"':
 
577
                    self._token.append(nextchar)
 
578
                else:
 
579
                    self._token.append('\\' + nextchar)
 
580
                self._state = quoted_state
 
581
            elif self._state == 'a':
 
582
                if self._whitespace_match(nextchar):
 
583
                    if self._token:
 
584
                        break # emit this token
 
585
                    else:
 
586
                        continue # no token to emit
 
587
                elif nextchar in self._quote_chars:
 
588
                    # Start a new quoted section
 
589
                    self._state = nextchar
 
590
                # escape?
 
591
                elif (self._word_match(nextchar)
 
592
                      or nextchar in self._quote_chars
 
593
                      # or whitespace_split?
 
594
                      ):
 
595
                    self._token.append(nextchar)
 
596
                else:
 
597
                    raise AssertionError('state == "a", char: %r'
 
598
                                         % (nextchar,))
 
599
            else:
 
600
                raise AssertionError('unknown state: %r' % (self._state,))
 
601
        result = ''.join(self._token)
 
602
        self._token = []
 
603
        if not quoted and result == '':
 
604
            result = None
 
605
        return quoted, result
 
606
 
 
607
    def __iter__(self):
 
608
        return self
 
609
 
 
610
    def next(self):
 
611
        quoted, token = self._get_token()
 
612
        if token is None:
 
613
            raise StopIteration
 
614
        return quoted, token
 
615
 
 
616
 
 
617
def _command_line_to_argv(command_line):
 
618
    """Convert a Unicode command line into a set of argv arguments.
 
619
 
 
620
    This does wildcard expansion, etc. It is intended to make wildcards act
 
621
    closer to how they work in posix shells, versus how they work by default on
 
622
    Windows.
 
623
    """
 
624
    s = UnicodeShlex(command_line)
 
625
    # Now that we've split the content, expand globs
 
626
    # TODO: Use 'globbing' instead of 'glob.glob', this gives us stuff like
 
627
    #       '**/' style globs
 
628
    args = []
 
629
    for is_quoted, arg in s:
 
630
        if is_quoted or not glob.has_magic(arg):
 
631
            args.append(arg)
 
632
        else:
 
633
            args.extend(glob_one(arg))
 
634
    return args
 
635
 
 
636
 
 
637
if has_ctypes and winver != 'Windows 98':
 
638
    def get_unicode_argv():
 
639
        LPCWSTR = ctypes.c_wchar_p
 
640
        INT = ctypes.c_int
 
641
        POINTER = ctypes.POINTER
 
642
        prototype = ctypes.WINFUNCTYPE(LPCWSTR)
 
643
        GetCommandLine = prototype(("GetCommandLineW",
 
644
                                    ctypes.windll.kernel32))
 
645
        prototype = ctypes.WINFUNCTYPE(POINTER(LPCWSTR), LPCWSTR, POINTER(INT))
 
646
        command_line = GetCommandLine()
 
647
        # Skip the first argument, since we only care about parameters
 
648
        argv = _command_line_to_argv(command_line)[1:]
 
649
        if getattr(sys, 'frozen', None) is None:
 
650
            # Invoked via 'python.exe' which takes the form:
 
651
            #   python.exe [PYTHON_OPTIONS] C:\Path\bzr [BZR_OPTIONS]
 
652
            # we need to get only BZR_OPTIONS part,
 
653
            # We already removed 'python.exe' so we remove everything up to and
 
654
            # including the first non-option ('-') argument.
 
655
            for idx in xrange(len(argv)):
 
656
                if argv[idx][:1] != '-':
 
657
                    break
 
658
            argv = argv[idx+1:]
 
659
        return argv
 
660
else:
 
661
    get_unicode_argv = None