← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/win32utils.py

  • Committer: Florian Dorn
  • Date: 2011-05-25 09:45:08 UTC
  • mto: This revision was merged to the branch mainline in revision 6546.
  • Revision ID: florian.dorn@boku.ac.at-20110525094508-o1c8dagf310i8ey3
added a Base64CredentialStore, refs #788015 

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/win32utils.py
1
 
# Copyright (C) 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""Win32-specific helper functions
18
18
 
19
19
Only one dependency: ctypes should be installed.
20
20
"""
21
21
 
 
22
import glob
22
23
import os
23
24
import struct
24
25
import sys
25
26
 
 
27
from bzrlib import cmdline
26
28
 
27
29
# Windows version
28
30
if sys.platform == 'win32':
66
68
        suffix = 'W'
67
69
try:
68
70
    import win32file
 
71
    import pywintypes
69
72
    has_win32file = True
70
73
except ImportError:
71
74
    has_win32file = False
75
78
except ImportError:
76
79
    has_win32api = False
77
80
 
 
81
# pulling in win32com.shell is a bit of overhead, and normally we don't need
 
82
# it as ctypes is preferred and common.  lazy_imports and "optional"
 
83
# modules don't work well, so we do our own lazy thing...
 
84
has_win32com_shell = None # Set to True or False once we know for sure...
78
85
 
79
86
# Special Win32 API constants
80
87
# Handles of std streams
84
91
 
85
92
# CSIDL constants (from MSDN 2003)
86
93
CSIDL_APPDATA = 0x001A      # Application Data folder
 
94
CSIDL_LOCAL_APPDATA = 0x001c# <user name>\Local Settings\Application Data (non roaming)
87
95
CSIDL_PERSONAL = 0x0005     # My Documents folder
88
96
 
89
97
# from winapi C headers
91
99
UNLEN = 256
92
100
MAX_COMPUTERNAME_LENGTH = 31
93
101
 
 
102
# Registry data type ids
 
103
REG_SZ = 1
 
104
REG_EXPAND_SZ = 2
 
105
 
 
106
 
 
107
def debug_memory_win32api(message='', short=True):
 
108
    """Use trace.note() to dump the running memory info."""
 
109
    from bzrlib import trace
 
110
    if has_ctypes:
 
111
        class PROCESS_MEMORY_COUNTERS_EX(ctypes.Structure):
 
112
            """Used by GetProcessMemoryInfo"""
 
113
            _fields_ = [('cb', ctypes.c_ulong),
 
114
                        ('PageFaultCount', ctypes.c_ulong),
 
115
                        ('PeakWorkingSetSize', ctypes.c_size_t),
 
116
                        ('WorkingSetSize', ctypes.c_size_t),
 
117
                        ('QuotaPeakPagedPoolUsage', ctypes.c_size_t),
 
118
                        ('QuotaPagedPoolUsage', ctypes.c_size_t),
 
119
                        ('QuotaPeakNonPagedPoolUsage', ctypes.c_size_t),
 
120
                        ('QuotaNonPagedPoolUsage', ctypes.c_size_t),
 
121
                        ('PagefileUsage', ctypes.c_size_t),
 
122
                        ('PeakPagefileUsage', ctypes.c_size_t),
 
123
                        ('PrivateUsage', ctypes.c_size_t),
 
124
                       ]
 
125
        cur_process = ctypes.windll.kernel32.GetCurrentProcess()
 
126
        mem_struct = PROCESS_MEMORY_COUNTERS_EX()
 
127
        ret = ctypes.windll.psapi.GetProcessMemoryInfo(cur_process,
 
128
            ctypes.byref(mem_struct),
 
129
            ctypes.sizeof(mem_struct))
 
130
        if not ret:
 
131
            trace.note('Failed to GetProcessMemoryInfo()')
 
132
            return
 
133
        info = {'PageFaultCount': mem_struct.PageFaultCount,
 
134
                'PeakWorkingSetSize': mem_struct.PeakWorkingSetSize,
 
135
                'WorkingSetSize': mem_struct.WorkingSetSize,
 
136
                'QuotaPeakPagedPoolUsage': mem_struct.QuotaPeakPagedPoolUsage,
 
137
                'QuotaPagedPoolUsage': mem_struct.QuotaPagedPoolUsage,
 
138
                'QuotaPeakNonPagedPoolUsage':
 
139
                    mem_struct.QuotaPeakNonPagedPoolUsage,
 
140
                'QuotaNonPagedPoolUsage': mem_struct.QuotaNonPagedPoolUsage,
 
141
                'PagefileUsage': mem_struct.PagefileUsage,
 
142
                'PeakPagefileUsage': mem_struct.PeakPagefileUsage,
 
143
                'PrivateUsage': mem_struct.PrivateUsage,
 
144
               }
 
145
    elif has_win32api:
 
146
        import win32process
 
147
        # win32process does not return PrivateUsage, because it doesn't use
 
148
        # PROCESS_MEMORY_COUNTERS_EX (it uses the one without _EX).
 
149
        proc = win32process.GetCurrentProcess()
 
150
        info = win32process.GetProcessMemoryInfo(proc)
 
151
    else:
 
152
        trace.note('Cannot debug memory on win32 without ctypes'
 
153
                   ' or win32process')
 
154
        return
 
155
    if short:
 
156
        # using base-2 units (see HACKING.txt).
 
157
        trace.note('WorkingSize %7dKiB'
 
158
                   '\tPeakWorking %7dKiB\t%s',
 
159
                   info['WorkingSetSize'] / 1024,
 
160
                   info['PeakWorkingSetSize'] / 1024,
 
161
                   message)
 
162
        return
 
163
    if message:
 
164
        trace.note('%s', message)
 
165
    trace.note('WorkingSize       %8d KiB', info['WorkingSetSize'] / 1024)
 
166
    trace.note('PeakWorking       %8d KiB', info['PeakWorkingSetSize'] / 1024)
 
167
    trace.note('PagefileUsage     %8d KiB', info.get('PagefileUsage', 0) / 1024)
 
168
    trace.note('PeakPagefileUsage %8d KiB',
 
169
               info.get('PeakPagefileUsage', 0) / 1024)
 
170
    trace.note('PrivateUsage      %8d KiB', info.get('PrivateUsage', 0) / 1024)
 
171
    trace.note('PageFaultCount    %8d', info.get('PageFaultCount', 0))
 
172
 
94
173
 
95
174
def get_console_size(defaultx=80, defaulty=25):
96
175
    """Return size of current console.
104
183
        return (defaultx, defaulty)
105
184
 
106
185
    # To avoid problem with redirecting output via pipe
107
 
    # need to use stderr instead of stdout
 
186
    # we need to use stderr instead of stdout
108
187
    h = ctypes.windll.kernel32.GetStdHandle(WIN32_STDERR_HANDLE)
109
188
    csbi = ctypes.create_string_buffer(22)
110
189
    res = ctypes.windll.kernel32.GetConsoleScreenBufferInfo(h, csbi)
111
190
 
112
191
    if res:
113
192
        (bufx, bufy, curx, cury, wattr,
114
 
        left, top, right, bottom, maxx, maxy) = struct.unpack("hhhhHhhhhhh", csbi.raw)
 
193
        left, top, right, bottom, maxx, maxy) = struct.unpack(
 
194
            "hhhhHhhhhhh", csbi.raw)
115
195
        sizex = right - left + 1
116
196
        sizey = bottom - top + 1
117
197
        return (sizex, sizey)
119
199
        return (defaultx, defaulty)
120
200
 
121
201
 
 
202
def _get_sh_special_folder_path(csidl):
 
203
    """Call SHGetSpecialFolderPathW if available, or return None.
 
204
 
 
205
    Result is always unicode (or None).
 
206
    """
 
207
    if has_ctypes:
 
208
        try:
 
209
            SHGetSpecialFolderPath = \
 
210
                ctypes.windll.shell32.SHGetSpecialFolderPathW
 
211
        except AttributeError:
 
212
            pass
 
213
        else:
 
214
            buf = ctypes.create_unicode_buffer(MAX_PATH)
 
215
            if SHGetSpecialFolderPath(None,buf,csidl,0):
 
216
                return buf.value
 
217
 
 
218
    global has_win32com_shell
 
219
    if has_win32com_shell is None:
 
220
        try:
 
221
            from win32com.shell import shell
 
222
            has_win32com_shell = True
 
223
        except ImportError:
 
224
            has_win32com_shell = False
 
225
    if has_win32com_shell:
 
226
        # still need to bind the name locally, but this is fast.
 
227
        from win32com.shell import shell
 
228
        try:
 
229
            return shell.SHGetSpecialFolderPath(0, csidl, 0)
 
230
        except shell.error:
 
231
            # possibly E_NOTIMPL meaning we can't load the function pointer,
 
232
            # or E_FAIL meaning the function failed - regardless, just ignore it
 
233
            pass
 
234
    return None
 
235
 
 
236
 
122
237
def get_appdata_location():
123
238
    """Return Application Data location.
124
239
    Return None if we cannot obtain location.
125
240
 
126
 
    Returned value can be unicode or plain sring.
 
241
    Windows defines two 'Application Data' folders per user - a 'roaming'
 
242
    one that moves with the user as they logon to different machines, and
 
243
    a 'local' one that stays local to the machine.  This returns the 'roaming'
 
244
    directory, and thus is suitable for storing user-preferences, etc.
 
245
 
 
246
    Returned value can be unicode or plain string.
127
247
    To convert plain string to unicode use
128
 
    s.decode(bzrlib.user_encoding)
 
248
    s.decode(osutils.get_user_encoding())
 
249
    (XXX - but see bug 262874, which asserts the correct encoding is 'mbcs')
129
250
    """
130
 
    if has_ctypes:
131
 
        try:
132
 
            SHGetSpecialFolderPath = \
133
 
                ctypes.windll.shell32.SHGetSpecialFolderPathW
134
 
        except AttributeError:
135
 
            pass
136
 
        else:
137
 
            buf = ctypes.create_unicode_buffer(MAX_PATH)
138
 
            if SHGetSpecialFolderPath(None,buf,CSIDL_APPDATA,0):
139
 
                return buf.value
 
251
    appdata = _get_sh_special_folder_path(CSIDL_APPDATA)
 
252
    if appdata:
 
253
        return appdata
140
254
    # from env variable
141
255
    appdata = os.environ.get('APPDATA')
142
256
    if appdata:
152
266
    return None
153
267
 
154
268
 
 
269
def get_local_appdata_location():
 
270
    """Return Local Application Data location.
 
271
    Return the same as get_appdata_location() if we cannot obtain location.
 
272
 
 
273
    Windows defines two 'Application Data' folders per user - a 'roaming'
 
274
    one that moves with the user as they logon to different machines, and
 
275
    a 'local' one that stays local to the machine.  This returns the 'local'
 
276
    directory, and thus is suitable for caches, temp files and other things
 
277
    which don't need to move with the user.
 
278
 
 
279
    Returned value can be unicode or plain string.
 
280
    To convert plain string to unicode use
 
281
    s.decode(osutils.get_user_encoding())
 
282
    (XXX - but see bug 262874, which asserts the correct encoding is 'mbcs')
 
283
    """
 
284
    local = _get_sh_special_folder_path(CSIDL_LOCAL_APPDATA)
 
285
    if local:
 
286
        return local
 
287
    # Vista supplies LOCALAPPDATA, but XP and earlier do not.
 
288
    local = os.environ.get('LOCALAPPDATA')
 
289
    if local:
 
290
        return local
 
291
    return get_appdata_location()
 
292
 
 
293
 
155
294
def get_home_location():
156
295
    """Return user's home location.
157
296
    Assume on win32 it's the <My Documents> folder.
158
297
    If location cannot be obtained return system drive root,
159
298
    i.e. C:\
160
299
 
161
 
    Returned value can be unicode or plain sring.
 
300
    Returned value can be unicode or plain string.
162
301
    To convert plain string to unicode use
163
 
    s.decode(bzrlib.user_encoding)
 
302
    s.decode(osutils.get_user_encoding())
164
303
    """
165
 
    if has_ctypes:
166
 
        try:
167
 
            SHGetSpecialFolderPath = \
168
 
                ctypes.windll.shell32.SHGetSpecialFolderPathW
169
 
        except AttributeError:
170
 
            pass
171
 
        else:
172
 
            buf = ctypes.create_unicode_buffer(MAX_PATH)
173
 
            if SHGetSpecialFolderPath(None,buf,CSIDL_PERSONAL,0):
174
 
                return buf.value
 
304
    home = _get_sh_special_folder_path(CSIDL_PERSONAL)
 
305
    if home:
 
306
        return home
175
307
    # try for HOME env variable
176
308
    home = os.path.expanduser('~')
177
309
    if home != '~':
188
320
    """Return user name as login name.
189
321
    If name cannot be obtained return None.
190
322
 
191
 
    Returned value can be unicode or plain sring.
 
323
    Returned value can be unicode or plain string.
192
324
    To convert plain string to unicode use
193
 
    s.decode(bzrlib.user_encoding)
 
325
    s.decode(osutils.get_user_encoding())
194
326
    """
195
327
    if has_ctypes:
196
328
        try:
263
395
 
264
396
def _ensure_unicode(s):
265
397
    if s and type(s) != unicode:
266
 
        import bzrlib
267
 
        s = s.decode(bzrlib.user_encoding)
 
398
        from bzrlib import osutils
 
399
        s = s.decode(osutils.get_user_encoding())
268
400
    return s
269
401
 
270
402
 
282
414
 
283
415
 
284
416
def _ensure_with_dir(path):
285
 
    if not os.path.split(path)[0] or path.startswith(u'*') or path.startswith(u'?'):
 
417
    if (not os.path.split(path)[0] or path.startswith(u'*')
 
418
        or path.startswith(u'?')):
286
419
        return u'./' + path, True
287
420
    else:
288
421
        return path, False
289
 
    
 
422
 
290
423
def _undo_ensure_with_dir(path, corrected):
291
424
    if corrected:
292
425
        return path[2:]
295
428
 
296
429
 
297
430
 
 
431
def glob_one(possible_glob):
 
432
    """Same as glob.glob().
 
433
 
 
434
    work around bugs in glob.glob()
 
435
    - Python bug #1001604 ("glob doesn't return unicode with ...")
 
436
    - failing expansion for */* with non-iso-8859-* chars
 
437
    """
 
438
    corrected_glob, corrected = _ensure_with_dir(possible_glob)
 
439
    glob_files = glob.glob(corrected_glob)
 
440
 
 
441
    if not glob_files:
 
442
        # special case to let the normal code path handle
 
443
        # files that do not exist, etc.
 
444
        glob_files = [possible_glob]
 
445
    elif corrected:
 
446
        glob_files = [_undo_ensure_with_dir(elem, corrected)
 
447
                      for elem in glob_files]
 
448
    return [elem.replace(u'\\', u'/') for elem in glob_files]
 
449
 
 
450
 
298
451
def glob_expand(file_list):
299
452
    """Replacement for glob expansion by the shell.
300
453
 
308
461
    """
309
462
    if not file_list:
310
463
        return []
311
 
    import glob
312
464
    expanded_file_list = []
313
465
    for possible_glob in file_list:
314
 
        
315
 
        # work around bugs in glob.glob()
316
 
        # - Python bug #1001604 ("glob doesn't return unicode with ...")
317
 
        # - failing expansion for */* with non-iso-8859-* chars
318
 
        possible_glob, corrected = _ensure_with_dir(possible_glob)
319
 
        glob_files = glob.glob(possible_glob)
320
 
 
321
 
        if glob_files == []:
322
 
            # special case to let the normal code path handle
323
 
            # files that do not exists
324
 
            expanded_file_list.append(
325
 
                _undo_ensure_with_dir(possible_glob, corrected))
326
 
        else:
327
 
            glob_files = [_undo_ensure_with_dir(elem, corrected) for elem in glob_files]
328
 
            expanded_file_list += glob_files
329
 
            
330
 
    return [elem.replace(u'\\', u'/') for elem in expanded_file_list] 
 
466
        expanded_file_list.extend(glob_one(possible_glob))
 
467
    return expanded_file_list
331
468
 
332
469
 
333
470
def get_app_path(appname):
334
 
    """Look up in Windows registry for full path to application executable.
335
 
    Typicaly, applications create subkey with their basename
 
471
    r"""Look up in Windows registry for full path to application executable.
 
472
    Typically, applications create subkey with their basename
336
473
    in HKLM\SOFTWARE\Microsoft\Windows\CurrentVersion\App Paths\
337
474
 
338
475
    :param  appname:    name of application (if no filename extension
341
478
                or appname itself if nothing found.
342
479
    """
343
480
    import _winreg
 
481
 
 
482
    basename = appname
 
483
    if not os.path.splitext(basename)[1]:
 
484
        basename = appname + '.exe'
 
485
 
344
486
    try:
345
487
        hkey = _winreg.OpenKey(_winreg.HKEY_LOCAL_MACHINE,
346
 
                               r'SOFTWARE\Microsoft\Windows'
347
 
                               r'\CurrentVersion\App Paths')
 
488
            'SOFTWARE\\Microsoft\\Windows\\CurrentVersion\\App Paths\\' +
 
489
            basename)
348
490
    except EnvironmentError:
349
491
        return appname
350
492
 
351
 
    basename = appname
352
 
    if not os.path.splitext(basename)[1]:
353
 
        basename = appname + '.exe'
354
493
    try:
355
494
        try:
356
 
            fullpath = _winreg.QueryValue(hkey, basename)
 
495
            path, type_id = _winreg.QueryValueEx(hkey, '')
357
496
        except WindowsError:
358
 
            fullpath = appname
 
497
            return appname
359
498
    finally:
360
499
        _winreg.CloseKey(hkey)
361
500
 
362
 
    return fullpath
 
501
    if type_id == REG_SZ:
 
502
        return path
 
503
    if type_id == REG_EXPAND_SZ and has_win32api:
 
504
        fullpath = win32api.ExpandEnvironmentStrings(path)
 
505
        if len(fullpath) > 1 and fullpath[0] == '"' and fullpath[-1] == '"':
 
506
            fullpath = fullpath[1:-1]   # remove quotes around value
 
507
        return fullpath
 
508
    return appname
363
509
 
364
510
 
365
511
def set_file_attr_hidden(path):
366
512
    """Set file attributes to hidden if possible"""
367
513
    if has_win32file:
368
 
        win32file.SetFileAttributes(path, win32file.FILE_ATTRIBUTE_HIDDEN)
 
514
        if winver != 'Windows 98':
 
515
            SetFileAttributes = win32file.SetFileAttributesW
 
516
        else:
 
517
            SetFileAttributes = win32file.SetFileAttributes
 
518
        try:
 
519
            SetFileAttributes(path, win32file.FILE_ATTRIBUTE_HIDDEN)
 
520
        except pywintypes.error, e:
 
521
            from bzrlib import trace
 
522
            trace.mutter('Unable to set hidden attribute on %r: %s', path, e)
 
523
 
 
524
 
 
525
def _command_line_to_argv(command_line, argv, single_quotes_allowed=False):
 
526
    """Convert a Unicode command line into a list of argv arguments.
 
527
 
 
528
    It performs wildcard expansion to make wildcards act closer to how they
 
529
    work in posix shells, versus how they work by default on Windows. Quoted
 
530
    arguments are left untouched.
 
531
 
 
532
    :param command_line: The unicode string to split into an arg list.
 
533
    :param single_quotes_allowed: Whether single quotes are accepted as quoting
 
534
                                  characters like double quotes. False by
 
535
                                  default.
 
536
    :return: A list of unicode strings.
 
537
    """
 
538
    # First, spit the command line
 
539
    s = cmdline.Splitter(command_line, single_quotes_allowed=single_quotes_allowed)
 
540
    
 
541
    # Bug #587868 Now make sure that the length of s agrees with sys.argv 
 
542
    # we do this by simply counting the number of arguments in each. The counts should 
 
543
    # agree no matter what encoding sys.argv is in (AFAIK) 
 
544
    # len(arguments) < len(sys.argv) should be an impossibility since python gets 
 
545
    # args from the very same PEB as does GetCommandLineW
 
546
    arguments = list(s)
 
547
    
 
548
    # Now shorten the command line we get from GetCommandLineW to match sys.argv
 
549
    if len(arguments) < len(argv):
 
550
        raise AssertionError("Split command line can't be shorter than argv")
 
551
    arguments = arguments[len(arguments) - len(argv):]
 
552
    
 
553
    # Carry on to process globs (metachars) in the command line
 
554
    # expand globs if necessary
 
555
    # TODO: Use 'globbing' instead of 'glob.glob', this gives us stuff like
 
556
    #       '**/' style globs
 
557
    args = []
 
558
    for is_quoted, arg in arguments:
 
559
        if is_quoted or not glob.has_magic(arg):
 
560
            args.append(arg)
 
561
        else:
 
562
            args.extend(glob_one(arg))
 
563
    return args
 
564
 
 
565
 
 
566
if has_ctypes and winver != 'Windows 98':
 
567
    def get_unicode_argv():
 
568
        prototype = ctypes.WINFUNCTYPE(ctypes.c_wchar_p)
 
569
        GetCommandLineW = prototype(("GetCommandLineW",
 
570
                                     ctypes.windll.kernel32))
 
571
        command_line = GetCommandLineW()
 
572
        if command_line is None:
 
573
            raise ctypes.WinError()
 
574
        # Skip the first argument, since we only care about parameters
 
575
        argv = _command_line_to_argv(command_line, sys.argv)[1:]
 
576
        return argv
 
577
else:
 
578
    get_unicode_argv = None