source: python/lib/gen_external.py @ 3f961c4

feature/autosinkfeature/cnnfeature/cnn_orgfeature/constantqfeature/crepefeature/crepe_orgfeature/pitchshiftfeature/pydocstringsfeature/timestretchfix/ffmpeg5pitchshiftsamplertimestretchyinfft+
Last change on this file since 3f961c4 was 41fc24f, checked in by Paul Brossier <piem@piem.org>, 8 years ago

python/lib/gen_external.py: clean-up

  • Property mode set to 100644
File size: 7.7 KB
Line 
1import distutils.ccompiler
2import sys, os, subprocess, glob
3
4header = os.path.join('src', 'aubio.h')
5output_path = os.path.join('python', 'gen')
6
7source_header = """// this file is generated! do not modify
8#include "aubio-types.h"
9"""
10
11skip_objects = [
12  # already in ext/
13  'fft',
14  'pvoc',
15  'filter',
16  'filterbank',
17  #'resampler',
18  # AUBIO_UNSTABLE
19  'hist',
20  'parameter',
21  'scale',
22  'beattracking',
23  'resampler',
24  'peakpicker',
25  'pitchfcomb',
26  'pitchmcomb',
27  'pitchschmitt',
28  'pitchspecacf',
29  'pitchyin',
30  'pitchyinfft',
31  'sink',
32  'sink_apple_audio',
33  'sink_sndfile',
34  'sink_wavwrite',
35  #'mfcc',
36  'source',
37  'source_apple_audio',
38  'source_sndfile',
39  'source_avcodec',
40  'source_wavread',
41  #'sampler',
42  'audio_unit',
43  ]
44
45def get_preprocessor():
46    # findout which compiler to use
47    from distutils.sysconfig import customize_compiler
48    compiler_name = distutils.ccompiler.get_default_compiler()
49    compiler = distutils.ccompiler.new_compiler(compiler=compiler_name)
50    try:
51        customize_compiler(compiler)
52    except AttributeError as e:
53        print("Warning: failed customizing compiler ({:s})".format(repr(e)))
54
55    if hasattr(compiler, 'initialize'):
56        try:
57            compiler.initialize()
58        except ValueError as e:
59            print("Warning: failed initializing compiler ({:s})".format(repr(e)))
60
61    cpp_cmd = None
62    if hasattr(compiler, 'preprocessor'): # for unixccompiler
63        cpp_cmd = compiler.preprocessor
64    elif hasattr(compiler, 'compiler'): # for ccompiler
65        cpp_cmd = compiler.compiler.split()
66        cpp_cmd += ['-E']
67    elif hasattr(compiler, 'cc'): # for msvccompiler
68        cpp_cmd = compiler.cc.split()
69        cpp_cmd += ['-E']
70
71    if not cpp_cmd:
72        print("Warning: could not guess preprocessor, using env's CC")
73        cpp_cmd = os.environ.get('CC', 'cc').split()
74        cpp_cmd += ['-E']
75
76    return cpp_cmd
77
78def get_cpp_objects(header=header):
79    cpp_cmd = get_preprocessor()
80
81    macros = [('AUBIO_UNSTABLE', 1)]
82
83    if not os.path.isfile(header):
84        raise Exception("could not find include file " + header)
85
86    includes = [os.path.dirname(header)]
87    cpp_cmd += distutils.ccompiler.gen_preprocess_options(macros, includes)
88    cpp_cmd += [header]
89
90    print("Running command: {:s}".format(" ".join(cpp_cmd)))
91    proc = subprocess.Popen(cpp_cmd,
92            stderr=subprocess.PIPE,
93            stdout=subprocess.PIPE)
94    assert proc, 'Proc was none'
95    cpp_output = proc.stdout.read()
96    err_output = proc.stderr.read()
97    if not cpp_output:
98        raise Exception("preprocessor output is empty:\n%s" % err_output)
99    elif err_output:
100        print ("Warning: preprocessor produced warnings:\n%s" % err_output)
101    if not isinstance(cpp_output, list):
102        cpp_output = [l.strip() for l in cpp_output.decode('utf8').split('\n')]
103
104    cpp_output = filter(lambda y: len(y) > 1, cpp_output)
105    cpp_output = list(filter(lambda y: not y.startswith('#'), cpp_output))
106
107    i = 1
108    while 1:
109        if i >= len(cpp_output): break
110        if cpp_output[i-1].endswith(',') or cpp_output[i-1].endswith('{') or cpp_output[i].startswith('}'):
111            cpp_output[i] = cpp_output[i-1] + ' ' + cpp_output[i]
112            cpp_output.pop(i-1)
113        else:
114            i += 1
115
116    typedefs = filter(lambda y: y.startswith ('typedef struct _aubio'), cpp_output)
117
118    cpp_objects = [a.split()[3][:-1] for a in typedefs]
119
120    return cpp_output, cpp_objects
121
122
123def analyze_cpp_output(cpp_objects, cpp_output):
124    lib = {}
125
126    for o in cpp_objects:
127        if o[:6] != 'aubio_':
128            continue
129        shortname = o[6:-2]
130        if shortname in skip_objects:
131            continue
132        lib[shortname] = {'struct': [], 'new': [], 'del': [], 'do': [], 'get': [], 'set': [], 'other': []}
133        lib[shortname]['longname'] = o
134        lib[shortname]['shortname'] = shortname
135        for fn in cpp_output:
136            if o[:-1] in fn:
137                #print "found", o[:-1], "in", fn
138                if 'typedef struct ' in fn:
139                    lib[shortname]['struct'].append(fn)
140                elif '_do' in fn:
141                    lib[shortname]['do'].append(fn)
142                elif 'new_' in fn:
143                    lib[shortname]['new'].append(fn)
144                elif 'del_' in fn:
145                    lib[shortname]['del'].append(fn)
146                elif '_get_' in fn:
147                    lib[shortname]['get'].append(fn)
148                elif '_set_' in fn:
149                    lib[shortname]['set'].append(fn)
150                else:
151                    #print "no idea what to do about", fn
152                    lib[shortname]['other'].append(fn)
153    return lib
154
155def print_cpp_output_results(lib, cpp_output):
156    for fn in cpp_output:
157        found = 0
158        for o in lib:
159            for family in lib[o]:
160                if fn in lib[o][family]:
161                    found = 1
162        if found == 0:
163            print ("missing", fn)
164
165    for o in lib:
166        for family in lib[o]:
167            if type(lib[o][family]) == str:
168                print ( "{:15s} {:10s} {:s}".format(o, family, lib[o][family] ) )
169            elif len(lib[o][family]) == 1:
170                print ( "{:15s} {:10s} {:s}".format(o, family, lib[o][family][0] ) )
171            else:
172                print ( "{:15s} {:10s} {:s}".format(o, family, lib[o][family] ) )
173
174
175def generate_external(header=header, output_path=output_path, usedouble=False, overwrite=True):
176    if not os.path.isdir(output_path): os.mkdir(output_path)
177    elif not overwrite: return glob.glob(os.path.join(output_path, '*.c'))
178
179    cpp_output, cpp_objects = get_cpp_objects(header)
180
181    lib = analyze_cpp_output(cpp_objects, cpp_output)
182    # print_cpp_output_results(lib, cpp_output)
183
184    sources_list = []
185    try:
186        from .gen_code import MappedObject
187    except (SystemError, ValueError):
188        from gen_code import MappedObject
189    for o in lib:
190        out = source_header
191        mapped = MappedObject(lib[o], usedouble = usedouble)
192        out += mapped.gen_code()
193        output_file = os.path.join(output_path, 'gen-%s.c' % o)
194        with open(output_file, 'w') as f:
195            f.write(out)
196            print ("wrote %s" % output_file )
197            sources_list.append(output_file)
198
199    out = source_header
200    out += "#include \"aubio-generated.h\""
201    check_types = "\n     ||  ".join(["PyType_Ready(&Py_%sType) < 0" % o for o in lib])
202    out += """
203
204int generated_types_ready (void)
205{{
206  return ({pycheck_types});
207}}
208""".format(pycheck_types = check_types)
209
210    add_types = "".join(["""
211  Py_INCREF (&Py_{name}Type);
212  PyModule_AddObject(m, "{name}", (PyObject *) & Py_{name}Type);""".format(name = o) for o in lib])
213    out += """
214
215void add_generated_objects ( PyObject *m )
216{{
217{add_types}
218}}
219""".format(add_types = add_types)
220
221    output_file = os.path.join(output_path, 'aubio-generated.c')
222    with open(output_file, 'w') as f:
223        f.write(out)
224        print ("wrote %s" % output_file )
225        sources_list.append(output_file)
226
227    objlist = "".join(["extern PyTypeObject Py_%sType;\n" % p for p in lib])
228    out = """// generated list of objects created with gen_external.py
229
230#include <Python.h>
231"""
232    if usedouble:
233        out += """
234#ifndef HAVE_AUBIO_DOUBLE
235#define HAVE_AUBIO_DOUBLE 1
236#endif
237"""
238    out += """
239{objlist}
240int generated_objects ( void );
241void add_generated_objects( PyObject *m );
242""".format(objlist = objlist)
243
244    output_file = os.path.join(output_path, 'aubio-generated.h')
245    with open(output_file, 'w') as f:
246        f.write(out)
247        print ("wrote %s" % output_file )
248        # no need to add header to list of sources
249
250    return sources_list
251
252if __name__ == '__main__':
253    if len(sys.argv) > 1: header = sys.argv[1]
254    if len(sys.argv) > 2: output_path = sys.argv[2]
255    generate_external(header, output_path)
Note: See TracBrowser for help on using the repository browser.