source: python/lib/gen_external.py @ b075ad8

feature/autosinkfeature/cnnfeature/cnn_orgfeature/constantqfeature/crepefeature/crepe_orgfeature/pitchshiftfeature/pydocstringsfeature/timestretchfix/ffmpeg5
Last change on this file since b075ad8 was b075ad8, checked in by Martin Hermant <martin.hermant@gmail.com>, 7 years ago

gen_external.py : force c compiler (emcc defaults to c++)

  • Property mode set to 100644
File size: 7.9 KB
Line 
1import distutils.ccompiler
2import sys, os, subprocess, glob
3
4header = os.path.join('src', 'aubio.h')
5output_path = os.path.join('python', 'gen')
6
7source_header = """// this file is generated! do not modify
8#include "aubio-types.h"
9"""
10
11skip_objects = [
12  # already in ext/
13  'fft',
14  'pvoc',
15  'filter',
16  'filterbank',
17  # AUBIO_UNSTABLE
18  'hist',
19  'parameter',
20  'scale',
21  'beattracking',
22  'resampler',
23  'peakpicker',
24  'pitchfcomb',
25  'pitchmcomb',
26  'pitchschmitt',
27  'pitchspecacf',
28  'pitchyin',
29  'pitchyinfft',
30  'sink',
31  'sink_apple_audio',
32  'sink_sndfile',
33  'sink_wavwrite',
34  #'mfcc',
35  'source',
36  'source_apple_audio',
37  'source_sndfile',
38  'source_avcodec',
39  'source_wavread',
40  #'sampler',
41  'audio_unit',
42  'spectral_whitening',
43  ]
44
45def get_preprocessor():
46    # findout which compiler to use
47    from distutils.sysconfig import customize_compiler
48    compiler_name = distutils.ccompiler.get_default_compiler()
49    compiler = distutils.ccompiler.new_compiler(compiler=compiler_name)
50    try:
51        customize_compiler(compiler)
52    except AttributeError as e:
53        print("Warning: failed customizing compiler ({:s})".format(repr(e)))
54
55    if hasattr(compiler, 'initialize'):
56        try:
57            compiler.initialize()
58        except ValueError as e:
59            print("Warning: failed initializing compiler ({:s})".format(repr(e)))
60
61    cpp_cmd = None
62    if hasattr(compiler, 'preprocessor'): # for unixccompiler
63        cpp_cmd = compiler.preprocessor
64    elif hasattr(compiler, 'compiler'): # for ccompiler
65        cpp_cmd = compiler.compiler.split()
66        cpp_cmd += ['-E']
67    elif hasattr(compiler, 'cc'): # for msvccompiler
68        cpp_cmd = compiler.cc.split()
69        cpp_cmd += ['-E']
70
71    if not cpp_cmd:
72        print("Warning: could not guess preprocessor, using env's CC")
73        cpp_cmd = os.environ.get('CC', 'cc').split()
74        cpp_cmd += ['-E']
75    cpp_cmd += ['-x', 'c']  # force C language (emcc defaults to c++)
76    return cpp_cmd
77
78def get_cpp_objects(header=header, usedouble=False):
79    cpp_cmd = get_preprocessor()
80
81    macros = [('AUBIO_UNSTABLE', 1)]
82    if usedouble:
83        macros += [('HAVE_AUBIO_DOUBLE', 1)]
84
85    if not os.path.isfile(header):
86        raise Exception("could not find include file " + header)
87
88    includes = [os.path.dirname(header)]
89    cpp_cmd += distutils.ccompiler.gen_preprocess_options(macros, includes)
90    cpp_cmd += [header]
91
92    print("Running command: {:s}".format(" ".join(cpp_cmd)))
93    proc = subprocess.Popen(cpp_cmd,
94            stderr=subprocess.PIPE,
95            stdout=subprocess.PIPE)
96    assert proc, 'Proc was none'
97    cpp_output = proc.stdout.read()
98    err_output = proc.stderr.read()
99    if not cpp_output:
100        raise Exception("preprocessor output is empty:\n%s" % err_output)
101    elif err_output:
102        print ("Warning: preprocessor produced warnings:\n%s" % err_output)
103    if not isinstance(cpp_output, list):
104        cpp_output = [l.strip() for l in cpp_output.decode('utf8').split('\n')]
105
106    cpp_output = filter(lambda y: len(y) > 1, cpp_output)
107    cpp_output = list(filter(lambda y: not y.startswith('#'), cpp_output))
108
109    i = 1
110    while 1:
111        if i >= len(cpp_output): break
112        if cpp_output[i-1].endswith(',') or cpp_output[i-1].endswith('{') or cpp_output[i].startswith('}'):
113            cpp_output[i] = cpp_output[i-1] + ' ' + cpp_output[i]
114            cpp_output.pop(i-1)
115        else:
116            i += 1
117
118    typedefs = filter(lambda y: y.startswith ('typedef struct _aubio'), cpp_output)
119
120    cpp_objects = [a.split()[3][:-1] for a in typedefs]
121
122    return cpp_output, cpp_objects
123
124
125def analyze_cpp_output(cpp_objects, cpp_output):
126    lib = {}
127
128    for o in cpp_objects:
129        if o[:6] != 'aubio_':
130            continue
131        shortname = o[6:-2]
132        if shortname in skip_objects:
133            continue
134        lib[shortname] = {'struct': [], 'new': [], 'del': [], 'do': [], 'get': [], 'set': [], 'other': []}
135        lib[shortname]['longname'] = o
136        lib[shortname]['shortname'] = shortname
137        for fn in cpp_output:
138            if o[:-1] in fn:
139                #print "found", o[:-1], "in", fn
140                if 'typedef struct ' in fn:
141                    lib[shortname]['struct'].append(fn)
142                elif '_do' in fn:
143                    lib[shortname]['do'].append(fn)
144                elif 'new_' in fn:
145                    lib[shortname]['new'].append(fn)
146                elif 'del_' in fn:
147                    lib[shortname]['del'].append(fn)
148                elif '_get_' in fn:
149                    lib[shortname]['get'].append(fn)
150                elif '_set_' in fn:
151                    lib[shortname]['set'].append(fn)
152                else:
153                    #print "no idea what to do about", fn
154                    lib[shortname]['other'].append(fn)
155    return lib
156
157def print_cpp_output_results(lib, cpp_output):
158    for fn in cpp_output:
159        found = 0
160        for o in lib:
161            for family in lib[o]:
162                if fn in lib[o][family]:
163                    found = 1
164        if found == 0:
165            print ("missing", fn)
166
167    for o in lib:
168        for family in lib[o]:
169            if type(lib[o][family]) == str:
170                print ( "{:15s} {:10s} {:s}".format(o, family, lib[o][family] ) )
171            elif len(lib[o][family]) == 1:
172                print ( "{:15s} {:10s} {:s}".format(o, family, lib[o][family][0] ) )
173            else:
174                print ( "{:15s} {:10s} {:s}".format(o, family, lib[o][family] ) )
175
176
177def generate_external(header=header, output_path=output_path, usedouble=False, overwrite=True):
178    if not os.path.isdir(output_path): os.mkdir(output_path)
179    elif not overwrite: return sorted(glob.glob(os.path.join(output_path, '*.c')))
180
181    cpp_output, cpp_objects = get_cpp_objects(header, usedouble=usedouble)
182
183    lib = analyze_cpp_output(cpp_objects, cpp_output)
184    # print_cpp_output_results(lib, cpp_output)
185
186    sources_list = []
187    try:
188        from .gen_code import MappedObject
189    except (SystemError, ValueError):
190        from gen_code import MappedObject
191    for o in lib:
192        out = source_header
193        mapped = MappedObject(lib[o], usedouble = usedouble)
194        out += mapped.gen_code()
195        output_file = os.path.join(output_path, 'gen-%s.c' % o)
196        with open(output_file, 'w') as f:
197            f.write(out)
198            print ("wrote %s" % output_file )
199            sources_list.append(output_file)
200
201    out = source_header
202    out += "#include \"aubio-generated.h\""
203    check_types = "\n     ||  ".join(["PyType_Ready(&Py_%sType) < 0" % o for o in lib])
204    out += """
205
206int generated_types_ready (void)
207{{
208  return ({pycheck_types});
209}}
210""".format(pycheck_types = check_types)
211
212    add_types = "".join(["""
213  Py_INCREF (&Py_{name}Type);
214  PyModule_AddObject(m, "{name}", (PyObject *) & Py_{name}Type);""".format(name = o) for o in lib])
215    out += """
216
217void add_generated_objects ( PyObject *m )
218{{
219{add_types}
220}}
221""".format(add_types = add_types)
222
223    output_file = os.path.join(output_path, 'aubio-generated.c')
224    with open(output_file, 'w') as f:
225        f.write(out)
226        print ("wrote %s" % output_file )
227        sources_list.append(output_file)
228
229    objlist = "".join(["extern PyTypeObject Py_%sType;\n" % p for p in lib])
230    out = """// generated list of objects created with gen_external.py
231
232#include <Python.h>
233"""
234    if usedouble:
235        out += """
236#ifndef HAVE_AUBIO_DOUBLE
237#define HAVE_AUBIO_DOUBLE 1
238#endif
239"""
240    out += """
241{objlist}
242int generated_objects ( void );
243void add_generated_objects( PyObject *m );
244""".format(objlist = objlist)
245
246    output_file = os.path.join(output_path, 'aubio-generated.h')
247    with open(output_file, 'w') as f:
248        f.write(out)
249        print ("wrote %s" % output_file )
250        # no need to add header to list of sources
251
252    return sorted(sources_list)
253
254if __name__ == '__main__':
255    if len(sys.argv) > 1: header = sys.argv[1]
256    if len(sys.argv) > 2: output_path = sys.argv[2]
257    generate_external(header, output_path)
Note: See TracBrowser for help on using the repository browser.