source: src/tempo/beattracking.c @ 4e19e5b

feature/autosinkfeature/constantqfeature/pitchshiftfeature/pydocstringsfeature/timestretchpitchshiftsamplertimestretchyinfft+
Last change on this file since 4e19e5b was 4e19e5b, checked in by Paul Brossier <piem@piem.org>, 10 years ago

src/tempo/beattracking.c: interpolate beat period and position to reduce quantization, improve comments

  • Property mode set to 100644
File size: 13.7 KB
Line 
1/*
2         Copyright (C) 2005 Matthew Davies and Paul Brossier
3
4         This program is free software; you can redistribute it and/or modify
5         it under the terms of the GNU General Public License as published by
6         the Free Software Foundation; either version 2 of the License, or
7         (at your option) any later version.
8
9         This program is distributed in the hope that it will be useful,
10         but WITHOUT ANY WARRANTY; without even the implied warranty of
11         MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12         GNU General Public License for more details.
13
14         You should have received a copy of the GNU General Public License
15         along with this program; if not, write to the Free Software
16         Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
17         
18*/
19
20#include "aubio_priv.h"
21#include "fvec.h"
22#include "mathutils.h"
23#include "tempo/beattracking.h"
24
25uint_t fvec_gettimesig(smpl_t * acf, uint_t acflen, uint_t gp);
26void aubio_beattracking_checkstate(aubio_beattracking_t * bt);
27
28struct _aubio_beattracking_t {
29        fvec_t * rwv;    /** rayleigh weight vector - rayleigh distribution function */                   
30        fvec_t * gwv;    /** rayleigh weight vector - rayleigh distribution function */                   
31        fvec_t * dfwv;   /** detection function weighting - exponential curve */
32        fvec_t * dfrev;  /** reversed onset detection function */
33        fvec_t * acf;    /** vector for autocorrelation function (of current detection function frame) */
34        fvec_t * acfout; /** store result of passing acf through s.i.c.f.b. */
35        fvec_t * phwv;   /** beat expectation alignment weighting */
36        fvec_t * phout;
37        uint_t timesig;  /** time signature of input, set to zero until context dependent model activated */
38        uint_t step;
39        uint_t rayparam; /** Rayleigh parameter */
40        smpl_t lastbeat;
41        sint_t counter;
42        uint_t flagstep;
43        smpl_t g_var;
44        smpl_t gp;
45        smpl_t bp;
46        smpl_t rp;
47        smpl_t rp1;
48        smpl_t rp2;
49};
50
51aubio_beattracking_t * new_aubio_beattracking(uint_t winlen,
52                uint_t channels) {
53
54        aubio_beattracking_t * p = AUBIO_NEW(aubio_beattracking_t);
55        uint_t i        = 0;
56        /* parameter for rayleigh weight vector - sets preferred tempo to
57         * 120bpm [43] */
58        smpl_t rayparam = 48./512. * winlen;
59        smpl_t dfwvnorm = EXP((LOG(2.0)/rayparam)*(winlen+2));
60        /** length over which beat period is found [128] */
61        uint_t laglen   = winlen/4;
62        /** step increment - both in detection function samples -i.e. 11.6ms or
63         * 1 onset frame [128] */
64        uint_t step     = winlen/4; /* 1.5 seconds */
65
66        p->lastbeat = 0;
67        p->counter = 0;
68        p->flagstep = 0;
69        p->g_var = 3.901; // constthresh empirically derived!
70        p->rp = 1;
71        p->gp = 0;
72
73        p->rayparam = rayparam;
74        p->step    = step;
75        p->rwv     = new_fvec(laglen,channels);
76        p->gwv     = new_fvec(laglen,channels);
77        p->dfwv    = new_fvec(winlen,channels);
78        p->dfrev   = new_fvec(winlen,channels);
79        p->acf     = new_fvec(winlen,channels);
80        p->acfout  = new_fvec(laglen,channels);
81        p->phwv    = new_fvec(2*laglen,channels);
82        p->phout   = new_fvec(winlen,channels);
83
84        p->timesig = 0;
85
86        /* exponential weighting, dfwv = 0.5 when i =  43 */
87        for (i=0;i<winlen;i++) {
88                p->dfwv->data[0][i] = (EXP((LOG(2.0)/rayparam)*(i+1)))
89                        / dfwvnorm;
90        } 
91
92        for (i=0;i<(laglen);i++){
93                p->rwv->data[0][i] = ((smpl_t)(i+1.) / SQR((smpl_t)rayparam)) * 
94                        EXP((-SQR((smpl_t)(i+1.)) / (2.*SQR((smpl_t)rayparam))));
95        }
96
97        return p;
98
99}
100
101void del_aubio_beattracking(aubio_beattracking_t * p) {
102        del_fvec(p->rwv);
103        del_fvec(p->gwv);
104        del_fvec(p->dfwv);
105        del_fvec(p->dfrev);
106        del_fvec(p->acf);
107        del_fvec(p->acfout);
108        del_fvec(p->phwv);
109        del_fvec(p->phout);
110        AUBIO_FREE(p);
111}
112
113
114void aubio_beattracking_do(aubio_beattracking_t * bt, fvec_t * dfframe, fvec_t * output) {
115
116        uint_t i,k;
117        uint_t step     = bt->step;
118        uint_t laglen   = bt->rwv->length;
119        uint_t winlen   = bt->dfwv->length;
120        smpl_t * phout  = bt->phout->data[0];
121        smpl_t * phwv   = bt->phwv->data[0];
122        smpl_t * dfrev  = bt->dfrev->data[0];
123        smpl_t * dfwv   = bt->dfwv->data[0];
124        smpl_t * rwv    = bt->rwv->data[0];
125        smpl_t * acfout = bt->acfout->data[0];
126        smpl_t * acf    = bt->acf->data[0];
127        uint_t maxindex = 0;
128        //number of harmonics in shift invariant comb filterbank
129        uint_t numelem  = 4;
130
131        smpl_t phase; // beat alignment (step - lastbeat)
132        smpl_t beat;  // beat position
133        smpl_t bp;    // beat period
134        uint_t a,b;   // used to build shift invariant comb filterbank
135        uint_t kmax;  // number of elements used to find beat phase
136
137        for (i = 0; i < winlen; i++){
138                dfrev[winlen-1-i] = 0.;
139                dfrev[winlen-1-i] = dfframe->data[0][i]*dfwv[i];
140        }
141
142        /* find autocorrelation function */
143        aubio_autocorr(dfframe,bt->acf); 
144
145        /* if timesig is unknown, use metrically unbiased version of filterbank */
146        if(!bt->timesig) { 
147                numelem = 4;
148        } else {
149                numelem = bt->timesig;
150        }
151
152        /* first and last output values are left intentionally as zero */
153        for (i=0; i < bt->acfout->length; i++)
154                acfout[i] = 0.;
155
156        /* get acfout - assume Rayleigh weightvector only */
157        for(i=1;i<laglen-1;i++){ 
158                for (a=1; a<=numelem; a++){
159                        for(b=(1-a); b<a; b++){
160                                acfout[i] += acf[a*(i+1)+b-1] 
161                                        * 1./(2.*a-1.)*rwv[i];
162                        }
163                }
164        }
165
166        /* find non-zero Rayleigh period */
167        maxindex = vec_max_elem(bt->acfout);
168        bt->rp = maxindex ? vec_quadint(bt->acfout, maxindex, 1) : 1;
169        //rp = (maxindex==127) ? 43 : maxindex; //rayparam
170        bt->rp = (maxindex==bt->acfout->length-1) ? bt->rayparam : maxindex; //rayparam
171
172        /* activate biased filterbank */
173        aubio_beattracking_checkstate(bt);
174#if 0 // debug metronome mode
175        bt->bp = 36.9142;
176#endif
177        bp = bt->bp;
178        /* end of biased filterbank */
179
180        /* initialize output */
181        for(i=0;i<bt->phout->length;i++)     {phout[i] = 0.;} 
182
183        /* deliberate integer operation, could be set to 3 max eventually */
184        kmax = FLOOR(winlen/bp);
185
186        for(i=0;i<bp;i++){
187                phout[i] = 0.;
188                for(k=0;k<kmax;k++){
189                        phout[i] += dfrev[i+(uint_t)ROUND(bp*k)] * phwv[i];
190                }
191        }
192
193        /* find Rayleigh period */
194        maxindex = vec_max_elem(bt->phout);
195        if (maxindex == winlen) maxindex = 0;
196        phase =  1. + vec_quadint(bt->phout, maxindex, 1);
197#if 0 // debug metronome mode
198        phase = step - bt->lastbeat;
199#endif
200
201        /* reset output */
202        for (i = 0; i < laglen; i++)
203                output->data[0][i] = 0.;
204
205        i = 1;
206        beat = bp - phase;
207        /* start counting the beats */
208        if(beat >= 0)
209        {
210                output->data[0][i] = beat;
211                i++;
212        }
213
214        while( beat + bp <= step)
215        {
216                beat += bp;
217                output->data[0][i] = beat;
218                i++;
219        }
220
221        bt->lastbeat = beat;
222        /* store the number of beat found in this frame as the first element */
223        output->data[0][0] = i;
224}
225
226uint_t fvec_gettimesig(smpl_t * acf, uint_t acflen, uint_t gp){
227        sint_t k = 0;
228        smpl_t three_energy = 0., four_energy = 0.;
229        if( acflen > 6 * gp + 2 ){
230                for(k=-2;k<2;k++){
231                        three_energy += acf[3*gp+k];
232                        four_energy += acf[4*gp+k];
233                }
234        }
235        else{ /*Expanded to be more accurate in time sig estimation*/
236                for(k=-2;k<2;k++){
237                        three_energy += acf[3*gp+k]+acf[6*gp+k];
238                        four_energy += acf[4*gp+k]+acf[2*gp+k];
239                }
240        }
241        return (three_energy > four_energy) ? 3 : 4;
242}
243
244void aubio_beattracking_checkstate(aubio_beattracking_t * bt) {
245        uint_t i,j,a,b;
246        uint_t flagconst  = 0;
247        sint_t counter  = bt->counter;
248        uint_t flagstep = bt->flagstep;
249        smpl_t gp       = bt->gp;
250        smpl_t bp       = bt->bp;
251        smpl_t rp       = bt->rp;
252        smpl_t rp1      = bt->rp1;
253        smpl_t rp2      = bt->rp2;
254        uint_t laglen   = bt->rwv->length;
255        uint_t acflen   = bt->acf->length;
256        uint_t step     = bt->step;
257        smpl_t * acf    = bt->acf->data[0];
258        smpl_t * acfout = bt->acfout->data[0];
259        smpl_t * gwv    = bt->gwv->data[0];
260        smpl_t * phwv   = bt->phwv->data[0];
261
262        if (gp) {
263                // doshiftfbank again only if context dependent model is in operation
264                //acfout = doshiftfbank(acf,gwv,timesig,laglen,acfout);
265                //don't need acfout now, so can reuse vector
266                // gwv is, in first loop, definitely all zeros, but will have
267                // proper values when context dependent model is activated
268                for (i=0; i < bt->acfout->length; i++)
269                       acfout[i] = 0.;
270                for(i=1;i<laglen-1;i++){ 
271                        for (a=1;a<=bt->timesig;a++){
272                                for(b=(1-a);b<a;b++){
273                                        acfout[i] += acf[a*(i+1)+b-1] 
274                                                * 1. * gwv[i];
275                                }
276                        }
277                }
278                gp = vec_quadint(bt->acfout, vec_max_elem(bt->acfout), 1);
279                /*
280                while(gp<32) gp =gp*2;
281                while(gp>64) gp = gp/2;
282                */
283        } else {
284                //still only using general model
285                gp = 0; 
286        }
287
288        //now look for step change - i.e. a difference between gp and rp that
289        // is greater than 2*constthresh - always true in first case, since gp = 0
290        if(counter == 0){
291                if(ABS(gp - rp) > 2.*bt->g_var) {
292                        flagstep = 1; // have observed  step change.
293                        counter  = 3; // setup 3 frame counter
294                } else {
295                        flagstep = 0;
296                }
297        }
298
299        //i.e. 3rd frame after flagstep initially set
300        if (counter==1 && flagstep==1) {
301                //check for consistency between previous beatperiod values
302                if(ABS(2.*rp - rp1 -rp2) < bt->g_var) {
303                        //if true, can activate context dependent model
304                        flagconst = 1;
305                        counter   = 0; // reset counter and flagstep
306                } else {
307                        //if not consistent, then don't flag consistency!
308                        flagconst = 0;
309                        counter   = 2; // let it look next time
310                }
311        } else if (counter > 0) {
312                //if counter doesn't = 1,
313                counter = counter-1;
314        }
315
316        rp2 = rp1; rp1 = rp; 
317
318        if (flagconst) {
319                /* first run of new hypothesis */
320                gp = rp;
321                bt->timesig = fvec_gettimesig(acf,acflen, gp);
322                for(j=0;j<laglen;j++)
323                        gwv[j] = EXP(-.5*SQR((smpl_t)(j+1.-gp))/SQR(bt->g_var));
324                flagconst = 0;
325                bp = gp;
326                /* flat phase weighting */
327                for(j=0;j<2*laglen;j++)  {phwv[j] = 1.;} 
328        } else if (bt->timesig) {
329                /* context dependant model */
330                bp = gp;
331                /* gaussian phase weighting */
332                if (step > bt->lastbeat) {
333                        for(j=0;j<2*laglen;j++)  {
334                                phwv[j] = EXP(-.5*SQR((smpl_t)(1.+j-step+bt->lastbeat))/(bp/8.));
335                        }
336                } else { 
337                        //AUBIO_DBG("NOT using phase weighting as step is %d and lastbeat %d \n",
338                        //                step,bt->lastbeat);
339                        for(j=0;j<2*laglen;j++)  {phwv[j] = 1.;} 
340                }
341        } else {
342                /* initial state */ 
343                bp = rp;
344                /* flat phase weighting */
345                for(j=0;j<2*laglen;j++)  {phwv[j] = 1.;} 
346        }
347
348        /* do some further checks on the final bp value */
349
350        /* if tempo is > 206 bpm, half it */
351        while (bp < 25) {
352                //AUBIO_DBG("warning, doubling the beat period from %d\n", bp);
353                //AUBIO_DBG("warning, halving the tempo from %f\n", 60.*samplerate/hopsize/bp);
354                bp = bp*2;
355        }
356       
357        //AUBIO_DBG("tempo:\t%3.5f bpm | ", 5168./bp);
358
359        /* smoothing */
360        //bp = (uint_t) (0.8 * (smpl_t)bp + 0.2 * (smpl_t)bp2);
361        //AUBIO_DBG("tempo:\t%3.5f bpm smoothed | bp2 %d | bp %d | ", 5168./bp, bp2, bp);
362        //bp2 = bp;
363        //AUBIO_DBG("time signature: %d \n", bt->timesig);
364        bt->counter = counter;
365        bt->flagstep = flagstep;
366        bt->gp = gp;
367        bt->bp = bp;
368        bt->rp1 = rp1;
369        bt->rp2 = rp2;
370
371}
372
373smpl_t aubio_beattracking_get_bpm(aubio_beattracking_t * bt) {
374        if (bt->timesig != 0 && bt->counter == 0 && bt->flagstep == 0) {
375          return 5168. / vec_quadint(bt->acfout, bt->bp, 1);
376        } else {
377          return 0.;
378        }
379}
380
381smpl_t aubio_beattracking_get_confidence(aubio_beattracking_t * bt) {
382        if (bt->gp) return vec_max(bt->acfout);
383        else return 0.;
384}
Note: See TracBrowser for help on using the repository browser.