Making the MDCT produce interleaved data
[opus.git] / libcelt / mdct.c
index 0117c40..1e310ad 100644 (file)
@@ -5,18 +5,14 @@
    Redistribution and use in source and binary forms, with or without
    modification, are permitted provided that the following conditions
    are met:
-   
+
    - Redistributions of source code must retain the above copyright
    notice, this list of conditions and the following disclaimer.
-   
+
    - Redistributions in binary form must reproduce the above copyright
    notice, this list of conditions and the following disclaimer in the
    documentation and/or other materials provided with the distribution.
-   
-   - Neither the name of the Xiph.org Foundation nor the names of its
-   contributors may be used to endorse or promote products derived from
-   this software without specific prior written permission.
-   
+
    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
 /* This is a simple MDCT implementation that uses a N/4 complex FFT
    to do most of the work. It should be relatively straightforward to
    plug in pretty much and FFT here.
-   
-   This replaces the Vorbis FFT (and uses the exact same API), which 
-   was a bit too messy and that was ending up duplicating code 
+
+   This replaces the Vorbis FFT (and uses the exact same API), which
+   was a bit too messy and that was ending up duplicating code
    (might as well use the same FFT everywhere).
-   
+
    The algorithm is similar to (and inspired from) Fabrice Bellard's
    MDCT implementation in FFMPEG, but has differences in signs, ordering
-   and scaling in many places. 
+   and scaling in many places.
 */
 
+#ifndef SKIP_CONFIG_H
 #ifdef HAVE_CONFIG_H
 #include "config.h"
 #endif
+#endif
 
 #include "mdct.h"
-#include "kfft_double.h"
+#include "kiss_fft.h"
+#include "_kiss_fft_guts.h"
 #include <math.h>
 #include "os_support.h"
 #include "mathops.h"
 #include "stack_alloc.h"
 
-#ifndef M_PI
-#define M_PI 3.141592653
-#endif
+#ifdef CUSTOM_MODES
 
-void clt_mdct_init(mdct_lookup *l,int N, int maxshift)
+int clt_mdct_init(mdct_lookup *l,int N, int maxshift)
 {
    int i;
-   int N2, N4;
+   int N4, N2;
+   kiss_twiddle_scalar *trig;
    l->n = N;
    N2 = N>>1;
    N4 = N>>2;
-   l->kfft = celt_alloc(sizeof(kiss_fft_cfg)*(maxshift+1));
    l->maxshift = maxshift;
    for (i=0;i<=maxshift;i++)
    {
       if (i==0)
-         l->kfft[i] = cpx32_fft_alloc(N>>2>>i);
+         l->kfft[i] = opus_fft_alloc(N>>2>>i, 0, 0);
       else
-         l->kfft[i] = cpx32_fft_alloc_twiddles(N>>2>>i, l->kfft[0]);
+         l->kfft[i] = opus_fft_alloc_twiddles(N>>2>>i, 0, 0, l->kfft[0]);
 #ifndef ENABLE_TI_DSPLIB55
       if (l->kfft[i]==NULL)
-         return;
+         return 0;
 #endif
    }
-   l->trig = (kiss_twiddle_scalar*)celt_alloc((N4+1)*sizeof(kiss_twiddle_scalar));
+   l->trig = trig = (kiss_twiddle_scalar*)celt_alloc((N4+1)*sizeof(kiss_twiddle_scalar));
    if (l->trig==NULL)
-     return;
+     return 0;
    /* We have enough points that sine isn't necessary */
 #if defined(FIXED_POINT)
    for (i=0;i<=N4;i++)
-      l->trig[i] = TRIG_UPSCALE*celt_cos_norm(DIV32(ADD32(SHL32(EXTEND32(i),17),N2),N));
+      trig[i] = TRIG_UPSCALE*celt_cos_norm(DIV32(ADD32(SHL32(EXTEND32(i),17),N2),N));
 #else
    for (i=0;i<=N4;i++)
-      l->trig[i] = cos(2*M_PI*i/N);
+      trig[i] = (kiss_twiddle_scalar)cos(2*PI*i/N);
 #endif
+   return 1;
 }
 
 void clt_mdct_clear(mdct_lookup *l)
 {
    int i;
    for (i=0;i<=l->maxshift;i++)
-      cpx32_fft_free(l->kfft[i]);
-   celt_free(l->kfft);
-   celt_free(l->trig);
+      opus_fft_free(l->kfft[i]);
+   celt_free((kiss_twiddle_scalar*)l->trig);
 }
 
-void clt_mdct_forward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar * restrict out, const celt_word16 *window, int overlap, int shift)
+#endif /* CUSTOM_MODES */
+
+void clt_mdct_forward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar * restrict out,
+      const opus_val16 *window, int overlap, int shift, int stride)
 {
    int i;
    int N, N2, N4;
@@ -116,7 +116,7 @@ void clt_mdct_forward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar
 #ifdef FIXED_POINT
    sine = TRIG_UPSCALE*(QCONST16(0.7853981f, 15)+N2)/N;
 #else
-   sine = 2*M_PI*(.125f)/N;
+   sine = (kiss_twiddle_scalar)2*PI*(.125f)/N;
 #endif
 
    /* Consider the input to be composed of four blocks: [a, b, c, d] */
@@ -125,9 +125,9 @@ void clt_mdct_forward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar
       /* Temp pointers to make it really clear to the compiler what we're doing */
       const kiss_fft_scalar * restrict xp1 = in+(overlap>>1);
       const kiss_fft_scalar * restrict xp2 = in+N2-1+(overlap>>1);
-      kiss_fft_scalar * restrict yp = out;
-      const celt_word16 * restrict wp1 = window+(overlap>>1);
-      const celt_word16 * restrict wp2 = window+(overlap>>1)-1;
+      kiss_fft_scalar * restrict yp = f;
+      const opus_val16 * restrict wp1 = window+(overlap>>1);
+      const opus_val16 * restrict wp2 = window+(overlap>>1)-1;
       for(i=0;i<(overlap>>2);i++)
       {
          /* Real part arranged as -d-cR, Imag part arranged as -b+aR*/
@@ -161,8 +161,8 @@ void clt_mdct_forward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar
    }
    /* Pre-rotation */
    {
-      kiss_fft_scalar * restrict yp = out;
-      kiss_fft_scalar *t = &l->trig[0];
+      kiss_fft_scalar * restrict yp = f;
+      const kiss_twiddle_scalar *t = &l->trig[0];
       for(i=0;i<N4;i++)
       {
          kiss_fft_scalar re, im, yr, yi;
@@ -177,15 +177,15 @@ void clt_mdct_forward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar
    }
 
    /* N/4 complex FFT, down-scales by 4/N */
-   cpx32_fft(l->kfft[shift], out, f, N4);
+   opus_fft(l->kfft[shift], (kiss_fft_cpx *)f, (kiss_fft_cpx *)in);
 
    /* Post-rotate */
    {
       /* Temp pointers to make it really clear to the compiler what we're doing */
-      const kiss_fft_scalar * restrict fp = f;
+      const kiss_fft_scalar * restrict fp = in;
       kiss_fft_scalar * restrict yp1 = out;
-      kiss_fft_scalar * restrict yp2 = out+N2-1;
-      kiss_fft_scalar *t = &l->trig[0];
+      kiss_fft_scalar * restrict yp2 = out+stride*(N2-1);
+      const kiss_twiddle_scalar *t = &l->trig[0];
       /* Temp pointers to make it really clear to the compiler what we're doing */
       for(i=0;i<N4;i++)
       {
@@ -196,15 +196,15 @@ void clt_mdct_forward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar
          *yp1 = yr - S_MUL(yi,sine);
          *yp2 = yi + S_MUL(yr,sine);;
          fp += 2;
-         yp1 += 2;
-         yp2 -= 2;
+         yp1 += 2*stride;
+         yp2 -= 2*stride;
       }
    }
    RESTORE_STACK;
 }
 
-
-void clt_mdct_backward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar * restrict out, const celt_word16 * restrict window, int overlap, int shift)
+void clt_mdct_backward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar * restrict out,
+      const opus_val16 * restrict window, int overlap, int shift, int stride)
 {
    int i;
    int N, N2, N4;
@@ -222,17 +222,17 @@ void clt_mdct_backward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scala
 #ifdef FIXED_POINT
    sine = TRIG_UPSCALE*(QCONST16(0.7853981f, 15)+N2)/N;
 #else
-   sine = 2*M_PI*(.125f)/N;
+   sine = (kiss_twiddle_scalar)2*PI*(.125f)/N;
 #endif
-   
+
    /* Pre-rotate */
    {
       /* Temp pointers to make it really clear to the compiler what we're doing */
       const kiss_fft_scalar * restrict xp1 = in;
-      const kiss_fft_scalar * restrict xp2 = in+N2-1;
+      const kiss_fft_scalar * restrict xp2 = in+stride*(N2-1);
       kiss_fft_scalar * restrict yp = f2;
-      kiss_fft_scalar *t = &l->trig[0];
-      for(i=0;i<N4;i++) 
+      const kiss_twiddle_scalar *t = &l->trig[0];
+      for(i=0;i<N4;i++)
       {
          kiss_fft_scalar yr, yi;
          yr = -S_MUL(*xp2, t[i<<shift]) + S_MUL(*xp1,t[(N4-i)<<shift]);
@@ -240,18 +240,18 @@ void clt_mdct_backward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scala
          /* works because the cos is nearly one */
          *yp++ = yr - S_MUL(yi,sine);
          *yp++ = yi + S_MUL(yr,sine);
-         xp1+=2;
-         xp2-=2;
+         xp1+=2*stride;
+         xp2-=2*stride;
       }
    }
 
    /* Inverse N/4 complex FFT. This one should *not* downscale even in fixed-point */
-   cpx32_ifft(l->kfft[shift], f2, f, N4);
-   
+   opus_ifft(l->kfft[shift], (kiss_fft_cpx *)f2, (kiss_fft_cpx *)f);
+
    /* Post-rotate */
    {
       kiss_fft_scalar * restrict fp = f;
-      kiss_fft_scalar *t = &l->trig[0];
+      const kiss_twiddle_scalar *t = &l->trig[0];
 
       for(i=0;i<N4;i++)
       {
@@ -279,14 +279,14 @@ void clt_mdct_backward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scala
          fp2 -= 2;
       }
    }
-
+   out -= (N2-overlap)>>1;
    /* Mirror on both sides for TDAC */
    {
       kiss_fft_scalar * restrict fp1 = f2+N4-1;
       kiss_fft_scalar * restrict xp1 = out+N2-1;
       kiss_fft_scalar * restrict yp1 = out+N4-overlap/2;
-      const celt_word16 * restrict wp1 = window;
-      const celt_word16 * restrict wp2 = window+overlap-1;
+      const opus_val16 * restrict wp1 = window;
+      const opus_val16 * restrict wp2 = window+overlap-1;
       for(i = 0; i< N4-overlap/2; i++)
       {
          *xp1 = *fp1;
@@ -307,8 +307,8 @@ void clt_mdct_backward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scala
       kiss_fft_scalar * restrict fp2 = f2+N4;
       kiss_fft_scalar * restrict xp2 = out+N2;
       kiss_fft_scalar * restrict yp2 = out+N-1-(N4-overlap/2);
-      const celt_word16 * restrict wp1 = window;
-      const celt_word16 * restrict wp2 = window+overlap-1;
+      const opus_val16 * restrict wp1 = window;
+      const opus_val16 * restrict wp2 = window+overlap-1;
       for(i = 0; i< N4-overlap/2; i++)
       {
          *xp2 = *fp2;
@@ -327,5 +327,3 @@ void clt_mdct_backward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scala
    }
    RESTORE_STACK;
 }
-
-