Enhancements the fixed-point approximations of non-linear functions.
authorTimothy B. Terriberry <tterribe@xiph.org>
Wed, 21 Oct 2009 04:18:41 +0000 (00:18 -0400)
committerJean-Marc Valin <jean-marc.valin@usherbrooke.ca>
Thu, 22 Oct 2009 00:30:46 +0000 (20:30 -0400)
commita9ffc14ab7f00496b41f84a89c395b839e8452c4
tree5af0e0279031eb7dec432fc2765a2d874bd9b5e4
parentab4dcc5c90140f7a6fefdef2e2acfdf7ecc152c9
Enhancements the fixed-point approximations of non-linear functions.

Accuracy for rsqrt, rcp, cos, and log2 is now at the level of truncation error
 for the current output resolution of these functions.
sqrt and exp2 still have non-trivial algebraic error, but this cannot be
 reduced much further using the current method without additional computation.
Also updates the fast float approximations for log2 and exp2 with coefficients
 that give slightly lower maximum relative error.

Patch modified by Jean-Marc Valin to leave the cos approximation as is and
leave the check for x<-15 in exp2 as is.
libcelt/mathops.h
tests/mathops-test.c