pixlet: Fix architecture-dependent code and values
authorVittorio Giovara <vittorio.giovara@gmail.com>
Thu, 2 Mar 2017 00:45:31 +0000 (19:45 -0500)
committerVittorio Giovara <vittorio.giovara@gmail.com>
Mon, 6 Mar 2017 23:15:02 +0000 (18:15 -0500)
commitb44bd7ee7f7d834c1e22b5f33674393e5c0267c5
tree842ebbcf986083d8edb40498d5f3384509c68104
parent808ef43597b1e3d6e69a5b9abe2237c8ddb97b44
pixlet: Fix architecture-dependent code and values

The constants used in the decoder used floating point precision,
and this caused different values to be generated on different
architectures. Additionally on big endian machines, the fate test
would output bytes in native order, which is different from the one
hardcoded in the test.

So, eradicate floating point numbers and use fixed point (32.32)
arithmetics everywhere, replacing constants with precomputed integer
values, and force the pixel format output to be the same in the fate
test.

Signed-off-by: Vittorio Giovara <vittorio.giovara@gmail.com>
libavcodec/pixlet.c
tests/fate/video.mak
tests/ref/fate/pixlet