swscale: Do not shift negative values directly