Android: convert YUV_420_888 image format Image to YUV420Planar (I420) and YUV420SemiPlanar (NV21) color format byte array (raw file).

背景

代码思路来自Android CTS，出处见参考

从Android SDK 21开始，Android就开始推行新的原始（未压缩）图片数据的载体类Image，和新的YUV格式YUV420Flexible，配套YUV_420_888，用来统一Android内部混乱的中间图片数据（这里中间图片数据指如各式YUV格式数据，在处理过程中产生和销毁）管理。主要体现在两个方面：其一，新的Camera2把以前的Cameradeprecated掉了，而Camera2输出的帧信息就采用的Image，默认格式为YUV_420_888；其二，硬件编解码的MediaCodec类加入了对Image和Image的封装ImageReader的全面支持，并推荐采用YUV420Flexible进行编解码。

但YUV420Flexible是一类YUV格式的集合（后面会简单介绍），怎么从其中得到确定的YUV格式如YUV420Planar(I420)和YUV420SemiPlanar(NV21)呢？Android没有提供现成的方法，只能靠自己实现啦。不过还好，我在Android的CTS测试的代码中找到了一些蛛丝马迹，最后实现了这样一个通用的转换方法。

本方法适用于绝大部分YUV420Flexible格式的转换，对于1920x1080的图片，能够在30ms内完成转换

思路

关于YUV420和Image的介绍，参见Android: Image类浅析(结合YUV_420_888)。

思路实际上很简单，就是从Image中得到YUV分量的颜色数据，再按指定格式拼起来，就是想要的结果了。麻烦的地方就是如何获取U和V分量了，如上链接中专门谈到了这个问题。

实现

转换

代码

private static final int COLOR_FormatI420 = 1;
private static final int COLOR_FormatNV21 = 2;

private static boolean isImageFormatSupported(Image image) {
    int format = image.getFormat();
    switch (format) {
        case ImageFormat.YUV_420_888:
        case ImageFormat.NV21:
        case ImageFormat.YV12:
            return true;
    }
    return false;
}

private static byte[] getDataFromImage(Image image, int colorFormat) {
    if (colorFormat != COLOR_FormatI420 && colorFormat != COLOR_FormatNV21) {
        throw new IllegalArgumentException("only support COLOR_FormatI420 " + "and COLOR_FormatNV21");
    }
    if (!isImageFormatSupported(image)) {
        throw new RuntimeException("can't convert Image to byte array, format " + image.getFormat());
    }
    Rect crop = image.getCropRect();
    int format = image.getFormat();
    int width = crop.width();
    int height = crop.height();
    Image.Plane[] planes = image.getPlanes();
    byte[] data = new byte[width * height * ImageFormat.getBitsPerPixel(format) / 8];
    byte[] rowData = new byte[planes[0].getRowStride()];
    if (VERBOSE) Log.v(TAG, "get data from " + planes.length + " planes");
    int channelOffset = 0;
    int outputStride = 1;
    for (int i = 0; i < planes.length; i++) {
        switch (i) {
            case 0:
                channelOffset = 0;
                outputStride = 1;
                break;
            case 1:
                if (colorFormat == COLOR_FormatI420) {
                    channelOffset = width * height;
                    outputStride = 1;
                } else if (colorFormat == COLOR_FormatNV21) {
                    channelOffset = width * height + 1;
                    outputStride = 2;
                }
                break;
            case 2:
                if (colorFormat == COLOR_FormatI420) {
                    channelOffset = (int) (width * height * 1.25);
                    outputStride = 1;
                } else if (colorFormat == COLOR_FormatNV21) {
                    channelOffset = width * height;
                    outputStride = 2;
                }
                break;
        }
        ByteBuffer buffer = planes[i].getBuffer();
        int rowStride = planes[i].getRowStride();
        int pixelStride = planes[i].getPixelStride();
        if (VERBOSE) {
            Log.v(TAG, "pixelStride " + pixelStride);
            Log.v(TAG, "rowStride " + rowStride);
            Log.v(TAG, "width " + width);
            Log.v(TAG, "height " + height);
            Log.v(TAG, "buffer size " + buffer.remaining());
        }
        int shift = (i == 0) ? 0 : 1;
        int w = width >> shift;
        int h = height >> shift;
        buffer.position(rowStride * (crop.top >> shift) + pixelStride * (crop.left >> shift));
        for (int row = 0; row < h; row++) {
            int length;
            if (pixelStride == 1 && outputStride == 1) {
                length = w;
                buffer.get(data, channelOffset, length);
                channelOffset += length;
            } else {
                length = (w - 1) * pixelStride + 1;
                buffer.get(rowData, 0, length);
                for (int col = 0; col < w; col++) {
                    data[channelOffset] = rowData[col * pixelStride];
                    channelOffset += outputStride;
                }
            }
            if (row < h - 1) {
                buffer.position(buffer.position() + rowStride - length);
            }
        }
        if (VERBOSE) Log.v(TAG, "Finished reading data from plane " + i);
    }
    return data;
}

分析

代码有些长，慢慢分析。首先判断格式是否支持，ImageFormat中只支持YUV_420_888、NV21以及YV12。

channelOffset指分别将每个分量数据写入到byte[]中时的初始偏移量，outputStride则是专门为NV21准备的，用来指定写入数据的间隔，即步长。

接下来对每个分量进行处理，对于每个分量，首先通过一个switch确定在不同分量和不同输出格式情况下的channelOffset和outputStride；I420很容易，对于NV21，由于UV分量交错存储，且V分量在前，所以U的channelOffset比V大1，且两者的outputStride都是2。

再往下就是获取到分量的ByteBuffer、rowStride和pixelStride。然后根据CropRect定位到第一个颜色值点，CropRect可以理解为图片中指定的一个矩形区域，需要输出的是这个矩形区域的图片数据，注意由于YUV420中U和V的采样数目比Y少，在确定第一个点时也要单独考虑。

再接下来就是逐行获取颜色数据，然后写入到输出的byte[]中，比较简单不需要过多解释。

写入文件

YUV

得到转换后的byte[]后就可以直接写入到文件了，比如一个通用的写入方法

private static void dumpFile(String fileName, byte[] data) {
    FileOutputStream outStream;
    try {
        outStream = new FileOutputStream(fileName);
    } catch (IOException ioe) {
        throw new RuntimeException("Unable to create output file " + fileName, ioe);
    }
    try {
        outStream.write(data);
        outStream.close();
    } catch (IOException ioe) {
        throw new RuntimeException("failed writing data to file " + fileName, ioe);
    }
}

注意：由于YUV格式文件仅包含颜色数据，应当在.yuv文件名中标注出分辨率（和格式）信息

JPEG

没错，你还可以将得到的byte[]保存为JPEG格式，不可思议吧？

我们借助于YuvImage类的compressToJpeg()方法，这个方法借助Android的JNI，实现了非常高效率的JPEG格式文件写入（比Bitmap.compress()效率都要高不少），我这里测试可以在30ms完成整个JPEG写入过程。

private void compressToJpeg(String fileName, Image image) {
    FileOutputStream outStream;
    try {
        outStream = new FileOutputStream(fileName);
    } catch (IOException ioe) {
        throw new RuntimeException("Unable to create output file " + fileName, ioe);
    }
    Rect rect = image.getCropRect();
    YuvImage yuvImage = new YuvImage(getDataFromImage(image, COLOR_FormatNV21), ImageFormat.NV21, rect.width(), rect.height(), null);
    yuvImage.compressToJpeg(rect, 100, outStream);
}

注意：YuvImage目前仅支持NV21和YUY2格式。且通过分析其C++实现代码，和ffmpeg对生成.jpg图片的解析发现，compressToJpeg()并没有进行YUV向RGB的转化，也就是说重新解码生成的.jpg文件，可能不会得到像素点的RGB信息。

效果

对于YUV，将数据写入到文件后就可以通过YUV查看软件直接打开了。如果你打开不显示或不能正确显示图片，记得在软件中手动设置图片的大小和格式信息。效果如下图所示

Screenshot YUView

对于JPEG，可以直接双击打开。效果如下图所示

Screenshot JPEG

参考