Android: convert YUV_420_888 image format Image to YUV420Planar (I420) and YUV420SemiPlanar (NV21) color format byte array (raw file).

背景

代码思路来自Android CTS,出处见参考

从Android SDK 21开始,Android就开始推行新的原始(未压缩)图片数据的载体类Image,和新的YUV格式YUV420Flexible,配套YUV_420_888,用来统一Android内部混乱的中间图片数据(这里中间图片数据指如各式YUV格式数据,在处理过程中产生和销毁)管理。主要体现在两个方面:其一,新的Camera2把以前的Cameradeprecated掉了,而Camera2输出的帧信息就采用的Image,默认格式为YUV_420_888;其二,硬件编解码的MediaCodec类加入了对ImageImage的封装ImageReader的全面支持,并推荐采用YUV420Flexible进行编解码。

YUV420Flexible是一类YUV格式的集合(后面会简单介绍),怎么从其中得到确定的YUV格式如YUV420Planar(I420)和YUV420SemiPlanar(NV21)呢?Android没有提供现成的方法,只能靠自己实现啦。不过还好,我在Android的CTS测试的代码中找到了一些蛛丝马迹,最后实现了这样一个通用的转换方法。

本方法适用于绝大部分YUV420Flexible格式的转换,对于1920x1080的图片,能够在30ms内完成转换

思路

关于YUV420和Image的介绍,参见Android: Image类浅析(结合YUV_420_888)

思路实际上很简单,就是从Image中得到YUV分量的颜色数据,再按指定格式拼起来,就是想要的结果了。麻烦的地方就是如何获取U和V分量了,如上链接中专门谈到了这个问题。

实现

转换

代码

private static final int COLOR_FormatI420 = 1;
private static final int COLOR_FormatNV21 = 2;

private static boolean isImageFormatSupported(Image image) {
    int format = image.getFormat();
    switch (format) {
        case ImageFormat.YUV_420_888:
        case ImageFormat.NV21:
        case ImageFormat.YV12:
            return true;
    }
    return false;
}

private static byte[] getDataFromImage(Image image, int colorFormat) {
    if (colorFormat != COLOR_FormatI420 && colorFormat != COLOR_FormatNV21) {
        throw new IllegalArgumentException("only support COLOR_FormatI420 " + "and COLOR_FormatNV21");
    }
    if (!isImageFormatSupported(image)) {
        throw new RuntimeException("can't convert Image to byte array, format " + image.getFormat());
    }
    Rect crop = image.getCropRect();
    int format = image.getFormat();
    int width = crop.width();
    int height = crop.height();
    Image.Plane[] planes = image.getPlanes();
    byte[] data = new byte[width * height * ImageFormat.getBitsPerPixel(format) / 8];
    byte[] rowData = new byte[planes[0].getRowStride()];
    if (VERBOSE) Log.v(TAG, "get data from " + planes.length + " planes");
    int channelOffset = 0;
    int outputStride = 1;
    for (int i = 0; i < planes.length; i++) {
        switch (i) {
            case 0:
                channelOffset = 0;
                outputStride = 1;
                break;
            case 1:
                if (colorFormat == COLOR_FormatI420) {
                    channelOffset = width * height;
                    outputStride = 1;
                } else if (colorFormat == COLOR_FormatNV21) {
                    channelOffset = width * height + 1;
                    outputStride = 2;
                }
                break;
            case 2:
                if (colorFormat == COLOR_FormatI420) {
                    channelOffset = (int) (width * height * 1.25);
                    outputStride = 1;
                } else if (colorFormat == COLOR_FormatNV21) {
                    channelOffset = width * height;
                    outputStride = 2;
                }
                break;
        }
        ByteBuffer buffer = planes[i].getBuffer();
        int rowStride = planes[i].getRowStride();
        int pixelStride = planes[i].getPixelStride();
        if (VERBOSE) {
            Log.v(TAG, "pixelStride " + pixelStride);
            Log.v(TAG, "rowStride " + rowStride);
            Log.v(TAG, "width " + width);
            Log.v(TAG, "height " + height);
            Log.v(TAG, "buffer size " + buffer.remaining());
        }
        int shift = (i == 0) ? 0 : 1;
        int w = width >> shift;
        int h = height >> shift;
        buffer.position(rowStride * (crop.top >> shift) + pixelStride * (crop.left >> shift));
        for (int row = 0; row < h; row++) {
            int length;
            if (pixelStride == 1 && outputStride == 1) {
                length = w;
                buffer.get(data, channelOffset, length);
                channelOffset += length;
            } else {
                length = (w - 1) * pixelStride + 1;
                buffer.get(rowData, 0, length);
                for (int col = 0; col < w; col++) {
                    data[channelOffset] = rowData[col * pixelStride];
                    channelOffset += outputStride;
                }
            }
            if (row < h - 1) {
                buffer.position(buffer.position() + rowStride - length);
            }
        }
        if (VERBOSE) Log.v(TAG, "Finished reading data from plane " + i);
    }
    return data;
}

分析

代码有些长,慢慢分析。首先判断格式是否支持,ImageFormat中只支持YUV_420_888NV21以及YV12

channelOffset指分别将每个分量数据写入到byte[]中时的初始偏移量,outputStride则是专门为NV21准备的,用来指定写入数据的间隔,即步长。

接下来对每个分量进行处理,对于每个分量,首先通过一个switch确定在不同分量和不同输出格式情况下的channelOffsetoutputStride;I420很容易,对于NV21,由于UV分量交错存储,且V分量在前,所以U的channelOffset比V大1,且两者的outputStride都是2。

再往下就是获取到分量的ByteBufferrowStridepixelStride。然后根据CropRect定位到第一个颜色值点,CropRect可以理解为图片中指定的一个矩形区域,需要输出的是这个矩形区域的图片数据,注意由于YUV420中U和V的采样数目比Y少,在确定第一个点时也要单独考虑。

再接下来就是逐行获取颜色数据,然后写入到输出的byte[]中,比较简单不需要过多解释。

写入文件

YUV

得到转换后的byte[]后就可以直接写入到文件了,比如一个通用的写入方法

private static void dumpFile(String fileName, byte[] data) {
    FileOutputStream outStream;
    try {
        outStream = new FileOutputStream(fileName);
    } catch (IOException ioe) {
        throw new RuntimeException("Unable to create output file " + fileName, ioe);
    }
    try {
        outStream.write(data);
        outStream.close();
    } catch (IOException ioe) {
        throw new RuntimeException("failed writing data to file " + fileName, ioe);
    }
}

注意:由于YUV格式文件仅包含颜色数据,应当在.yuv文件名中标注出分辨率(和格式)信息

JPEG

没错,你还可以将得到的byte[]保存为JPEG格式,不可思议吧?

我们借助于YuvImage类的compressToJpeg()方法,这个方法借助Android的JNI,实现了非常高效率的JPEG格式文件写入(比Bitmap.compress()效率都要高不少),我这里测试可以在30ms完成整个JPEG写入过程。

private void compressToJpeg(String fileName, Image image) {
    FileOutputStream outStream;
    try {
        outStream = new FileOutputStream(fileName);
    } catch (IOException ioe) {
        throw new RuntimeException("Unable to create output file " + fileName, ioe);
    }
    Rect rect = image.getCropRect();
    YuvImage yuvImage = new YuvImage(getDataFromImage(image, COLOR_FormatNV21), ImageFormat.NV21, rect.width(), rect.height(), null);
    yuvImage.compressToJpeg(rect, 100, outStream);
}

注意:YuvImage目前仅支持NV21和YUY2格式。且通过分析其C++实现代码,和ffmpeg对生成.jpg图片的解析发现,compressToJpeg()并没有进行YUV向RGB的转化,也就是说重新解码生成的.jpg文件,可能不会得到像素点的RGB信息。

效果

对于YUV,将数据写入到文件后就可以通过YUV查看软件直接打开了。如果你打开不显示或不能正确显示图片,记得在软件中手动设置图片的大小和格式信息。效果如下图所示

Screenshot YUView

对于JPEG,可以直接双击打开。效果如下图所示

Screenshot JPEG

参考