Media codec video renderer error

To be honest, it is the first I use the ExoPlayer. And, a problem happened!
when the SimpleExoPlayer.stop() invoked, I want the screen(the SurfaceView) is pur black color, So, I did this.

  stopBtn.setOnClickListener(new View.OnClickListener() {
        @Override
        public void onClick(View v) {
            simpleExoPlayer.stop(true);
            simpleExoPlayer.clearVideoSurfaceHolder(surfaceView.getHolder());

            SurfaceHolder holder = surfaceView.getHolder();
            Canvas canvas = holder.lockCanvas();
            canvas.drawColor(Color.BLACK);
            holder.unlockCanvasAndPost(canvas);

            simpleExoPlayer.setVideoSurfaceHolder(surfaceView.getHolder());
        }
    });
    nextBtn.setOnClickListener(new View.OnClickListener() {
        @Override
        public void onClick(View v) {
            MediaItem mediaItem = MediaItem.fromUri(getString(R.string.media_url_mp4));
            simpleExoPlayer.setMediaItem(mediaItem);
            simpleExoPlayer.prepare();
        }
    });` 

I click stop button, it running well.
when I click the button what name is nextVideo, Yes，it is Error.
Guys,please tell me WTF?

2021-01-26 16:22:37.780 E/SurfaceUtils: Failed to connect to surface 0x71e8f79010, err -22 2021-01-26 16:22:37.780 E/MediaCodec: nativeWindowConnect returned an error: Invalid argument (-22) 2021-01-26 16:22:37.780 E/MediaCodec: configure failed with err 0xffffffea, resetting... 2021-01-26 16:22:37.788 I/OMXClient: IOmx service obtained 2021-01-26 16:22:37.816 W/MediaCodecRenderer: Failed to initialize decoder: OMX.qcom.video.decoder.avc java.lang.IllegalArgumentException at android.media.MediaCodec.native_configure(Native Method) at android.media.MediaCodec.configure(MediaCodec.java:2023) at android.media.MediaCodec.configure(MediaCodec.java:1951) at com.google.android.exoplayer2.mediacodec.SynchronousMediaCodecAdapter.configure(SynchronousMediaCodecAdapter.java:43) at com.google.android.exoplayer2.video.MediaCodecVideoRenderer.configureCodec(MediaCodecVideoRenderer.java:580) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.initCodec(MediaCodecRenderer.java:1143) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.maybeInitCodecWithFallback(MediaCodecRenderer.java:1040) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.maybeInitCodecOrBypass(MediaCodecRenderer.java:604) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.onInputFormatChanged(MediaCodecRenderer.java:1470) at com.google.android.exoplayer2.video.MediaCodecVideoRenderer.onInputFormatChanged(MediaCodecVideoRenderer.java:640) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.readToFlagsOnlyBuffer(MediaCodecRenderer.java:994) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.render(MediaCodecRenderer.java:844) at com.google.android.exoplayer2.ExoPlayerImplInternal.doSomeWork(ExoPlayerImplInternal.java:892) at com.google.android.exoplayer2.ExoPlayerImplInternal.handleMessage(ExoPlayerImplInternal.java:467) at android.os.Handler.dispatchMessage(Handler.java:103) at android.os.Looper.loop(Looper.java:224) at android.os.HandlerThread.run(HandlerThread.java:67) 2021-01-26 16:22:37.820 E/ExoPlayerImplInternal: Playback error com.google.android.exoplayer2.ExoPlaybackException: MediaCodecVideoRenderer error, index=0, format=Format(1, null, null, video/avc, null, -1, null, [720, 1280, 29.969316], [-1, -1]), format_supported=YES at com.google.android.exoplayer2.ExoPlayerImplInternal.handleMessage(ExoPlayerImplInternal.java:542) at android.os.Handler.dispatchMessage(Handler.java:103) at android.os.Looper.loop(Looper.java:224) at android.os.HandlerThread.run(HandlerThread.java:67) Caused by: com.google.android.exoplayer2.mediacodec.MediaCodecRenderer$DecoderInitializationException: Decoder init failed: OMX.qcom.video.decoder.avc, Format(1, null, null, video/avc, null, -1, null, [720, 1280, 29.969316], [-1, -1]) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.maybeInitCodecWithFallback(MediaCodecRenderer.java:1047) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.maybeInitCodecOrBypass(MediaCodecRenderer.java:604) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.onInputFormatChanged(MediaCodecRenderer.java:1470) at com.google.android.exoplayer2.video.MediaCodecVideoRenderer.onInputFormatChanged(MediaCodecVideoRenderer.java:640) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.readToFlagsOnlyBuffer(MediaCodecRenderer.java:994) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.render(MediaCodecRenderer.java:844) at com.google.android.exoplayer2.ExoPlayerImplInternal.doSomeWork(ExoPlayerImplInternal.java:892) at com.google.android.exoplayer2.ExoPlayerImplInternal.handleMessage(ExoPlayerImplInternal.java:467) at android.os.Handler.dispatchMessage(Handler.java:103)  at android.os.Looper.loop(Looper.java:224)  at android.os.HandlerThread.run(HandlerThread.java:67)  Caused by: java.lang.IllegalArgumentException at android.media.MediaCodec.native_configure(Native Method) at android.media.MediaCodec.configure(MediaCodec.java:2023) at android.media.MediaCodec.configure(MediaCodec.java:1951) at com.google.android.exoplayer2.mediacodec.SynchronousMediaCodecAdapter.configure(SynchronousMediaCodecAdapter.java:43) at com.google.android.exoplayer2.video.MediaCodecVideoRenderer.configureCodec(MediaCodecVideoRenderer.java:580) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.initCodec(MediaCodecRenderer.java:1143) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.maybeInitCodecWithFallback(MediaCodecRenderer.java:1040) at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.maybeInitCodecOrBypass(MediaCodecRenderer.java:604)  at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.onInputFormatChanged(MediaCodecRenderer.java:1470)  at com.google.android.exoplayer2.video.MediaCodecVideoRenderer.onInputFormatChanged(MediaCodecVideoRenderer.java:640)  at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.readToFlagsOnlyBuffer(MediaCodecRenderer.java:994)  at com.google.android.exoplayer2.mediacodec.MediaCodecRenderer.render(MediaCodecRenderer.java:844)  at com.google.android.exoplayer2.ExoPlayerImplInternal.doSomeWork(ExoPlayerImplInternal.java:892)  at com.google.android.exoplayer2.ExoPlayerImplInternal.handleMessage(ExoPlayerImplInternal.java:467)  at android.os.Handler.dispatchMessage(Handler.java:103)  at android.os.Looper.loop(Looper.java:224)  at android.os.HandlerThread.run(HandlerThread.java:67) 

Довольно обидно увидеть ошибку «не удается открыть файл» или «неподдерживаемый аудиокодек», особенно, когда вы скинули фильм дома, а пытаетесь посмотреть его в поезде. Так как же исправить ошибку неподдерживаемого видеофайла? Читайте дальше, и мы покажем решение.

Что такое кодек?

Кодек на самом деле является аббревиатурой кодер-декодер. Название на самом деле говорит само за себя: это метод для кодирования и декодирования данных, в частности сжатых данных. Кодеки принимают данные (в данном случае видеоданные) и либо сжимают, чтобы его можно было сохранить, либо распаковывают, чтобы его можно было просмотреть.

Однако кодеки отличаются от контейнеров и форматов файлов. Например, AVI часто ошибочно принимают за кодек, когда речь идет просто о типе видеофайла.

Что такое контейнер?

Обычно контейнер также называется форматом файла. Он заботится о хранении, транспортировке и представлении (пока кодек готовит файл для этих действий). Контейнеры позаботятся о синхронизации аудио и видео. Контейнер является частью файла, который определяет тип файла. Проще говоря — если у вас есть файл mrandroid.mp4, MP4 является контейнером.

Почему мое видео не воспроизводится?

В большинстве случаев причина появления сообщения об ошибке при попытке воспроизведения видеофайла на устройстве Android заключается в том, что кодек мультимедийного файла не поддерживается медиаплеером. Другая возможная причина заключается в том, что аудиокодек не поддерживается. Вы можете подумать, что ваш медиаплеер произвольно решает воспроизводить и не воспроизводить файлы одного и того же типа, но контейнер может содержать несколько кодеков, которые ваш телефон может не поддерживать.

Как я могу воспроизводить «неподдерживаемые медиа-файлы» на моем смартфоне?

Как упоминалось выше, одна из наиболее вероятных причин, по которым вы получаете «не удается открыть файл», «неподдерживаемый аудиокодек» или «ошибка неподдерживаемого видеофайла», заключается в том, что текущий медиаплеер не поддерживает кодек вашего видео. Самым простым решением является переключение с видео-плеера по умолчанию и загрузка нового. Вот два наиболее универсальных проигрывателя Android, которые мы рекомендуем:

VLC для Android

Если вы когда-либо использовали VLC на своем ПК, вы знаете, что это один из самых удобных и надежных медиаплееров. То же самое относится и к приложению VLC для Android. Он включает в себя все кодеки без необходимости дополнительных загрузок. Он обеспечивает поддержку сжатого видео DivX и XviD, а также различных форматов — MKV, MP4, AVI, MOV, Ogg, FLAC, TS, M2TS, Wv и AAC. Для тех, кто любит смотреть иностранные фильмы или аниме, вы будете рады узнать, что VLC также поддерживает многодорожечный звук и субтитры. Мало того, приложение легкое, бесплатное и не имеет противной рекламы. Это один из лучших, если не самый лучший, медиаплеер для Android.

VLC для Android

MX Player

Это еще один легкий и простой в использовании мультимедийный проигрыватель Android. Так же, как VLC, MX Player поддерживает несколько файлов (.avi, mpeg, mp4, wmv, divx, xvid и другие), а также различные форматы субтитров, включая .txt, .sub, .srt, .idx и другие. Он также предлагает элементы управления жестами, такие как пролистывание вниз для уменьшения яркости, прокрутка назад и вперед, перемещение текста субтитров и многое другое. Интерфейс приложения довольно простой, и для некоторых это огромный плюс. В бесплатной версии MX Player есть реклама, но если вы можете с этим смириться, это отличный плеер, который поддерживает большинство форматов видеофайлов, о которых вы только можете подумать. Если нет, есть также версия без рекламы, доступная за 5,99 $.

MX Player

Какой ваш любимый видеоплеер? Дайте нам знать об этом в комментариях.

Пользователи операционных систем Windows 10 при воспроизведении некоторых видео могут сталкиваться с ошибкой «Для воспроизведения этого видео требуется новый кодек», которую сообщает встроенный проигрыватель «Кино и ТВ» и предлагает сразу купить за 0,99$ специальное расширение для видео HEVC.

Аналогичные ошибки кодеков могут встречаться на более старых ОС, например, Windows 8 и 7, в любых проигрывателях и даже при работе с файлом hevc в видеоредакторах (например, Adobe Premirere Pro). Также сам файл видео может открываться в плеере, но подтормаживать или воспроизводиться без звука, что тоже относиться к описываемой проблеме.

Сейчас я покажу на 100% верные варианты исправления подобных ошибок в операционных системах Windows, а затем расскажу, что это вообще за формат такой HEVC и откуда чаще всего сейчас можно получить видео, закодированные в нем.

Как исправить ошибку «Для воспроизведения этого видео требуется новый кодек»

В 99.9% случаев проблема связана именно с отсутствием одного единственного кодека в системе — H265 (он же HEVC), но иногда может возникать и при отсутствии некоторых других, при этом файл имеет часто привычное расширение MP4.

Если вы обладатель системы Windows 10, то при воспроизведении видео, ошибка будет выглядеть скорее всего вот так:

Только торопиться нажимать кнопку скачивания и скорее покупать расширение не нужно, потому что все можно скачать бесплатно и совершенно легально, а Microsoft просто решили на нас дополнительно заработать, поэтому при попытке воспроизвести обычный mp4 файлик, закодированный кодеком hevc (h265) подсовывают нам кнопку покупки под ошибкой «Для воспроизведения этого видео требуется новый кодек».

Итак, переходим к вариантам исправления…

Способ 1 — скачать бесплатно кодек HEVC для windows 10 и установить

Сразу обращаю внимание, что этот вариант сработает только в Win 10!

Странно, но купить соответствующее расширение проигрыватель «Кино и ТВ» предлагает только если переходить в Microsoft Store непосредственно через приложение на компьютере. А вот если перейти по специальной ссылке в интернете, то можно бесплатно скачать кодек hevc для Windows 10. Тупость, но что поделать 😊

Итак, для загрузки потребуется:

1. Перейти по ссылке на страницу где можно скачать бесплатно кодек HEVC для windows 10;
2. Если появилась кнопка «Получить», нажимаем ее, после чего нас перенаправит уже в приложение Microsoft Store на компьютере, где нужно подтвердить загрузку и установить кодек hevc на ПК.

Теперь видео, обработанные кодеком HEVC должны открываться нормально.

Если же на первом шаге кнопка скачивания не появилась и вместо нее «Активировать код» или вообще нет возможности загрузки, то скорее всего либо вы не вошли на сайте Microsoft под своей учетной записью, либо это глюк самого ресурса. В таком случае:

1. Убедитесь, что в аккаунт Microsoft вы вошли. Попробуйте выйти и зайти заново;
2. Попробуйте еще перейти на эту страницу (список приложений по запросу «hevc») и войти в аккаунт майкрософт через нее.

Способ 2 — установка кодеков K-Lite (для любых Windows)

Если для Windows 10 у вас не получилось поставить специальное расширение по 1-му варианту, то подойдет этот способ. Он также действенен в случае если у вас более старая операционка: Windows 8 или 7.

Этот вариант заключается в банальной установке самого большого пакета кодеков K-Lite Codec Pack, который может вам пригодиться и для воспроизведения других форматов видеороликов, кроме hevc.

Нужно проделать следующее:

1. Перейти на страницу загрузки;
2. Кликаем по «Server 1» и начнется загрузка файла.
3. Запускаем скачанный файл и устанавливаем его, ничего не настраивая по ходу. То есть что предлагается, то и оставляем в настройках установщика, нажимая «Next» до самого конца.

После завершения установки лучше перезагрузить компьютер, потому что не всегда сразу изменения вступают в силу. И проверяем, работает ли видео теперь. Должно быть все ОК 😊

Что это за формат HEVC

В этом разделе для тех, кому интересно, опишу что это за формат HEVC и откуда чаще всего пользователи получают видео, закодированные в нем.

Этот кодек расшифровывается как High Efficiency Video Coding и также именуется как H.265. Его разработка позволила намного сильнее сжимать высококачественные видео без потерь. Простым языком, видеоролики, закодированные в нем будут весить ощутимо меньше.

Видео в этом формате сейчас часто создаются на айфонах, имеющих операционную систему iOS 11. В настройках можно выбрать съемку фото в формате heic и видео в hevc. Настройки на создание фото и видео в таких форматах могут быть выставлены изначально, после чего обычные пользователи сталкиваются с проблемами при их воспроизведении на компьютерах с ОС Windows.

Основные выводы

При помощи одного из описанных методов вы справитесь с ошибкой «Для воспроизведения этого видео требуется новый кодек» в приложении «Кино и ТВ» Windows 10, а также с аналогичной в других плеерах и версиях виндовс.

Считаю это оптимальными решениями, чтобы не загружать компьютер лишним хламом. А то вижу некоторые предлагают устанавливать специальные плееры или даже конвертировать видео для того, чтобы нормально открывались видосы форматов HEVC.

Зачем устанавливать что-то дополнительно, если можно бесплатно скачать кодек HEVC для windows 10 или установить пакет K-Lite, который так или иначе пригодится.

У кого что-то по моей инструкции не получилось, буду рад ответить на ваши вопросы. Пишите о проблема в комментариях и будем разбираться 😉

С выходом Android 4.3 (API 18), Google привнесла долгожданный компонент под названием MediaCodec. Класс был открыт публике с выходом API 16, но для нормального использования и поддержки в Android системе требуется минимальный уровень API 18.

Материал рассчитан на опытного Android разработчика. Я попробую объяснить и показать примеры кодирования видео на лету с использованием Surface как входа и выхода потока данных. Если интересно, прошу под кат.

Что такое MediaCodec?

Официальная документация гласит:

MediaCodec class can be used to access low-level media codec, i.e. encoder/decoder components.

или

MediaCodec класс может быть использован для доступа к низко-уровневому медиа кодеку, т.е. кодеру/декодеру

В принципе это кодер или декодер который манипулирует буферами данных. Если мы будем смотреть на формат H264, он же video/avc, то по сути буфер будет хранить NAL кадры и т.д.

Зачем нужен MediaCodec?

В большинстве случаев Android разработчики будут использовать VideoView, MediaPlayer с SurfaceView и этого вполне достаточно. Но как только речь зайдет о создании видео потока для дальнейшей передачи куда-либо, у нас не так много вариантов. Тут нам поможет MediaCodec.

Как кодировать?

MediaCodec дает возможность создать Surface объект для принятия данных для кодера. Я разделил логику кодирвоания на три этапа: подготовка, цикл кодирования, освобождение ресурсов.

Так как процесс кодирования по сути простой цикл обработки буферов данных, нам потребуется создать отдельный поток, который будет представлять непосредственно видео кодер.

class Worker extends Thread {

  // ...

  BufferInfo mBufferInfo; // хранит информацию о текущем буфере
  MediaCodec mEncoder; // кодер
  Surface mSurface; // Surface как вход данных для кодера
  volatile boolean mRunning; 
  final long mTimeoutUsec; // блокировка в ожидании доступного буфера

  public Worker() {
        mBufferInfo = new BufferInfo();
        mTimeoutUsec = 10000l;
   }

  public void setRunning(boolean running) {
     mRunning = running;
  }

   @Override
   public void run() {
      prepare();
      try {
         while (mRunning) {
           encode();
         }
       } finally {
         release();
       }
   }

  // ...

}

Подготовка

Прежде чем приступить к кодированию нам потребуется описать формат и конфигурацию видео на выходе, создать сам кодер и получить Surface объект для ввода данных кодеру.

void prepare() {
        int width = 1280; // ширина видео
        int height = 720; // высота видео
        int colorFormat = MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface; // формат ввода цвета
        int videoBitrate = 3000000; // битрейт видео в bps (бит в секунду)
        int videoFramePerSecond = 30; // FPS
        int iframeInterval = 2; // I-Frame интервал в секундах

        MediaFormat format = MediaFormat.createVideoFormat("video/avc", width, height);
        format.setInteger(MediaFormat.KEY_COLOR_FORMAT, colorFormat);
        format.setInteger(MediaFormat.KEY_BIT_RATE, videoBitrate);
        format.setInteger(MediaFormat.KEY_FRAME_RATE, videoFramePerSecond);
        format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, iframeInterval);

        mEncoder = MediaCodec.createEncoderByType("video/avc"); // H264 кодек
        mEncoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE); // конфигурируем кодек как кодер
        mSurface = mEncoder.createInputSurface(); // получаем Surface кодера
        mEncoder.start(); // запускаем кодер
}

Цикл кодирования

void encode() {
        if (!mRunning) {
            mEncoder.signalEndOfInputStream(); // сообщить кодеку о конце потока данных
        }
        // получаем массив буферов кодека
        ByteBuffer[] outputBuffers = mEncoder.getOutputBuffers();
        for (;;) {
            // статус является кодом возврата или же, если 0 и позитивное число, индексом буфера в массиве
            int status = mEncoder.dequeueOutputBuffer(mBufferInfo, mTimeoutUsec);
            if (status == MediaCodec.INFO_TRY_AGAIN_LATER) {
                // нет доступного буфера, пробуем позже
                if (!mRunning) break; // выходим если поток закончен
            } else if (status == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
                // на случай если кодек меняет буфера
                outputBuffers = mEncoder.getOutputBuffers();
            } else if (status < 0) {
                // просто ничего не делаем
            } else {
                // статус является индексом буфера кодированных данных
                ByteBuffer data = outputBuffers[status];
                data.position(mBufferInfo.offset);
                data.limit(mBufferInfo.offset + mBufferInfo.size);
                // ограничиваем кодированные данные
                // делаем что-то с данными...
                mEncoder.releaseOutputBuffer(status, false);
                if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {
                    break;
                }
            }
        }
    }

mBufferInfo и data хранят данные о кадре(ах) который по сути может быть передан по сети или записаны в файл и др. Эти же данные могут быть декодированы h264 кодеком, чтобы получить изображение.

Важно заметить, что BufferInfo класс имеет поле flags. По сути может содержать три флага: BUFFER_FLAG_CODEC_CONFIG, BUFFER_FLAG_END_OF_STREAM и BUFFER_FLAG_SYNC_FRAME.

Давайте рассмотрим каждый из флагов:

• BUFFER_FLAG_CODEC_CONFIG флаг сигнализирует о том, что буфер данных содержит конфигурацию кодека. Первый доступный буфер кодера должен содержать данный флаг. К примеру для нашего H264 это может быть csd-0, который может быть использован во время декодирования при создании видео формата кодека.
• BUFFER_FLAG_END_OF_STREAM флаг сигнализирует о том, что достигнут конец потока данных. Я не уверен на счет использования данного флага во время кодирования, т.к. мы контролируем поток данных.
• BUFFER_FLAG_SYNC_FRAME флаг сигнализирует о том, что кадр является I-Frame. Важно использовать при передачи в файл или по сети, к примеру по протоколу RTP.

Освобождение ресурсов

Тут все просто, останавливаем кодер и освобождаем системные ресурсы.

void release() {
        mEncoder.stop();
        mEncoder.release();
        mSurface.release();
}

Что дальше?

Имея Surface возможны как минимум три пути ввода данных: MediaPlayer (Camera?), OpenGL, Canvas. По примеру использования рендера в SurfaceView возможно создать подобный цикл на основе нашего Surface:

class Renderer extends Thread {

        volatile boolean mRunning;

        public void setRunning(boolean running) {
            mRunning = running;
        }

        boolean draw() {
            Canvas canvas = mSurface.lockCanvas(null);
            if (canvas != null) {
                try {
                    draw(canvas); // рисуем на нашем канвасе
                    return true;
                } finally {
                    if (mSurface.isValid() && mRunning) {
                        mSurface.unlockCanvasAndPost(canvas);
                    }
                }
            }
            return false;
        }

        @Override
        public void run() {
            while (mRunning && draw()) {
            }
        }
}

Вариантов использования может быть несколько. Еще интересный момент, Surface является Parcelable, что дает возможность передачи через Binder в другие процессы, таким образом ваш кодер может находиться в одном процессе, когда рендер в другом.

Как декодировать?

Процесс декодирования схожий на процесс кодирования. Мы так же манипулируем буферами данных. Данный процесс я разделил на четыре части: конфигурация, декодирование сэмпла, цикл декодирования, освобождение ресурсов.

Я опущу детали создания класса потока, архитектура схожа на ту, которую я использовал в процессе кодирования.

Конфигурация

Процесс конфигурации критичен, иначе кодек невозможно создать и использовать для декодирования поступающих данных.

synchronized void configure(Surface surface, int width, int height,
        ByteBuffer csd0) {
    if (mConfigured) { // просто флаг, чтобы знать, что декодер готов
        throw new IllegalStateException();
    }
    // создаем видео формат
    MediaFormat format = MediaFormat.createVideoFormat("video/avc", width, height);
    // передаем наш csd-0
    format.setByteBuffer("csd-0", csd0);
    // создаем декодер
    mDecoder = MediaCodec.createDecoderByType("video/avc");
    // конфигурируем декодер
    mDecoder.configure(format, surface, null, 0);
    mDecoder.start();
    mConfigured = true;
}

Важно заметить, мы обязаны знать на какой Surface нужно выводить изображение, так же ширину и высоту изображения. csd-0 так же важен на этом этапе, как было описанно ранее в процессе кодирования, первый буфер данных должен иметь флаг BUFFER_FLAG_CODEC_CONFIG, этот буфер и является csd-0 который необходимо передать на этапе конфигурации декодера.

Декодирование сэмпла

Как только кодированные данные доступны их необходимо передавать декодеру. Мы запрашиваем буфер декодера, как только он доступен, передаем наши данные.

void decodeSample(byte[] data, int offset, int size, long presentationTimeUs, int flags) {
    if (mConfigured) {
        // вызов блокирующий
        int index = mDecoder.dequeueInputBuffer(mTimeoutUs);
        if (index >= 0) {
            ByteBuffer buffer = mDecoder.getInputBuffers()[index];
            buffer.clear(); // обязательно сбросить позицию и размер буфера
            buffer.put(data, offset, size);
            // сообщаем системе о доступности буфера данных
            mDecoder.queueInputBuffer(index, 0, size, presentationTimeUs, flags);
        }
    }
}

Если данные были переданы по сети, к примеру RTP протокол, необходимо учесть, что сэмплы передаются последовательно, иначе возможны артифакты при выводе изображения. На данном этапе, само изображение не готово для вывода на Surface, мы просто передаем известные данные декодеру.

Цикл декодирования

Цикл декодирования включает в себя запрос буфера данных который доступен на выходе, если доступен, можно его необходимо вернуть системе и сообщить если мы желаем рендерить данный кадр на Surface.

@Override
public void run() {
    try {
        BufferInfo info = new BufferInfo(); // переиспользуем BufferInfo
        while (mRunning) {
            if (mConfigured) { // если кодек готов
                int index = mDecoder.dequeueOutputBuffer(info, mTimeoutUs);
                if (index >= 0) { // буфер с индексом index доступен
                    // info.size > 0: если буфер не нулевого размера, то рендерим на Surface
                    mDecoder.releaseOutputBuffer(index, info.size > 0);
                    // заканчиваем работу декодера если достигнут конец потока данных
                    if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {
                        mRunning = false;
                        break;
                    }
                }
            } else {
                // просто спим, т.к. кодек не готов
                try {
                    Thread.sleep(10);
                } catch (InterruptedException ignore) {
                }
            }
        }
    } finally {
       // освобождение ресурсов
        release();
    }
}

Освобождение ресурсов

Довольно таки схожий процесс, но все же

void release() {
    if (mConfigured) {
        mDecoder.stop();
        mDecoder.release();
    }
}

Итог

Надеюсь материал был доступен и не сильно труден для понимания. MediaCodec хороший API, который дает унифицированный доступ к медия системе на различных устройствах.

Media Player Classic

Player Menu > Play > Filters

If you haven’t got a MPEG-2 decoder installed, you should enable the internal MPEG-2 decoder in Media Player Classic.

MPC Options -> Internal Filters -> Transform Filters

MPC Options -> Player -> Disable «Open Disc» menu

This usually means that there is a filter missing that is needed to decode one of the streams in the file. The error message should show some information about the required format, but this information is very cryptic. Below you can find some of the values that the error might show you, together with the format that belongs to it.

The format above is AMR audio. To play this you need to enable AMR in LAV Audio decoder or ffdshow audio decoder.

The format above if FPS1 video. To play this you need Fraps. Or enable Fraps in LAV Video decoder or FPS1 in ffdshow video decoder.

majortype: MEDIATYPE_Stream
subtype: MEDIASUBTYPE_MPEG1System
formattype: TIME_FORMAT_NONE

The format above is MPEG-1. Try enabling the internal MPEG PS/TS/PVA source filter in Media Player Classic. See Options -> Internal Filters.

The types above usually mean that you are trying to play an incomplete AVI file or a non-standard compliant AVI file. The default AVI splitter of Windows has difficulty to handle incomplete files. Enable the internal AVI splitter in Media Player Classic. See Options -> Internal Filters.

majortype: MEDIATYPE_Audio <73647561-0000-0010-8000-00AA00389B71>
subtype: Unknown GUID Name

The format above is IMA4 audio. Enable Microsoft PCM in LAV Audio decoder or IMA ADPCM in ffdshow audio decoder.

The format above is Ogg Vorbis audio. Enable Vorbis in LAV audio decoder or ffdshow audio decoder.

You may get the above error when there is a problem with your graphics driver that prevents the use of DXVA. The solution is to disable hardware acceleration in the video decoder settings.

The format above is Indeo 5. You can enable that codec with the Codec Tweak Tool (manage VFW codecs). Or enable Indeo in LAV Video decoder.

The error above means the audio renderer is not accepting the audio input. Usually because of an unsupported or very high sample rate. It can sometimes be fixed by updating your sound driver.

Alternatively, you can enable the internal audio renderer in MPC, which is able to resample the audio to a supported value. This is needed in case of very high sample rates.
Options > Playback > Output > Audio Renderer > Internal Audio Renderer

majortype: MEDIATYPE_Audio <73647561-0000-0010-8000-00AA00389B71>
subtype: MEDIASUBTYPE_IEEE_FLOAT <00000003-0000-0010-8000-00AA00389B71>
formattype: FORMAT_WaveFormatEx

See above. Same solutions apply as for MEDIASUBTYPE_PCM.
For example .dsf files may output in a very high sample rate (e.g. 352800Hz). Using the internal audio renderer is required to play that.

You need to disable the internal audio switcher of Media Player Classic.

Options > Internal Filters > Audio Switcher

Enable the internal MPEG-2 decoder in Media Player Classic.

Options -> Internal Filters -> Transform Filters

Change the video renderer. You can do that in: Options -> Playback -> Output -> DirectShow Video

Try the different renderers until you find one that works for you. Restart the player each time you change the renderer.

Media Player Classic gives error: GetCurrentImage failed, hr = 8000ffff

The solution is to change the video renderer. A fewof the renderers are not compatible with the image saving functionality of Media Player Classic. Renderers that are not compatible are Overlay Mixer and madVR.

You can change the video renderer here: MPC Options -> Playback -> Output -> DirectShow Video.

Make sure that your DVD drive is set at the correct region, and that the region of your DVD drive matches that of the DVD.

You can edit the region settings of your DVD drive here: Start -> Settings -> Control Panel -> System -> Hardware -> Device Manager -> DVD/CD-ROM drives

This may happen in 32-bit version for filetypes that are rendered using RealMedia or QuickTime framework. For example: .rm .amr .3gp

The solution is to change the name of the file so that it only contains letters and numbers. Remove all non ASCII characters.

This happens with .mov files that contain SVQ3 video, when the file is parsed by Haali Media Splitter. Frames are decoded in the wrong order.

The solution is to change the preferred splitter with the Codec Tweak Tool. The recommended (and default) splitter for .mov files is LAV Splitter.

The context menu and most of the keyboard shortcuts do not work in Direct3D mode. The only way to exit Direct3D fullscreen is to press Ctrl+C. This will also stop playback.

Media Player Classic does not properly support these types of streams. Use Windows Media Player for these files.

This can be fixed by changing the rendering method.

MPC options -> Playback -> Output

Select either the DirectX 7 or DirectX 9 mode for QuickTime and RealMedia. At least one of the two should give proper playback.

This is a ‘bug’ (or rather a limitation) in Media Player Classic when using the RealMedia framework for playback. This problem does not exist when using the DirectShow framework for playback of realMedia files.

The only way to re-activate the play button is to re-open the file.

If you want to play a video file several times, then you can find settings for doing so in MPC options. Those settings apply to all files you play.

• Change the name of the file so that it only contains letters and numbers. Remove all non ASCII characters.
• Rename the file from .rm to .rmvb

Media Player Classic options -> Player -> Formats

Scroll down to «Real Media File». Behind it you should see «RealMedia». If you see «DirectShow», then click on it and change it to «RealMedia». This is the default setting, so normally you don’t need to change anything.

It is required that the RealMedia framework is installed for playing streaming RealMedia content in MPC. Even then, there is no guarantee that it will work for all streams. Also, it only works in the 32-bit version of MPC, because the RealMedia framework is 32-bit software.

For proper playback of RealMedia streams it is recommended to use RealPlayer or VLC Player.

This may happen if you have are using madVR or Haali video renderer. Solution is to change the video renderer in MPC options.

MPC options -> Playback -> Output

This may happen if the DVD Navigation DirectShow filter from DirectX is not properly registered. Perform this command to fix it:

Start -> Run -> regsvr32 qdvd.dll

Codec Tweak Tool > Fixes > Re-register base DirectShow filters

A Pixel Shader is a graphics function that calculates effects on a per-pixel basis. A shader is basically a tiny program that is executed on your graphics card to process some graphic data. In the case of MPC, every frame of the video you play gets processed.

The requirements for the pixelshaders in MPC:

• Your graphics card must support Pixel Shaders 2.0
• You need to use a compatible video renderer: VMR-7 (renderless), VMR-9 (renderless), or EVR Custom Presenter.
• Surface setting must be set to «3D surfaces».
• It requires some DirectX components that are not included with standard Windows installation. Run the DirectX Web Installer to get the required DirectX updates.

You can find the relevant options here:
MPC Options -> Internal Filters

Source filters (aka splitters) are used for parsing files. Transform filters are decoders.

This can happen if you selected the wrong video renderer in MPC options. Aero is not compatible with the Overlay Mixer. It is recommended to use «EVR Custom Presenter» on Vista/7/8/10.

MPC-HC has a special option to disable Aero. Perhaps you have accidentally enabled that. You can find it here:
MPC-HC menu -> View -> Renderer Settings -> Presentation -> «Disable Desktop Composition»

Updating your graphics driver may solve the problem. Otherwise, you should disable DXVA hardware acceleration in the video decoder settings.

Updating your graphics driver may solve the problem. Otherwise, you should disable DXVA hardware acceleration in the video decoder settings.

Updating your graphics driver may solve the problem. Otherwise, you should disable DXVA hardware acceleration in the video decoder settings.

If MPC loads slowly, even when not playing a file, then it might be because of your anti-virus software. Solution is to put mpc-hc.exe and mpc-hc64.exe on the ingore list of your scanner.

Another known cause for slow loading of MPC is related to certain old versions of the Realtek sound driver. If your computer has a Realtek sound chip, then you should update your driver to the latest version.

If MPC loads slowly only when playing a file, then the problem might be related to your graphics driver or your sound driver. First thing to try is to update those drivers.

If that does not help, then select a different video and/or audio renderer in MPC:
Options -> Playback -> Output -> DirectShow video
Options -> Playback -> Output -> Audio Renderer

Also test with hardware acceleration disabled in the video decoder.
MPC-HC menu > Play > Filters > LAV Video Decoder > Set «hardware decoder» to «none».

In rare cases the «3D Vision» component of NVIDIA graphics driver can cause loading delays. You can test if this is the cause by renaming the following file:
C:Program Files (x86)NVIDIA Corporation3D VisionnvSCPAPI64.dll
On 32-bit systems:
C:Program FilesNVIDIA Corporation3D VisionnvSCPAPI.dll

Also restart the computer. If the above solves the problem, then it is recommended to uninstall the NVIDIA driver and then do a clean install with 3D Vision disabled/unchecked. Most people don’t even use that functionality.

Somehow the «EVR Sync» video renderer does not work properly on your system. We are not sure what exactly causes this problem.

You can solve the problem by changing the video renderer.
MPC Options -> Playback -> Output

If you want to be able to use DXVA hardware acceleration, select «EVR Custom Pres». Otherwise select «EVR».

First check if you did not accidentally enabled the audio mute button or have set the volume to 0.

Otherwise, this may fix it:
Codec Tweak Tool > Fixes > Reset Windows Audio Mixer settings for all applications

It is recommended to close MPC before putting your PC in hibernation/sleep.

Otherwise press Ctrl+E to reload the file and re-initialize playback. Also recommended:
Options > Player > Remember file position

This is a known problem with the «EVR Custom Pres.» renderer in MPC-HC if you have enabled VSync. This option is disabled by default.

A workaround is to (temporarily) disable VSync. You can do that through: View -> Renderer Settings -> VSync -> VSync. Tip: you can quickly toggle this option on/off by pressing the V button.

Another solution is to select a different video renderer in MPC-HC options. Recommended alternative renderers are: madVR, EVR Sync, EVR, and System Default.

This is a known problem with the «EVR Custom Presenter» renderer in MPC-HC in combination with the Gabest MPEG splitter.

There are several solutions/workarounds:

• Set LAV Splitter as preferred source filter for M2TS files. You can do that with the Codec Tweak Tool.
• Temporarily enable the option called «Frame Time Correction» in Media Player Classic. You can do that through: View -> Renderer Settings -> Presentation -> Frame Time Correction.
  Tip: you can toggle this option on/off by pressing the C button.
• Select a different video renderer in MPC-HC options. Recommended alternative renderers are: madVR, EVR, and System Default.

Update your graphics driver or change the video renderer: MPC options > Playback > Output.

This is usually caused by a problem with your graphics driver.

Update your graphics driver or change the video renderer in MPC options.

Since Windows Vista there are two types of file associations. Global associations and user-specific file associations. A global file association applies to all user accounts. However, each user account can override global associations with its own preferred choices.

The codec pack creates global associations. It also resets the overrides for the administrator account that was used for the installation. The preferences of other user accounts can not and should not be changed by the installer.

Each individual user can select the preferred program through the «Default Programs» applet of Windows. You can choose Media Player Classic as your preferred player there.

Codec Tweak Tool > File Associations

On older versions of Windows a different method is needed. If you are using MPC-HC from the K-Lite Codec Pack then go to the installation folder of K-Lite. If the player is named mpc-hc_nvo.exe or mpc-hc64_nvo.exe then you should right-click on that file, and in the menu that appears there should be an option to select the desired GPU. When the file is named as above, MPC-HC should also use the globally preferred GPU as set in the NVIDIA control panel.

In case the player has the standard name mpc-hc.exe or mpc-hc64.exe, then it will use the settings as defined in the application profile of NVIDIA. You can edit this profile with a tool called NVIDIA Profile Inspector.

You need to change the following option for the «Media Player Classic» profile:
«Enable application for Optimus» = SHIM_RENDERING_MODE_ENABLE (0x00000001)

Yes, that is possible. The internal audio renderer automatically adjusts pitch when you change playback rate. Then the audio will no longer sound like a chipmonk.

MPC-HC options > Playback > Output > Audio Renderer > Internal Audio Renderer

Yes, that is possible. You need to use the internal audio renderer, because the standard renderer from Windows is limited by a maximum sample rate.

MPC-HC options > Playback > Output > Audio Renderer > Internal Audio Renderer

This means that Direct3D9 is not working correctly on your system. You should be able to fix that problem by updating/re-installing your graphics driver.

In some cases it may help to first remove the current driver with Display Driver Uninstaller (DDU).

As a temporary workaround you can change the video renderer:
MPC-HC options > Playback > Output > Video Renderer > System Default

That renderer has reduced functionality. It does not support hardware accelerated decoding. It may also give lower video and subtitle quality.

This should fix that:

Discord settings > Voice & Video > disable «Use our latest technology to capture your screen»

Источник

Adblock
detector