【フレーム補完】Practical-RIFEで動画のFPSを向上させる

Practical-RIFEを使うと動画のFPSを上げることができます。

GitHub

GitHub - hzwer/Practical-RIFE: More practical frame interpolation approach. More practical frame interpolation approach. Contribute to hzwer/Practical-RIFE development by creating an account on GitHub.

使い方

下記をclone

GitHub

GitHub - hzwer/Practical-RIFE: More practical frame interpolation approach. More practical frame interpolation approach. Contribute to hzwer/Practical-RIFE development by creating an account on GitHub.

Trained Modelよりモデルをダウンロード後、カレントにダウンロードしたファイルのtrain_logを直オキしてください。

その後VENVでrequirements.txtをインストール。

あとはコマンド実行。

Run
You can use our demo video or your video.

python3 inference_video.py --multi=2 --video=video.mp4 
(generate video_2X_xxfps.mp4)

python3 inference_video.py --multi=4 --video=video.mp4
(for 4X interpolation)

python3 inference_video.py --multi=2 --video=video.mp4 --scale=0.5
(If your video has high resolution, such as 4K, we recommend set --scale=0.5 (default 1.0))

python3 inference_video.py --multi=4 --img=input/

結果

上がもと、下が変換後です。かなり自然に補完できているなーといったイメージです。

まとめ

AIで生成した動画はfpsが低い場合が多いので、このようなフレーム補完をしてあげると品質が向上するのではないかと思いました。動画生成AIの発展にはこちらの分野も必要かなと思うので余力ができたらファインチューニングなどしてみたいとは思います。GPUが空かないけどね・・・