Categories
最新消息

用Python讓蒙娜麗莎笑得更奔放


今天逛github的時候意外發現一個庫https://github.com/AliaksandrSiarohin/first-order-model,它訓練了一些模型可以讓靜態圖根據一個動態視頻動起來,靜態圖成為Source Image,動態圖稱為Driving Window。

用Python讓蒙娜麗莎笑得更奔放

我們按照文章中的指示自己製作一個這樣的視頻。首先Clone這個倉庫到本地,安裝相關依賴。

pip install -r requirements.txt自己錄製一段視頻,我這邊錄製了一個笑臉,使用的mp4格式,目前沒測試其他格式是否可行。將該視頻拷貝到倉庫目錄下。該倉庫提供了一個預處理文件用於處理視頻,首先需要在虛擬環境下安裝face-alignment。

git clone https://github.com/1adrianb/face-alignmentcd face-alignmentpip install -r requirements.txtpython setup.py install然後安裝ffmpeg。

brew install ffmpeg使用腳本對視頻進行預處理。

python crop-video.py –inp video.mp4 –cpu該命令並不會直接處理視頻,而是輸出一個ffmpeg命令,將該命令直接執行即可處理視頻。

ffmpeg -i video.mp4 -ss 0.0 -t 9.1 -filter:v “crop=1023:943:238:0, scale=256:256” crop.mp4下面,我們按照倉庫中的鏈接,下載模型至項目的checkpoints目錄下。

用Python讓蒙娜麗莎笑得更奔放

用Python讓蒙娜麗莎笑得更奔放

靜態圖片也放在倉庫目錄下。

用Python讓蒙娜麗莎笑得更奔放

最後運行命令即可生成動態視頻,其中crop.mp4是上一步我們預處理的視頻,image.jpg是我們的靜態圖片,我這邊使用的模型是vox-cpk,你也可以嘗試使用別的模型。

python demo.py –config config/vox-256.yaml –driving_video crop.mp4 –source_image image.jpg –checkpoint checkpoints/vox-cpk.pth.tar –relative –adapt_scale –cpu最後效果如下:

用Python讓蒙娜麗莎笑得更奔放

用Python讓蒙娜麗莎笑得更奔放

果然還是微笑比較好。。。

Python學習交流群

為了讓大家更加即時地溝通學習,我們建了一個Python學習交流群,有想入群的同學,可以添加下面小助手微信,他會拉大家入群哈~