近期最讓人驚艷的電影 天能 你看了嗎？ 影片中順時鐘與逆時鐘同時進行的打鬥橋段，高度還原了時間逆行的整個過程，而不是直接轉移到過去的某個時間點，實在太讓人過癮 不禁好奇導演到底怎麼拍攝 導演也堅持能不用特效就不用特效，這部片特效場景不到300個，甚至比大多數愛情片還要少 🔸逆向打鬥畫面 我們可以看到演員透過長時間練習，做到逆向武打與肢體動作 🔸飛車追逐的畫面 原始翻車畫面為正拍，但周邊的車輛的確是倒著開。於是影片在經過剪輯之後，就可以形成翻車畫面為逆行，其他車輛則正常順行，如此就可以拍攝出順時鐘與逆時鐘同時進行的吸睛畫面 但要拍攝順時鐘與逆時鐘同時進行，沒有更簡單的方法了嗎？ Google和牛津大學研究人員提出的"時間重組術"(Retiming People in Video)，他們訓練了一種深度神經網絡，學習如何將影片分圖層 相信有操作過Photoshop的人都知道，假設A圖層是父親影像，Ｂ圖層是母親影像，想要兩個兩人出現就必須把兩張圖層重疊，圖層的好處是什麼，如果其中母親燈光過暗，可以單獨把母親圖層拉出來調亮 同樣的道理也可以應用在影片中，不過調整的是時間，孩子們跳水的影片，原影片中他們是分別跳入水中，深度神經網絡調整不同圖層時間，成功的做到讓他們同一個時間點跳入水中 深度神經網絡在影片處理可以做到： 🔹調整影片部分人物的時間變慢或變快 🔹凍結時影片中部分人物的時間 🔹人物重疊，達到像是火影忍者影分身的效果 原理就是將影片中將每幀圖像分解為一組層，每個層由一個RGB彩色圖像和一個不透明遮罩（RGBA）組成 研究者不需要自己創造新的圖片或動作，他們唯一需要做只是拆開後，各組調成想要的時間，再合成一個新的影片 那你可能會問需不需要一個個去標記人事物，答案是否定的，"時間重組術"不需要手動註釋動態場景元素，例如，孩子們在水中濺起的水，陰影；模型會自主學習（self-supervised）到將與人物相關的場景分組重建，不需要額外的訓練或處理 研究人員想要創造超現實效果可以通過對層的簡單操作（可移除/複製/插入特定層/逆行/凍結）而產生 蠻有意思的研究，有興趣的朋友可以看原文喔，連結在下方 📖 References： Layered Neural Rendering for Retiming People in Video https://arxiv.org/

近期最讓人驚艷的電影 天能 你看了嗎🤗 影片中順時鐘與逆時鐘同時進行的打鬥橋段，高度還原了時間逆行的整個過程，而不是直接轉移到過去的某個時間點，實在太讓人過癮 不禁好奇導演到底怎麼拍攝 導演也堅持能不用特效就不用特效，這部片特效場景不到300個，甚至比大多數愛情片還要少 🔸逆向打鬥畫面 我們可以看到演員透過長時間練習，做到逆向武打與肢體動作 🔸飛車追逐的畫面 原始翻車畫面為正拍，但周邊的車輛的確是倒著開。於是影片在經過剪輯之後，就可以形成翻車畫面為逆行，其他車輛則正常順行，如此就可以拍攝出順時鐘與逆時鐘同時進行的吸睛畫面 但要拍攝順時鐘與逆時鐘同時進行，沒有更簡單的方法了嗎？ Google和牛津大學研究人員提出的"時間重組術"(Retiming People in Video)，他們訓練了一種深度神經網絡，學習如何將視頻分圖層。 相信有操作過Photoshop的人都知道，假設A圖層是父親影像，Ｂ圖層是母親影像，想要兩個兩人出現就必須把兩張圖層重疊，圖層的好處是什麼，如果其中母親燈光過暗，可以單獨把母親圖層拉出來調亮 同樣的道理也可以應用在影片中，不過調整的是時間，孩子們跳水的影片，原影片中他們是分別跳入水中，深度神經網絡調整不同圖層時間，成功的做到讓他們同一個時間點跳入水中 深度神經網絡在影片處理可以做到： 🔹調整影片部分人物的時間變慢或變快 🔹凍結時影片中部分人物的時間 🔹人物重疊，達到像是火影忍者影分身的效果 原理就是將影片中將每幀圖像分解為一組層，每個層由一個RGB彩色圖像和一個不透明遮罩（RGBA）組成 研究者不需要自己創造新的圖片或動作，他們唯一需要做只是拆開後，各組調成想要的時間，再合成一個新的影片 那你可能會問需不需要一個個去標記人事物，答案是否定的，"時間重組術"不需要手動註釋動態場景元素，例如，孩子們在水中濺起的水，陰影；模型會自主學習（self-supervised）到將與人物相關的場景分組重建，不需要額外的訓練或處理 研究人員想要創造超現實效果可以通過對層的簡單操作（可移除/複製/插入特定層/逆行/凍結）而產生 蠻有意思的研究，有興趣的朋友可以看原文喔，連結在下方 📖 References： Layered Neural Rendering for Retiming People in Video https://arxiv.org/pdf/2009.07833.pdf #PyTorch #Adamoptimizer #NVIDIATesla #P100 #gpu #telent #深度學習 #工程師 #coding #python #retiming @lessonsfrommovies