Бар-Іланський університет (Ізраїль) повідомив про прорив у сфері відеообробки: команда кафедри інформатики розробила інноваційний метод, який дозволяє відокремлювати об’єкти від фону у відео без тривалого навчання чи оптимізації.
Нова технологія отримала назву OmnimatteZero і була презентована на конференції SIGGRAPH Asia. Автори розробки – доктор Двір Самуель та професор Галь Чехчик (старший директор з досліджень AI у компанії NVIDIA). Дослідження опубліковане на платформі arXiv.
Чим особливий метод OmnimatteZero?
На відміну від класичних алгоритмів, які потребують мільйонів позначених прикладів та колосальних обчислювальних ресурсів, OmnimatteZero працює майже без навчання.
Система здатна відокремлювати об’єкти разом із найдрібнішими деталями:
- хутро й волосся,
- листя й дим,
- тіні, віддзеркалення та відбиття у воді.
Метод дозволяє працювати з відео в реальному часі, тоді як сучасні технології часто витрачають хвилини навіть на кілька секунд обробки.
«Візуальний компостинг» для творчих індустрій
OmnimatteZero функціонує як система візуального компостингу – дає можливість «переробляти» контент.
Наприклад:
- лебедя у водоймі можна вирізати разом із його відображенням і перенести в інший пейзаж;
- озеро без лебедя стане чистим фоном для нового відео з природними відбиттями та рухом води.
Це відкриває нові можливості для відеоредакторів, дизайнерів, креаторів контенту, рекламних агентств та дослідників штучного інтелекту.
Як це працює?
- Замість дорогого supervised learning використовується image-completion для статичних зображень, розширене модулями відстеження руху та змін у часі.
- Вбудований self-attention дозволяє виявляти об’єкти та їх сліди без навчання.
- Для роботи потрібна лише вже існуюча відеогенеративна модель (наприклад, WAN чи VEO3).
Наступний крок – робота зі звуком
Доктор Самуель анонсував новий напрям досліджень: синхронізація аудіо.
«Якщо ми видаляємо собаку з відео, то й гавкіт не повинен залишатися у фоні», – пояснив він.
Міжнародна співпраця
Проєкт реалізований спільно з науковцями Єврейського університету та дослідницького центру OriginAI Research Center в Ізраїлі. Уже кілька університетських команд світу працюють над удосконаленням OmnimatteZero, щоб зробити його доступним навіть для редагування відео на смартфонах.
