green_fr (green_fr) wrote,
green_fr
green_fr

Pour la science № 460 — микроскоп движения

Отличная история случайного открытия. Ребята писали софт, анализирующий минимальные вариации цвета. Для того, чтобы визуально мерять пульс, например — когда кровь приливает к лицу, оно становится немного более красным. Софт простой, как две копейки, только вариации цвета настолько маленькие, что их не видно за шумом матрицы. Ребята написали усреднение по группе пикселей (сигнал складывается, шум аннулируется), и всё заработало. Они уже собрались публиковать статью, как вдруг кому-то захотелось посмотреть собственными глазами, как меняется цвет лица. Для этого они умножили на 100 каждое изменение цвета, получился такой «микроскоп изменений цвета». И в этот момент они увидели, что случайно у них получился и «микроскоп движения» — этот несложный алгоритм одновременно усиливал движения головы.
(они это объясняют тем, что движение предмета — это тоже смена цвета: цвет предмета меняется на цвет фона там, где предмет сдвинулся, например)

Ребята немного допилили алгоритм и получили софт, который позволяет увидеть пульс на руке, движение казалось бы неподвижных глаз, сделать очевидной лёгкую мимику. И всё это — достаточно простым алгоритмом, с любого видео! На их сайте есть выступление на TED, где они в частности показывают обработанные куски фильмов.

Дальше они, конечно, рассказывают, как этот микроскоп поможет детектировать вибрации мостов и всё такое. Но я вспомнил старую передачу об эмоциях. Там показывали натренированного считывать такие мелочи человека — а здесь, оказывается, не нужно даже тренироваться!

Ну и концовка статьи тоже радует. Звук — это вибрация, в том числе вибрация отражающих звук предметов. Если мы умеем видеть вибрацию — нельзя ли по ней восстановить звук? И действительно можно. Ребята снимают видео, усиливают движение, интерпретируют это движение как реакцию на звук — и восстанавливают звук. Так, что можно слышать человеческую речь, например.
Tags: future now, pour la science
Subscribe

  • Телефоны-фотоаппараты

    Я продолжаю офигевать от качества фотоаппаратов современных телефонов. Сестра прислала фоточку, а там на фоне видно звёздное небо. Мне стало…

  • Линьяно 2021

    Этим летом устроили себе «День сурка» второго порядка: после года, проведённого как один нескончаемый день, решили провести летний отпуск в точности…

  • Drôle de langue

    Как и множество других французских газет, Le Monde каждое лето запускает множество «сериалов», потому что новостей летом меньше, а страницы чем-то…

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 10 comments

  • Телефоны-фотоаппараты

    Я продолжаю офигевать от качества фотоаппаратов современных телефонов. Сестра прислала фоточку, а там на фоне видно звёздное небо. Мне стало…

  • Линьяно 2021

    Этим летом устроили себе «День сурка» второго порядка: после года, проведённого как один нескончаемый день, решили провести летний отпуск в точности…

  • Drôle de langue

    Как и множество других французских газет, Le Monde каждое лето запускает множество «сериалов», потому что новостей летом меньше, а страницы чем-то…