green_fr (green_fr) wrote,
green_fr
green_fr

Pour la science № 460 — микроскоп движения

Отличная история случайного открытия. Ребята писали софт, анализирующий минимальные вариации цвета. Для того, чтобы визуально мерять пульс, например — когда кровь приливает к лицу, оно становится немного более красным. Софт простой, как две копейки, только вариации цвета настолько маленькие, что их не видно за шумом матрицы. Ребята написали усреднение по группе пикселей (сигнал складывается, шум аннулируется), и всё заработало. Они уже собрались публиковать статью, как вдруг кому-то захотелось посмотреть собственными глазами, как меняется цвет лица. Для этого они умножили на 100 каждое изменение цвета, получился такой «микроскоп изменений цвета». И в этот момент они увидели, что случайно у них получился и «микроскоп движения» — этот несложный алгоритм одновременно усиливал движения головы.
(они это объясняют тем, что движение предмета — это тоже смена цвета: цвет предмета меняется на цвет фона там, где предмет сдвинулся, например)

Ребята немного допилили алгоритм и получили софт, который позволяет увидеть пульс на руке, движение казалось бы неподвижных глаз, сделать очевидной лёгкую мимику. И всё это — достаточно простым алгоритмом, с любого видео! На их сайте есть выступление на TED, где они в частности показывают обработанные куски фильмов.

Дальше они, конечно, рассказывают, как этот микроскоп поможет детектировать вибрации мостов и всё такое. Но я вспомнил старую передачу об эмоциях. Там показывали натренированного считывать такие мелочи человека — а здесь, оказывается, не нужно даже тренироваться!

Ну и концовка статьи тоже радует. Звук — это вибрация, в том числе вибрация отражающих звук предметов. Если мы умеем видеть вибрацию — нельзя ли по ней восстановить звук? И действительно можно. Ребята снимают видео, усиливают движение, интерпретируют это движение как реакцию на звук — и восстанавливают звук. Так, что можно слышать человеческую речь, например.
Tags: future now, pour la science
Subscribe

  • Кино

    Набралось ещё какое-то количество понравившихся за год фильмов и мультиков. Долин в каком-то из своих подкастов посоветовал Могилу светлячков —…

  • Colline d'Élancourt

    В местном журнале (бесплатная «муниципальная» пресса, нам приходит один журнал с новостями нашего города Guyancourt, и ещё один с новостями нашей…

  • Дом "Жемчуг" в Ташкенте

    А ещё, когда читал книжку про популяционную генетику, встретил описание удивительного здания в Ташкенте. Жилой дом, построенный ещё при СССР, с чуть…

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 10 comments

  • Кино

    Набралось ещё какое-то количество понравившихся за год фильмов и мультиков. Долин в каком-то из своих подкастов посоветовал Могилу светлячков —…

  • Colline d'Élancourt

    В местном журнале (бесплатная «муниципальная» пресса, нам приходит один журнал с новостями нашего города Guyancourt, и ещё один с новостями нашей…

  • Дом "Жемчуг" в Ташкенте

    А ещё, когда читал книжку про популяционную генетику, встретил описание удивительного здания в Ташкенте. Жилой дом, построенный ещё при СССР, с чуть…