Virtual ANS: способ напечатать звук на бумаге. Рисованный звук: из прошлого в будущее

КАК НАРИСОВАТЬ ЗВУК МОРОЗА
Прогулка с Юрием НОРШТЕЙНОМ по выставке «Сказка сказок» В Музее личных коллекций ГМИИ имени А.С. Пушкина открылась выставка «Сказка сказок». Работы Юрия Норштейна и жены Мастера Франчески Ярбусовой - одного из талантливейших художников анимации, рисовавшей фильмы «Лиса и заяц», «Цапля и журавль», «Ежик в тумане», «Сказка сказок», «Шинель».
Выставка не похожа на другие. Композиция ее рукотворна. В ней попытка передать воздух, ткань, лекала, по которым кроится и шьется анимация. Выставка похожа на фильм. В буквальном смысле «наглядное пособие» произрастания из «сора» космоса кино. Рядом с сотнями эскизов, коллажей, набросков - макеты из «Ежика в тумане», «Шинели», «Сказки сказок», вещи и фотографии, испод-тишка проникающие в мир картин Норштейна - Ярбусовой. В мир мастерской. В мир их жизни.
Тут же экран - все фильмы Норштейна плюс 20 минут «Шинели» и последняя работа - «Зимний день», одушевленные стихи мудрого Басе.

С егодня вечером будет вернисаж, много гостей. А пока мы бродим с Юрием Борисовичем по гулким залам Музея частных собраний.
Юрин детский этюд: соседская бабушка Варвара Никитична ворочает кочергой угли в печи. Он отыщет его спустя эпоху и отдаст Франческе: «Вот суть нашего дома в Марьиной Роще». Кто не знает, Марьина Роща - родина «Сказки сказок», фильма-автобиографии Юрия Норштейна, а также всей страны. Адрес родины: № 37 Шестого проезда Марьиной Рощи.
Тут же эскиз конца 50-х - «Вороны на заснеженном дереве. Картон, масло». Дерево в белых перьях и черные вороны. Через 20 лет они разрастутся эпизодом «Зима». Вспомните: на зимней скамейке - пара одиноких людей и чуть в стороне мальчишка с яблоком. Грустно, по-мандельштамовски просто: «И яблоком хрустит саней морозный звук». Обязательно спрошу у Франчески, как режиссер объяснял ей задачу «нарисовать морозный звук»?
Рядом - старинный патефон на покосившейся табуретке. На старой пластинке читаю: «Расставание» - это то самое щемящее «Утомленное солнце». Норштейн поясняет: «Мало кто знает автора этой темы Ежи Петербургского». Помните, пары танцуют под светом тусклой лампочки. Партнеров, как в тире, выбивают невидимые пули, они в плащпалатках исчезают за горизонтом войны. Вот они, на пластинке «Расставание», пока еще не убитые фигурки из картона - под крошечным столбом с тлеющим светом.
Это только на первый взгляд фильмы Норштейна разные. Их внутреннее родство - чрезвычайное. Просто от картины к картине переворачиваются песочные часы исповеди, в которой судьба и искусство пересыпаются друг в друга.
Золотисто-охровый «Лиса и заяц», выполненный в традициях народной живописи на прялках, история глубоко личная. Не про то, что у страха глаза велики, - про оскорбленное невинное существо. И «Журавль и цапля», истекающий дождем и печалью, и «Ежик…», плывущий в облаках туманных снов и страхов на огромной Рыбе-фантазии, и Акакий Акакиевич с больным криком: «За что вы меня обижаете?». За внешней несобытийностью - грандиозная чувственность, движение со скоростью 24 микрособытия в секунду. Когда движение ресниц превращается в извержение вулкана, вспоминаешь Варбурга: «Господь Бог живет в деталях». Все крупно, сверхважно и просто. Каждая «нота» изображения связана с другой. Как в баховской прелюдии, звучащей в «Сказке…».
Загадочная Франческа во всех этих фильмах есть. Но ее вроде и нет. Не появляется на фестивалях, премьерах, анимационных тусовках. Младые скептики сомневаются: а существует ли на самом деле божественно одаренная Франческа? Или Мастер ее выдумал?

Норштейн: Существует. В абсолютной реальности. Мало кто может представить себе, насколько реальна ее жизнь. Как рационально подчас мыслит, но совершенно особым образом. Ее рациональность способна воспариться…
- Почему же она совсем исчезла, живет за городом, не появляется…
- С 74-го мы снимали дачу, дети были маленькие. 45 км от Москвы. Франя всегда мечтала жить за городом. Купить домик, не бывать в Москве. По сути, ее образ жизни деревенский. Заболеет собака, коза, птица - местные жители немедленно бегут к ней. Она интуитивно знает, чувствует: что и как нужно делать. В доме, который я называю домиком дедушки Тыквы - потому что потолок там 2,20, - она живет вместе с собакой. Я к ним езжу.
- В кого раньше влюбились: в юную Франческу или в ее работы?
- Чувство не разложить рационально. Конечно, меня удивляло, как она наизусть могла нарисовать всю флору-фауну. Собаку, лягушку, мотылька - это она знает абсолютно, как Леонардо. Меня изумило, как волшебно точно рисовала она лес для фильма «Пойди туда - не знаю куда». Но более всего поражен был тем, насколько не похожей ни на кого другого она была. Абсолютная естественность, никакого жеманства. Она сохранила свою органичность и по сей день. Я и не предполагал, что буду с ней работать. Вообще подумывал бежать из мультипликации.
- В работе не утомляли друг друга? Ведь люди и в семейной жизни устают…
- Конечно, уставали, естественно…
- С трудом представляю, как она выдерживала натиск вашего перфекционизма.
- Требую точности не буквалистской, а вот такой (показывает эскиз-автопортрет Франчески, на котором Мать кормит младенца. - Л.М.). Этой темноты, густых сумерек. Не настаиваю, чтобы она восстановила точно складки платья. Хотя по степени достоверности она фору любому Шилову даст. Но вот видите, ведь этот кадр мог стать сладким, «сопливым»…
- Напротив, в его крупности - внутренняя сила, брутальность.
- Правильно. Я показывал ей «Ночь» Микеланджело из усыпальницы Медичи, чтобы лишить изображение флера внешнего романтизма. Возвышенна не прекрасная лицом, а та, что спасает ребенка. Франческа обладает качеством улавливать внутренние созвучия. Ее случайный рисунок мог стать вдруг основой всей работы. Ее существование - на грани между рациональным и иррациональным, чувственным и трезво практическим. О мире она знает больше меня. При том, что бывают конфликтные ситуации, все равно она мне доверяет.
- Всегда? Неужели не случалось «бунта на корабле» и ваше «художественное продолжение» не возражало вам, не решалось сделать по-своему?
- Случалось. Например, однажды она сказала: «Нет, эскиз «Вечеринки», на которую пригласили Акакия Акакиевича, сделаю по-своему». Смотрю, спрашиваю: «Франя, ты «Фаталиста» лермонтовского читала?». - «Да». - «Это классическая, драматическая иллюстрация к «Фаталисту». При чем тут «Вечеринка»?». Она медленно входит в работу, но, когда входит, мне уже ничего не надо объяснять, она сделает больше того, что я могу предположить.
- А ваша авторитарность… Не закрывает ли она зоны фантазии самостоятельного дарования Франчески?
- Не авторитарность. Если ветка дерева захочет быть самостоятельным деревом и вырастет - ветка погибнет, а может и дерево рухнуть.
- Все работы здесь - практически неделимое целое. Можно ли увидеть личные открытия Франчески?
- Вот панорама из «Сказки…» «Колыбельная в лесу». Словами как ее объяснишь? Слева Волчок с колыбелькой под кустом. Потом крупный лист. Справа - яблоко. А по существу иначе. Слева - Вифлеем. Это яблоко напомнит о живописи Честнякова: огромное яблоко на возу. Лист должен быть одновременно громадным, ни в каких пропорциях с пространством, и реальным. И нести черты космические. Видите, она это сделала. Не думайте, что я давлю. По-настоящему она тогда работает, когда у нее все пальцы в краске. Тогда у эскизов колорит удивительный. Вот полевые цветы. Она знает их досконально. Назовите цветок, Франческа нарисует его подробнейшим образом. Она лучше всех знает, где какие травы искать. А вот эту картину с улетающими в небо подожженными домами она повторила только что к выставке. Потом сказала: «Знаешь, у меня дрожали руки, когда ее делала».
- Важно, что вы - сверстники с общим послевоенным детством. Для меня та, старая, Марьина Роща если и существует, то только благодаря вашей «Сказке…»
- Детство Франческа провела на пустырях, тянувшихся от Беговой аж до Серебряного Бора. Там цветы, чертополох и лебеда пробивались сквозь ржавое железо, горы строительного мусора.

Ф ранческа видит и рисует совсем иначе, чем другие мультхудожники. Она пользуется раствором жизненных впечатлений, но с помощью кисти (по завету Блока) «расчищает горизонты от беспорядочной груды ничтожных фактов». Это ее папа, крупный ученый, научил смотреть на мир необыкновенно: Альфред Ярбус занимался физикой зрения.
Однажды Франческа заставила пережить Ю.Б. потрясение, показав рождение бабочки. Во дворе был крапивный куст, усеянный гусеницами. Франческа сказала: «Смотри, сейчас из этой куколки появится бабочка». Космическое зрелище. Как она угадывала миг таинства? Потом могла предсказать каждое движение новорожденной бабочки с еще сморщенными крыльями. В детстве она выводила бабочек, выращивала дубовых шелкопрядов.
Вот откуда у нее это ощущение плазмы внутри кинокадра, когда экран почти физически начинает струиться светом, набухать осенней сыростью.
Норштейн: Она обладает для меня непостижимой способностью придавать рисунку летучесть, он просто излетает с листка. Изображение неловкое, пахучее, пряное, все живое. Нарисовать подобное абстрактное, сделать живым, драматически насыщенным всегда труднее, чем срисовать кусок натуры.
Мы бродим с Ю.Б. по пустынной выставке, а над нашими головами трепещут письма, простертые под полотком, шевелятся от движения проходящих. Самые настоящие письма с фронта. Треугольнички, обрывки бумаги, истрепанные конверты.
Норштейн: Часть писем мне дала моя подруга Люся Дергачева: папины письма к маме. Он уже летел в Москву после Победы. В Киеве остановился, начался приступ аппендицита, и умер в августе 45-го.
Для Норштейна страшно важно, чтобы письма были настоящие. Некоторые из них написаны крупным почерком. Это подружке Юры, девочке Доре Милехиной с верхнего этажа, папа писал с фронта. Крупно и аккуратно, чтобы дочка могла прочесть. В фильме над страной распростерта похоронка, на ней - настоящее имя, Милехин.
Вот сама Дора на групповом детском фото около дома в Марьиной Роще. Все девочки с потрепанными куклами. А вот те же дети на эскизе Франчески для эпизода «Похороны птицы».
Тема войны для обоих - глубоко личная. Интимная. Прожитая. Он - 41-года рождения, она - 42-го. Они из одной «детской».
Добираемся до воссозданного рабочего стола в мастерской. На нем привычный художественный тарарам: калоша, натуральная резиновая.
Норштейн: Важно видеть, как она морщится при ходьбе. Калоши-то со времени Акакия Акакиевича почти не изменились.
Фотография Януша Корчака, Франчески - совсем гимназической девушки лет восемнадцати. Тут же фото внуков, Чаплина, Баталова. Акварель, на которой художник Федотов в сумасшедшем доме. Фото согбенного, уставшего Шаламова. И удивительное лицо, изрезанное морщинами.
Норштейн: Я вырезал из «Новой газеты». Об этом старике писала Эльвира Горюхина. Его зовут Заурбек. Только жизнью может настолько уплотниться лицо, стать выразительным. Он ветеран войны, пошел к террористам, и они так его долбанули… На Востоке это невозможное оскорбление. Он остался человеком…
Неподалеку от Заурбека из белого конверта «выходят» сотни Акакиев Акакиевичей - это фазы движения героя. Он побредет себе по фантасмагорическому Невскому, который выстроен тут же… уходит, нет, кажется, выламывается из стены - секрет перспективы.
Появляется Франческа. Ей дарят желтую охапку цветов. Она в цветы прячется, среди толпы ей неуютно. Хочется обратно в «домик дедушки Тыквы» в поселок под Красной Пахрой. Спрашиваю: не скучно там одной?
Франческа: Нисколько. Работаю. Вот новые эскизы для выставки делала. Зимой надо сбросить с крыши снег. Почистить дорожки. Собаку выгулять. (Интересно, знает ли она о трактатах своего тезки Петрарки «Об уединенной жизни», в которых одинокая жизнь в Валькьюза описывается, восхваляется, противопоставляется шумному, хаотичному Авиньону.)
- В связи с выставкой вы вновь окунулись в жизнь давних фильмов.
- Я и не выныривала. Во мне все это сидит. Не делится на части.
- Как можно нарисовать морозный звук, запах темно-синего?
- Не знаю. Надо все это чувствовать. Знать. Любить с детства. Когда мы вернулись из эвакуации в Москву, моими первыми игрушками были карандаши и бумага. Рисовать я научилась раньше, чем ходить.
- А если вы предлагаете какое-то решение, есть надежда и воля пробить его сквозь режиссерскую броню?
- Подспудно - да. «Норштейн» можно перевести как «северный камень». А я - как та вода, что потихоньку камень… не знаю уж, насколько точу. Конечно, сопротивление большое. А насчет того, принимает или нет… Мы приходили к общему решению. Ведь он знает, что в нем клокочет. Чего он хочет. Важно это услышать. Режиссер видит всю ткань фильма. Мы, слава богу, не один пуд соли съели. Теперь настолько все переплелось, что трудно понять, где Юрино, где - мое. Но мне кажется, что Юра и должен превалировать. У него вожжи режиссерские в руках.
- Смотрю на эскизы, фрагменты ваших фильмов и теряю ощущение границы между жизнью и экраном. Вот рождение ребенка. Вашего ребенка. Смерть близкого человека. Соседи. Экран все впитывает.
- Так случилось, что мы почти одного возраста. Прошлое общее. Время. Детство. Кровь этого детства питала… Нам было легче понять друг друга.
- Какая из работ вспоминается наиболее радостно?
- Радость? Больше вспоминаются мучения. Самый легкий фильм «Цапля и журавль». Откуда все берется? Так… пролетело что-то сверху.
- Отчего девочку, рожденную в 42-м во время эвакуации в Алма-Ате, назвали Франческа?
- Так папа захотел. Прислал маме письмо с фронта, в нем написал имя.
- Он вернулся?
- Да.


Р ядом две немолодые женщины замерли у эскизов «Сказки сказок»: «Похоже-то как!» - «Нет, тот дом соседний, вот наш, 36-й». Все верно. Здесь побеги творчества, наития произрастают на древе жизни.
Посетители липнут к макетам-аквариумам. В них бьется жизнь фильмов, признанных лучшими в мире. За Ежиком, тонущим в тумане, маячит огромный ореол Совы. «Как это сделано?» - спрашиваю хитроумного 10-летнего спутника. Обычно в кармане у него припрятаны мгновенные ответы на любые вопросы. Неужели догадается о стеклянных слоях, припорошенных краской? «Тут все понятно! - восклицает поколение Симпсонов. - Просто они сильно надышали в стеклянную коробку, потом быстро-крепко ее закрыли». Ну конечно, надышали. Как сразу не догадалась, когда смотрела фильм. Вот отчего экранный туман обладал магнетизмом ползущих по оттаявшему стеклу капель. И страхи Ежика: летучие мыши, Сова, Улитка - обрастали нешуточной взрослой боязнью огромного чужого мира.

P.S. Выставка «Сказка сказок» продлится до конца весны. А потом… Куда денутся эти «аквариумы» с ежиками, волчками и туманами? Макеты, панорамы… Слушайте, рядом с ГМИИ вознеслись настоящие дворцы - галереи Глазунова, Шилова. Неужели для Норштейна и его знаменитых на весь мир учеников так и не найдется какого-нибудь небольшого «домика дедушки Тыквы»?

Лариса МАЛЮКОВА, обозреватель «Новой»

18.04.2004

Как связать звуковую и визуальную информацию? Этим вопросом часто задаются ученые и любители со всего света. Так, в феврале 2006 года новость о том, что ученым удалось воспроизвести звуки с глиняного горшка возрастом более 6500 лет, быстро разлетелась по всему интернету.

Гончар, якобы, нанес музыкальный ритм на горшок при его изготовлении. К сожалению, это оказалось неудачной первоапрельской шуткой бельгийского телевидения.

Однако Патрику Фистеру (Patrick Feaster) удалось обработать запись, возраст которой превышает 1000 лет. По этому поводу в мае 2011 года он выступил на конференции ассоциации ARSC (Association for Recorded Sound Collections) с открытием «палеоспектрофонии».

Погружение в историю: расшифровка записей прошлого

Патрик использует современные технологии (в данном случае – не особенно современные, так как спектрограмму изобрели достаточно давно) для того, чтобы преобразовать визуальные объекты в звуковые. Однако человечество не всегда шло этим путем и пыталось, наоборот, «запечатлеть» звук в образах.

Долгое время (до создания фонографа Томасом Эдисоном) людей волновал вопрос: как придумать такой способ фиксации музыки, который помог бы смотрящему на запись воспроизводить мелодию у себя в голове так же легко, как это делают профессиональные музыканты, глядя на партитуру. К сожалению, по мнению доктора Фистера, такая задача недостижима в принципе, поскольку наш мозг в большинстве случаев недостаточно хорош в преобразовании визуальной информации в звуковую.

Возможно, решение этой задачи в прошлом и не увенчалось успехом, однако история оставила нам множество свидетельств того, как люди в разные эпохи пытались создать подобные системы записи звука. Самая известная из этих систем легла в основу фоноавтографа – предшественника фонографа, изобретенного французом Эдуаром Мартенвилем. Фоноавтограф представлял собой устройство, в котором звук проходил через конус, заставляя вибрировать мембрану, соединенную с иглой. Игла же, в свою очередь, рисовала волнообразные линии на стеклянном цилиндре, покрытом закопченной бумагой.

С помощью фоноавтографа звук можно было запечатлеть, однако не было никакой возможности его воспроизвести. Это задачу и решил Фистер. В 2008 году он, его коллеги, а также аудиоэксперт Дэвид Джованнони (David Giovannoni) собрались в Национальной Лаборатории Лоуренса в Беркли, чтобы расшифровать одну из наиболее хорошо сохранившихся фоноавтограмм Мартенвиля.

В Лаборатории Лоуренса разрабатывались технологии извлечения звуков с высококачественных фотографий, на которых были запечатлены образы хрупких восковых носителей или сломанных дисков. Воспользовавшись данными технологиями, ученые получили с фоноавтограммы запись песенки «Лунный свет» («Au Clair de la Lune»), сделанную в 1860 году. Считается, что это первая запись, на которой различим человеческий голос.

Однако решения этой задачи Фистеру оказалось недостаточно: впоследствии он не только зафиксировал звук с более чем 50 фоноавтограмм, но и исследовал более ранние попытки «записи звука». В этом ученому, как ни странно, помог сервис Google Books. Используя его, Фистер записывал символы из книг, которые постоянно игнорировались, считаясь историческими причудами.

Самую старую волнообразную линию он нашел в книге 1806 года. Посредством других техник ему удалось расшифровать мелодию 1677 года, которая была записана множеством точек. Еще одна была обнаружена в записях 10 века, где линиями было показано, в какой тональности следует петь. Примеры таких записей можно найти на его сайте Phonozoic .

Другой подход

По другому пути идут исследователи из MIT, Microsoft и Adobe: они реконструируют звук по движущейся (а точнее, вибрирующей) картинке. Исследователи разработали алгоритм получения аудиосигнала из вибраций, записанных на видео.

В одном из таких экспериментов им удалось извлечь разборчивую речь с записи пустого пакета из под чипсов. В ряде других экспериментов то же удалось проделать с поверхностью алюминиевой фольги, бокалом с водой и даже с листьями домашнего растения. В 2014 году команда презентовала свои достижения на ежегодной конференции SIGGRAPH.

Видео с выступления одного из исследователей, работавших над проектом, на конференции TED

Дело в том, что когда звук соприкасается с объектом, он заставляет его вибрировать. Движения, созданные этими вибрациями, настолько незначительны и незаметны, что человек не может их увидеть. Однако их может «увидеть» камера: для извлечения аудиосигнала из видео, ученые использовали видеозапись с частотой захвата кадров выше, чем частота аудиосигнала.

Изначально в экспериментах применялись камеры с частотой съемки 2000 и 6000 кадров в секунду, однако исследователи пробовали использовать и другие, более бюджетные камеры. Конечно, из записанного видео с частотой съемки 60 кадров в секунду не удавалось извлечь членораздельную речь, но все же представлялось возможным понять, сколько человек находилось в помещении, их пол и даже особенности их произношения.

Конечно, при мысли об использовании таких разработок, в голову приходят «шпионские истории», однако сами исследователи называют свой проект возможностью открыть новые грани в изображении предметов и изучить их ранее неисследованные свойства. И если сотни лет назад люди пытались придумать способ «записи звука», то теперь такая «запись» становится побочным эффектом, который, в свою очередь, помогает раскрыть новые свойства привычных объектов.

Сделай сам

Как уже говорилось, первую фоноавтограмму удалось расшифровать благодаря технологии воспроизведения звука по фотографиям старых пластинок (об этой технологии мы уже писали в одном из наших материалов – в нем же приводятся и ссылки на расшифрованные аудиозаписи). Однако Патрик Фистер подчеркивает, что с этой задачей может справиться любой желающий – если знает, что делать.

Программа последовательно конвертирует каждый блок изображения (ширина блока – 1 пиксель) в аудиосэмпл. К сожалению, это ПО не поддерживает даже Windows 7 (автор использует для работы отдельный компьютер с Windows 98). В качестве альтернативы Фистер предлагает использовать программу AEO-Light, но предупреждает, что сам не до конца знаком с тонкостями работы с ней.

Последний этап – регулирование скорости воспроизведения. Тут на помощь приходит простая математика. Для начала нужно узнать скорость воспроизведения на оригинальной пластинке, длину одного оборота оцифрованной волны (после «деспирализации») в пикселях и частоту дискретизации конечного файла.

Если изображение было отредактировано в аудиофайл с частотой дискретизации 44.1 кГц, то это означает, что секунда аудиофайла будет равна 44 100 пикселям изображения. Если, к примеру, скорость песни на виниловой пластинке была равна 50 оборотам в минуту, а после оцифровки и деспирализации один оборот пластинки занял 30 000 пикселей, мы получаем 1 500 000 пикселей в минуту (50х30 000).

Если поделить это количество на 60, мы получим количество пикселей в секунду (1 500 000/60 = 25 000). Делим частоту дискретизации на количество пикселей в секунду (44 100/25 000 = 1.764). Полученное число умножаем на длину аудиофайла (время проигрывания песни) и получаем время, с которым изначально был записан этот файл. Если скорость воспроизведения оригинальной записи неизвестна, Патрик советует подобрать итоговую скорость на слух.

Патрик Фистер предупреждает – это довольно кропотливый труд, который требует времени и терпения, но при этом дает порой удивительные результаты: особенно когда дело касается голосов прошлого, которые, казалось бы, были навсегда утеряны.

Творческому человеку всегда интересны смелые эксперименты, открывающие новые горизонты и возможности. Фантастическая идея - рисовать музыку, создавать неповторимые картины, воплощающие графику и звук, уходит корнями в начало XX века. В этой статье я расскажу об истории вопроса, а также о двух своих разработках, позволяющих делать удивительное - записывать и воспроизводить звуки в графическом виде.

Предыстория

В 1904 году французский изобретатель Юджин Августин Ласт представил прототип системы оптической записи звука на кинопленку, а в 1911 устроил, возможно, первый в истории показ фильма с использованием новой техники. Началась эра заката немого кино и революционных открытий в области синтетического звука - впервые удалось получить простой, удобный и очень наглядный способ управления аудиоинформацией.

В конце 1920-х годов при работе над одним из первых советских звуковых фильмов преимущества подобной техники отметили композитор Арсений Авраамов, конструктор Евгений Шолпо и режиссер-аниматор Михаил Цехановский. Логическая цепочка выстраивалась следующая: если мы ясно видим дорожку с записанной звуковой волной - значит, мы можем эту же волну создать искусственно, просто нарисовав ее от руки. А что, если поместить туда орнамент, сложное сочетание узоров или примитивов евклидовой геометрии? Насколько фантастичным будет результат? Ведь таким образом можно нарисовать совершенно уникальный, не существующий в природе звук, а музыку можно писать без реальных инструментов, микрофонов и исполнителей.

Несколько лабораторий вскоре занялись изучением этих вопросов. И в результате появились синтезаторы оптической фонограммы: «Вариофон» Евгения Шолпо, «Виброэкспонатор» Бориса Янковского, машина Николая Воинова для разметки «гребенок» из бумаги - базовых фрагментов синтезируемого звука. На слух все это очень напоминало современную 8-битную музыку, но с большей степенью свободы: любые формы колебаний, неограниченная полифония, самые невообразимые ритмические рисунки. Вы только вдумайтесь - оптический синтезатор, музыкальный компьютер в тридцатые годы прошлого столетия! Но это только цветочки. Мысль советских инженеров пошла дальше.

В отличие от своих коллег акустик Борис Янковский одним из первых осознал, что для создания сложных, приближенных к живым звуков недостаточно описания одной только формы колебаний. Важнейшая часть акустической информации - это спектр, четко определяющий частотный состав звука, его окраску, по которой мы даем такие субъективные определения, как яркий, теплый, металлический, похожий на человеческий голос и так далее.

Янковский начал структурировать базовые графики спектра в своего рода «таблицу Менделеева» звуковых элементов, параллельно разрабатывая алгоритмы их обработки и гибридизации для получения новых звуков на базе «спектростандартов». К сожалению, перемены в стране и война не дали Янковскому довести работу до логического завершения.

Тему продолжил его знакомый, молодой изобретатель Евгений Мурзин, впечатленный наработками в области «графического звука» и задумавший грандиозный проект - универсальную фотоэлектронную машину, способную синтезировать любой звук, любой музыкальный строй методом рисования спектрограммы (зависимость спектра от времени) на специальном холсте без отвлекающих операций вроде проявки и сушки пленки. Это упростило бы кропотливую работу композитора, предоставив небывалую свободу для творчества.

Буквально на коленке, трудясь вечерами в комнате двухэтажного барака, Мурзин закончил рабочую модель аппарата в 1958 году. Аппарат весил больше тонны и внешне имел мало общего с музыкальным инструментом в классическом понимании. Изобретение было названо «АНС» в честь композитора Александра Николаевича Скрябина. Несмотря на внешний вид, АНС стал мировой сенсацией, опередив свое время на десятилетия и очень удачно вписавшись в период космической эйфории со своим неповторимым атмосферным звучанием.

АНС чем-то напоминает современный сканер, только двигается в нем не сканирующая полоска, а сама поверхность с изображением - большая стеклянная пластина (партитура), покрытая непрозрачной краской. Краска в нужных местах снимается тонким резцом, образуя рисунок спектрограммы музыкального произведения. Партитура плавно передвигается, проходя над отверстием, из которого идет прерывистый «модулированный» луч света от оптико-механического генератора чистых звуковых тонов на базе пяти специальных дисков оптической фонограммы. Часть света проходит через прозрачные области партитуры, после чего фокусируется на набор фотоэлементов, с которых выходит готовый к воспроизведению звук в форме колебаний электрического тока.

Сердце АНСа - это упомянутый диск с рисунком из 144 дорожек (как на грампластинке), прозрачность которых изменяется по синусоиде с определенной частотой. Разница по частоте между соседними дорожками - 1/72 октавы. Таким образом, один диск содержит две октавы, а октава делится на 72 чистых тона - Мурзин считал классическую 12-тоновую темперацию существенным ограничением. По сути, каждый диск - это оптическая реализация алгоритма преобразования Фурье, лежащего в основе многих современных программных синтезаторов и эффектов. Это в порядке вещей сейчас, во времена гигагерц и гигабайт, но 50 лет назад было просто невероятно - спектральный синтезатор, способный играть 720 чистых тонов одновременно! Недаром АНС считается первым в мире многоголосным музыкальным синтезатором.

Если ты думаешь, что никогда не слышал звуки АНСа раньше, то, скорее всего, ошибаешься. Вспомни хотя бы фильмы Андрея Тарковского «Солярис», «Зеркало», «Сталкер», завораживающие волшебной музыкой Эдуарда Артемьева. Или сцену ночного кошмара из комедии Леонида Гайдая «Бриллиантовая рука». Стоит отметить, что карьера самого Артемьева как композитора-электронщика началась именно со знакомства с АНСом и его создателем в 1960 году. Кроме Артемьева, с инструментом успели поработать Альфред Шнитке, Эдисон Денисов, София Губайдулина, Станислав Крейчи, а звуки АНСа в разное время использовали в своей музыке такие группы, как Coil и Bad Sector.

К сожалению, до наших дней дошел лишь один экземпляр синтезатора АНС, изготовленный промышленно в конце 1963 года. Находится он в Москве в Государственном музее музыкальной культуры имени Глинки. Несмотря на непростую судьбу, аппарат по сей день в рабочем состоянии и время от времени играет для посетителей музея под чутким присмотром Станислава Крейчи. Для тех же, кто далеко от Москвы или просто хотел бы поэкспериментировать со звучанием АНСа у себя дома, существует программный симулятор под названием Virtual ANS.

Virtual ANS: графический редактор

Разработка Virtual ANS ведется автором данной статьи с 2007 года. Цель программы - максимально воссоздать ключевые особенности, атмосферу железного АНСа, расширив при этом оригинальную идею с учетом богатых возможностей современных компьютеров. Из основных отличий:

• программа кросс-платформенная (Windows, Linux, OS X, iOS, Android), что позволяет наслаждаться работой с инструментом где угодно и на чем угодно: начиная от дешевого телефона и заканчивая мощным студийным компьютером;
• количество базовых генераторов чистых тонов теперь ограничено лишь фантазией пользователя и скоростью центрального процессора;
• появилась возможность обратного преобразования из звука в спектр.

Virtual ANS - графический редактор с классическим набором инструментов: примитивы, кисти, слои, эффекты, загрузка/сохранение PNG, GIF, JPEG. Но картина, которую ты увидишь на экране, есть на самом деле партитура музыкального произведения (она же сонограмма или спектрограмма), которую в любой момент можно послушать или слушать и рисовать одновременно. Партитура раскладывает композицию на «звуковые атомы» - неделимые кусочки чистых тонов (синусоидальных колебаний). По горизонтали - ось времени X (слева направо). По вертикали - высота тона Y (снизу вверх от басов к высоким частотам). Яркость отдельного пикселя - это громкость чистого тона с частотой Y в момент времени X. Изображение спектра по вертикали делится на октавы, октава - на 12 полутонов, полутон - на еще более маленькие еле уловимые на слух микротоны, для точного описания любого музыкального строя, любого самого немыслимого тембра. Если на партитуре АНС провести горизонтальную линию толщиной в один пиксель, то мы услышим единственную синусоиду с постоянной частотой. Чем толще линия - тем больше чистых тонов будет входить в ее состав, тем сложнее будет звук, и тем сильнее звучание будет приближаться к белому шуму, насыщенному обертонами всех частот слышимого диапазона. Сочетание таких линий с другими фигурами разной яркости дает неожиданные и интересные звуковые вариации.

В процессе работы над Virtual ANS появилась любопытная мысль. Фрагмент аудиофайла или, скажем, запись голоса с микрофона можно преобразовать в партитуру АНС, то есть в спектрограмму - картинку с закодированным в ней звуком. И звук этот можно с легкостью воспроизвести обратно при помощи той же самой программы. Возникает естественное желание распечатать картинку спектра на принтере и получить бумажную копию своего голоса или музыки.

Именно для этих целей был задуман PhonoPaper - еще один проект, наследующий идеи звуковых революционеров прошлого столетия. Что же такое PhonoPaper?

1. Формат изображения, в котором закодирован звук. От спектрограммы АНС этот код отличается только тем, что сверху и снизу появились специальные маркеры, по которым считывающее устройство точно определяет границы блока со спектром.
2. Приложение-сканер для чтения PhonoPaper-кодов в реальном времени при помощи камеры.
3. Приложение-рекордер для конвертации 10 секунд звука в PhonoPaper-код. Хотя для более точного управления преобразованием лучше всего использовать описанный выше Virtual ANS.

PhonoPaper-код можно назвать аналоговым, так как в его составе нет цифровой информации, а сам он может быть записан на любой доступной поверхности (бумага, пластик, дерево). По этой причине для него некритичны разного рода искажения: при плохом освещении и измятой бумаге ты как минимум услышишь «очертания» оригинального послания. Для прослушивания кода не требуется выход в сеть - вся необходимая информация хранится непосредственно на картинке, а проигрывание начинается мгновенно после попадания в поле зрения камеры. При этом, как и в синтезаторе АНС Мурзина, пользователь сам контролирует скорость и направление игры, сканируя звуковой код вручную (хотя имеется и автоматический режим).

Есть ли практический смысл? Представь себе: звуковые подсказки в детских книжках или учебниках; кусок новой песни на диске или рекламном плакате группы; аудиометки на товарах; секретные послания на стенах зданий; звуковые открытки и разного рода арт-эксперименты. Это имело бы смысл при наличии очень простого способа чтения таких изображений. Ведь его нужно сфотографировать, загрузить в программу и безошибочно указать границы спектра, базовую частоту и количество октав.

Инструкция по применению

1. Установи приложение PhonoPaper на iPhone или Android-смартфон.

1. Запусти приложение.
2. Наведи на каждую фонограмму.

Вместо заключения

Как видим, очередной виток спирали возвращает нас назад к истокам. И это естественно, ведь мир сегодня перенасыщен скрытыми от человека процессами обработки информации и все сильнее погружается в виртуальное пространство, оцифрованное, закодированное и упакованное. Музыкальные инструменты прячут свою природу, их нельзя потрогать или заглянуть под крышку, чтобы прикоснуться к волшебству рождения нового звука, ощутить его энергию. Рисование музыки на «атомарном» уровне и перенос этого процесса в реальный мир - несомненно, большой шаг к сокращению расстояния между композитором и воплощением его творческих замыслов. Одновременно с этим создание музыки становится доступным для любителей и представителей смежных видов искусств, мы больше не ограничены жесткими рамками и правилами, а нотная грамота отныне лишь дополнение. Берем ручку, бумагу и начинаем творить новый шедевр.

В конце 20-х годов XX века начинает неспешным монофоническим шагом идти по планете звуковое кино. Кинематографисты «старой школы» говорят о потере выразительности и о том, что только в немом кино игра актеров имеет наибольший смысл.

Помимо кинематографистов, принявших изобретение звукового кино и начавших развиваться в рамках новых условий, были и те, кто опередил своё время и за неимением продвинутых технологий попытался создать вещи, в рамках научно-технического прогресса реализованные намного позже.

«Рисованный звук». Технология, разработанная группой энтузиастов в 30-х годах XX века, задолго до изобретения секвенсоров и синтезаторов. Она позволяла методом искусственного создания графики звуковых дорожек на кинопленке синтезировать любые звуки, эффекты, записывать сложные полифонические произведения.

Композитор Арсений Авраамов, конструктор Евгений Шолпо и режиссер-аниматор Михаил Цехановский в процессе работы над одним из первых советских звуковых фильмов «Пятилетка. План Великих работ» пришли к идее техники рисованного звука. Когда были проявлены первые ролики пленки, Цехановский, восхищаясь красотой узоров звуковой дорожки, высказал идею: «Интересно, если заснять на эту дорожку египетский или древнегреческий орнамент - не зазвучит ли вдруг неведомая нам доселе архаическая музыка?» Грубо говоря, идея «рисованного звука» развилась из простого человеческого любопытства. Это произошло в октябре 1929 года.

Созданные вскоре лаборатории стали первыми в мире прообразами будущих исследовательских центров компьютерной музыки. В основном, создавалась прикладная киномузыка, результатом работы было озвучивание фильмов. Наиболее известны работы Евгения Шолпо, изобретателя инструмента «Вариофон», композитора и исследователя Арсения Авраамова, занимавшегося проблемами ультрахроматической музыки, и Николая Воинова, создавшего «Нивотон». В домагнитофонную эру, в рамках техники рисованного звука, эти исследователи попытались создать технологию, которая традиционно считается высшим достижением компьютерной музыкальной технологии 90-х годов ХХ века.

Основное назначение технологии «рисованного звука» - синтез звуков, расширяющих звучание обычных оркестровых инструментов, а так же создание «гибридных» звуков, звучание которых невозможно воспроизвести обычными инструментами. Поначалу, теоретическая база технологии развивалась большим коллективом, собирались, если так можно выразиться, банки графических «семплов»: производились расчеты, согласно которым чертежниками создавались графические копии реальных звуков, из большого количества реально записанных и переведенных на целлулоид звуков вычленялись нужные.

Впоследствии команда разделилась, что позволило технологии идти несколькими путями.

Евгений Шолпо. «Вариофон»

Электрооптический синтезатор «Вариофон» был изобретен Евгением Шолпо во время его работы в Центральной лаборатории проводной связи в Ленинграде. В 1930 году Шолпо патентует принцип работы инструмента. Новый прибор позволяет синтезировать искусственные звуковые дорожки в технике автоматизированного «бумажного звука». Первая деревянная версия инструмента была построена в 1931 году при участии композитора Георгия Римского-Корсакова (внука композитора Николая Римского-Корсакова). Деревянные части инструмента были связанны бечевкой, скреплены шурупами и настраивались с помощью специальных веревок. Тем не менее, в сравнении с поздними версиями инструмента, первая модель обеспечивала наилучшее качество и сложность синтезированного звука. Вариофон допускал произвольное изменение высоты тона, возможности получения глиссандо, вибрато, оттенков, изменения силы звука, построения многоголосных аккордов (до 12 одновременно звучащих голосов).

В инструменте использованы вращающиеся диски с вырезанными зубцами формы звуковой волны (трансверсальный контур), периодически прерывающие луч света, формирующий очертания звуковой дорожки. Съемка производится непосредственно на движущуюся пленку с помощью специальной трансмиссии, передающей вращение электромотора, приводящего в движение контур, к механизму, протягивающему пленку. К сожалению, «Вариофон» был уничтожен во время бомбардировки блокадного Ленинграда.

Несмотря на звучание, напоминающее современную восьмибитную музыку, у Вариофона было одно фундаментальное отличие – ритм. Технология Шолпо позволяла моделировать самые тонкие ритмические нюансы живого исполнения - Rubato, Rallentando, Accelerando.

«А ну-ка, песню нам пропой, весёлый ветер…» Исаака Дунаевского, синтезировано на Вариофоне

«Полёт Валькирий» Вагнера, синтезировано на Вариофоне

Арсений Авраамов. «Орнаментальный звук»

Техника орнаментального звука разработана Арсением Авраамовым в 1929-1930 годах. Искусственные звуковые дорожки, впервые продемонстрированные Авраамовым в 1930 году, основаны на геометрических профилях и орнаментах (иллюстрация вверху поста) , полученных чисто чертежными методами, с последующим покадровым фотографированием на анимационном станке. Осенью 1930 года в Москве Арсений Авраамов создает лабораторию «Мультзвук». Над первыми орнаментальными звуковыми дорожками работали: оператор Николай Желинский, аниматор Николай Воинов и акустик Борис Янковский, отвечавший за перевод музыкальных партитур в микротоновую систему Welttonsystem Авраамова. К середине 1933 года группой Авраамова было заснято более 1800 метров кинопленки. Около половины материала составляли музыкальные отрывки с новыми обер-унтер-тоновыми гармониями. Осенью 1931 года группа переехала в НИКФИ - Научно-исследовательский кинофотоинститут и была переименована в лабораторию «Синтонфильм». В декабре 1932 года НИКФИ проводит сокращение штатов, и лаборатория переезжает в Межрабпомфильм, где в 1934 году ее окончательно закрывают как не оправдавшую себя экономически. Архив лаборатории (около 2000 метров пленки) хранился на квартире Арсения Авраамова, где и погиб в 1936-1937 годах во время длительного пребывания хозяина в Кабардино-Балкарии (сыновья Авраамова использовали горючую нитропленку как топливо для самодельных ракет и дымовых завес), все, что осталось от архива - на иллюстрации справа.

Борис Янковский. Синтоны и «Виброэкспонатор»

В 1932 году, разочаровавшись в технике орнаментального звука, Борис Янковский покидает группу Авраамова «Мультзвук» и создает собственную лабораторию. Акустик Янковский, в отличие от большинства своих коллег, ясно понимает, что графический орнамент, определяющий форму звуковой волны, еще не определяет тембр. Только спектр звука, со всеми нюансами динамики переходных процессов, дает полную акустическую картину. Янковский был единственным исследователем методов спектрального анализа, декомпозиции и ресинтеза. Он верил в возможность создания универсальной библиотеки звуковых элементов, аналогичной таблице Менделеева. Его графические кривые - «спектростандарты» - являлись семиотическими единицами, комбинируя которые можно получить новые звуковые гибриды. В дополнение он разработал ряд способов трансформации звука, включая технику изменения продолжительности звука не меняя его высоты и технику транспонирования, основанную на разделении спектрального состава и формант, методов, аналогичных современным техникам кросс-синтеза и фазового вокодера, широко применяемых в компьютерной музыке. Для практической реализации своих работ Янковский изобрел специальный инструмент «Виброэкспонатор» (схема на иллюстрации справа) .

К сожалению, планы Янковского по разработке своего детища рушит война. После приезда из эвакуации в 1949 году он больше не возвращается к теме графического звука.

Николай Воинов. «Нивотон» и «Бумажный звук»

В 1930 году кинооператор Николай Воинов входит в состав группы Авраамова «Мультзвук» в процессе работы над первыми рисованными звуковыми дорожками. В 1931 году он покидает группу и начинает собственные исследования в области так называемого бумажного звука, основанного на синтезе звуковых дорожек методом сложения вырезанных из бумаги с помощью инструмента «Нивотон» профилей звуковых волн с последующим покадровым фотографированием фрагментов звуковой дорожки на анимационном станке. С 1931 года Воинов входит в состав группы ИВОС (Иванов, Воинов, Сазонов), создавшей целый ряд мультипликационных фильмов с синтетическими звуковыми дорожками: «Барыня» (1931), «Прелюд Рахманинова» (1932), «Танец Вороны» (1933), «Цветные поля и линии безопасности» (1934), «Вор» (1934).

В начале 1936 года Воинов уволен с фабрики Мосфильм, его лаборатория закрыта. До конца своей жизни он работал оператором студии «Союзмультфильм». В официальной биографии Воинова его экспериментальные работы 1930-х годов практически не упоминаются.

«Прелюд» Рахманинова, 1932

Объяснение принципов работы техники «бумажного звука» и демонстрация мультфильма «Танец вороны», 1933

«Вор», 1934. Кстати, в некоторых моментах напоминает вполне современный chiptune. Особенно интересны сымитированные в этой технике звуковые эффекты.

Фактически, в начале 30-х годов ХХ века советские исследователи умели сэмплировать, синтезировать звуки музыкальных инструментов, голос человека (кстати, ходили слухи, что разработчикам технологии удалось синтезировать голос Ленина), различные шумы. На основе созданных искусственно звуков синтезировались полифонические, оркестровые партитуры, озвучивались фильмы.

Стоит сказать, что позже похожие опыты с рисованными звуковыми дорожками проводили в Германии Вальтер Руттман и Оскар Фишингер, оставаясь в пределах простейшей техники работы со звуковой волной, а так же Норман МакЛарен в Канаде. Можно смело утверждать, что наши изобретатели в очередной раз оказались «впереди планеты всей».

При подготовке статьи использованы материалы лекций Александра Смирнова (

В общем, недавно я решил заглянуть на Википедию (воистину неисчерпаемый кладезь знаний), и набрёл там на определение спектрограммы . Как выяснилось и там есть чего позаимствовать на тему рисования звуком. Во-первых, это список программ, позволяющих осуществлять синтез звука из картинок. В списке известная нам очень хорошо программа Coagula (кстати, она лежит в нашем подразделе с ПО), но есть и другие, а именно:

• MetaSynth for Macintosh ;
• Coagula for Windows ;
• FL Studio "s "BeepMap" additive synthesizer.

Открытый мультиплатформенный проект демонстрирует забавные, но очень познавательные опыты. ТПрограмма позволяет превращать звук в спектральную картинку (с указанным разрешением), и наоборот, синтезировать из картинки звук (с указанными параметрами).

Ещё одни шутники - группа Plaid. В песне "3recurring" содержит в своей спектрограмме логотип.

И ещё Nine Inch Nails применяют технику упрятывания картинок в спектре треков с альбома "Year Zero".

В общем, метод этот явно пришёлся по вкусу некоторым музыкантам. В принципе, этот же метод может быть запросто использован и в качестве инструмента стеганографии.

Тема эта очень интересная и, я думаю, обнаружатся ещё многие находки, связанные с рисованием в спектре и озвучанием картинок.