SoundSculpt: Интерактивная скульптура звука от Yiqi Zhao

Переосмысление творчества через синтез движения, звука и визуального искусства

Вдохновением для SoundSculpt послужило искусство ручной лепки, где прикосновение к материалу становится способом самовыражения. В проекте этот принцип переосмыслен: пользователь становится не только создателем, но и частью творческого процесса, размывая границы между автором и произведением. Интеграция пространственного аудио и визуальных эффектов создает уникальное ощущение присутствия, делая каждое взаимодействие с устройством неповторимым.

Главная особенность SoundSculpt заключается в его способности трансформировать движения пользователя в аудиовизуальный ландшафт. Используя Bose AR Frames с гиросенсорами, система фиксирует наклоны и повороты головы, а также нажатия кнопок, мгновенно преобразуя их в изменения звука и визуальных эффектов. Такой подход не только расширяет границы музыкального творчества, но и способствует эмоциональной регуляции и улучшению психоэмоционального состояния.

Технологическая реализация SoundSculpt основана на использовании XR-технологий и интеграции пространственного аудио с визуальной обработкой. Система построена на платформе Unity с использованием C#-скриптов, что обеспечивает динамическое взаимодействие в реальном времени. Модификация виртуальных «пузырей» осуществляется через сенсорные и жестовые команды, а принципы синестезии усиливают восприятие, объединяя физический и цифровой миры в едином потоке.

Исследования, проведённые в рамках проекта, показали, что использование SoundSculpt способствует более осознанному восприятию пространства, звука и движения, а также стабилизирует эмоциональное состояние пользователей. Эти результаты открывают перспективы применения устройства в арт-терапии и психиатрии, где творческая деятельность становится инструментом для улучшения эмоционального благополучия.

Создание SoundSculpt сопровождалось рядом технических и творческих вызовов, включая необходимость синхронизации аудиовизуальных эффектов с действиями пользователя в реальном времени и интеграции мультисенсорной обратной связи. Преодоление этих трудностей стало возможным благодаря итеративному тестированию и внедрению передовых XR-технологий, что позволило добиться плавного и интуитивного взаимодействия.

SoundSculpt — это не просто музыкальный инструмент, а новый способ взаимодействия с искусством, где каждый жест становится частью уникального произведения. Проект, отмеченный Iron A' Design Award в 2025 году, демонстрирует, как инновационные технологии могут преобразить привычные формы творчества и сделать их доступными для широкой аудитории.