פנטומימה מוסיקלית ופיסול בצליל
קומפוזיציה מוזיקלית בזמן אמיתי מבוססת עקיבה אחר צבע ותנועה
המאמר פורסם בכתב העת - באקדמיה

ד"ר כהן שי
המחלקה למוזיקה
אוניברסיטת בר-אילן

אני ניגנתי את המחשב מדוע לא?

 כאשר שואלים, באיזה כלי נגינה זה נוגן? חלק מהמוזיקאים העובדים בסביבות עבודה ממחשבות עונים באופן ספונטאני; "אני ניגנתי את המחשב מדוע לא?" השאלה הבאה היא "ובאיזה תוכנה השתמשת?" שכן מרבית המבצעים, בעידן ה"פוסט-דיגיטאלי"[1], הפנימו את סביבת העבודה שלהם, מסתפקים בהיצע האפשרויות שהפלטפורמה המסחרית נותנת ודרכה מוצאים ביטוי לרעיונותיהם המוזיקליים. לעומת זאת, העבר מלמד שמוזיקה מתחדשת היא תוצאה של טכניקות חדישות מתחום הקומפוזיציה והכלי. התפתחות כלי הנגינה הביאה לצמיחה מוזיקלית ולמחוזות חדשים לא מוכרים. דוגמא טובה לכך היא הקשר בין מנעד ויכולות כלי התזמורת בתחילת העידן הקלאסי (1750), המעבר להומופוניה והתרחקות מהפוליפוניה הבארוקית.

בפני מתכנני כלי הנגינה המנצלים את החידושים הטכנולוגיים עומדות שאלות שונות. מהו הנכס החיוני של כלי הנגינה המסורתיים ומה היא התכונה שעליה אי אפשר לוותר? מה החיסרון או ההתיישנות בכלים אלו? ומה מביא כלי הנגינה הממוחשב לביצוע המוזיקלי וכיצד הוא מגדיר אותו מחדש? ברוב המקרים, המטרה היא שדרוג הדיאלוג הנוצר בין המבצע והכלי, שהרי כלי נגינה ממוחשב מסוגל לקבל כמיליון החלטות בשנייה, דבר ההופך אותו ל-
[2]Intelligent instruments המאפשר נגינת מוסיקה ברמה קומפוזיטורית.

ההפרדה בין מה שהכלי מפיק (output) והשליטה בו (input) מקובלת בשפת ה- Midi. בשפה זו אין קשר ישיר בין המכניזם הצלילי ויחידת השליטה. הפרדה זו מקבלת ביטוי משמעותי יותר בשפות תכנות מוסיקליות גראפיות כדוגמת תוכנת Max/Msp. לפלטפורמה תכנותית זו שני אופני פעולה:  מצב עריכה (edit-mode) בו עומד המוסיקאי בפני שאלות קומפוזיטוריות, עיצוב, תכנות ומיפוי כלומר (output), ומצב הפעלה (run-time-mode) בו המלחין-מאלתר-מבצע ומתמודד עם ההתוויה הקומפוזיטורית (input) בזמן אמת.אינטגרציה בין כלי הנגינה והקומפוזיציה מקבלת משמעות יתרה בעקבות ערעור מערכות היחסים בין מלחין-מבצע-קהל והתחדשות תהליכי היצור המוזיקליים שאנו עדים להם.

 התחדשות תהליכי הייצור המוזיקלי

 בעידן "הפוסט-דיגיטאלי" הצורך בשיתוף פעולה של היוצר עם הנגנים הצטמצם. טכניקות ממוחשבות ליצירת צלילים ודגימות מסוגלות להחליף את האנסמבל המבצע. עמוד התווים מפנה את מקומו למחשב נייד היכול להכיל טכנולוגיה המסוגלת לנתח את האובייקט ולייצר אותו מחדש (physical modeling) באופן משכנע למדי. האם גריעת הנגן המבצע מתהליך הייצור המוזיקלי יוצרת ניוון? שהרי הנגן הוא חוליה פרשנית משמעותית בציר מלחין-מבצע-קהל.

בעדין הגלובליזציה, לחלק מהיוצרים אין נמען מוכר אליו הם פונים. מקובלת הפרקטיקה של הפקת מוזיקה באולפני ההקלטות, אותם חללים חשוכים ומבודדים המופרדים בקירות ומחוברים על ידי טכנולוגיות, כאשר המוזיקאים מנגנים כלפי מיקרופונים וללא קהל. הצליל אינו מותאם על ידי קשר ותגובה בין מבצע-למבצע או מבצע וקהל אלא על ידי טכנאי הקול שברוב המקרים יעבה, יוסיף ויחדד את החומר המוקלט. שיתופי פעולה מוזיקליים ברשת האינטרנט מרחיבים את התפיסה האולפנית הסטנדרטית, אך מותירים את המבצעים אנונימיים ברוב המקרים[3]. אתרים כדוגמת MySpace ודומיהם יוצרים קהילה ווירטואלית של יוצרים ומאזינים.

הקלטה ותהליכי
Post Production מסוגלים לדמות הופעה חיה. ביצוע חי ניתן לניתוח,לשחזור ולסימולציה בבחינת דגימת החלל, ההחזרים, ותחום ההיענות שלו (קונבולוציה). המיקרופון הופך להיות שלוחה של האוזן, ולכן מעוות ומשנה את התפיסה החושית ומייצר אסתטיקות חדשות. נגינה, הקלטה ועריכה הופכים לתהליכים המונחים גם על ידי צפייה ממוקדת במסך המחשב. הסאונד יכול להקיף את האוזן באופן מלאכותי ולקחת את המאזין, באמצעות הרמקולים, לסביבות אחרות ווירטואליות.

אין צורך בכישורים מוזיקליים. מכונות תופים וסמפלרים מחליפים את המבצעים. פראזות, צלילים וג'סטות "יוצאות דופן" מאוחסנות בבנקים לכל דורש. הנדיר, האתני, והפופולארי בהישג יד. נגנים מפורסמים "מוכרים את עצמם" כדגימה, כלומר הפרשנות האישית התחלפה בבנק של אפשרויות[4]. האם היעילות ומהירות התפעול של בנק הצלילים הולכת כנגד היצירתיות הצלילית הדורשת מאמץ? האם עץ, נשיפה, ממבראנות וכלי קשת ייעלמו ויחד איתם 400 שנות יצירה?

כיום אין קשר ישיר בין מורכבות הפרטיטורה, תכונות כלי הנגינה ויכולות הביצוע. כל אחד יכול להפיק סאונד, האם זה בבחינת ביטול הקטגוריות פסנתרן, כנר, חצוצרן...? נכון להיום אנו עדים להתפוררות הקשר ווקאלי/אינסטרומנטאלי. גם השירה יכולה להיות מופקת מדגימות קנויות. האם מדובר באובדן הקשר בין היכולות הגופניות של המבצע והצליל. האם הדגימה מורידה את המבצע האליטיסטי (הגאון) אל "פשוטי העם"? האם אינך צריך לקחת שיעורי פסנתר, אינך צריך להתאמן כל יום, אינך צריך לחשוף שום חלק ממך למאזין, ואם המאזין מופיע הוא אינו שופט את הביצוע שלך?

פנטומימה מוזיקלית או תיאטרון אילם

 שאלות אלו ואחרות הובילו אותי ליצירת פרויקט המשלב את תהליכי הביצוע עם המחשבה הקומפוזיטורית. על-ידי עקיבה אחר צבע ותנועה ועל-ידי מיפוי שלהם בזמן אמתי דרך רשת האינטרנט נוצרת קומפוזיציה מוזיקלית מקורית. הפרויקט הוצג במסגרת ועידת חבר הנאמנים של אוניברסיטת בר-אילן ביוני 2008 כחלק מתצוגה רחבה של המסלול לטכנולוגיות מוזיקליות והמחלקה למוזיקה.

את הפרויקט בניתי בסביבת עבודה מונחת אובייקטים [5]Max/Msp/Jitter ובשימוש בתכנות בשפת JAVA. סביבת העבודה של הפרויקט מורכבת משני מחשבים ניידים המחוברים זה לזה בתקשורת אינטרנטית אשר מיוצגים בעזרת מסכי פלאזמה גדולים. מחשב אחד מתפקד כחיישן ואליו מחוברת מצלמת ווידאו דיגיטאלית, והשני מפענח את הנתונים וממפה אותם לקומפוזיציה מוזיקלית. הנגן-המבצע חובש כפפות צבעוניות על ידיו ומפנה בכל פעם צד אחר של היד כלפי המצלמה. לאחר זיהוי ראשוני של הצבע על ידי המחשב הראשון, מתבצעת עקיבה אחר תנועות הידיים בצירים X-Y המאפשרת ציור קווים על מסך LCD בהתאמה. תנועות אלו משודרות דרך האינטרנט למחשב השני המפענח את הצבע והתנועה ומתרגם אותם ליצירה מוזיקלית.

יצרתי שלוש יחידות עצמאיות המפענחות את הנתונים באופן שונה. היחידה הבסיסית דימתה את התנועות באוויר לפריטה על נבל ותרגמה תנועה בציר אחד לגובה ובשני לעוצמה, עקרון המזכיר את הכלי האגדי טרמין[6]. בניגוד לרציפות הצליל בטרמין, ביחידה זו חולק המרחב המצולם לחלקים שווים, ועל- ידי חצייה של כל חלק הושמע צליל בהתאמה. הצלילים המנוגנים הוצגו על ידי תווים ועל ידי קוביות צבעוניות מסודרות בקווינטות בדומה למשחק הזיכרון סופר סימון. ניתן היה לשנות את סוג הצליל המושמע על ידי החלפת צבע פתאומית באמצעות אחת הכפפות.

היחידה השנייה כללה את מאפייני היחידה הראשונה ונוסף לה אלמנט רפיטטיבי המאפשר ביצוע חוזר ונשנה של תבניות רתמיות ופרמוטציה שלהן.

היחידה שלישית והמורכבת יותר שאפה לתרגם את הפנטומימה והג'סטות הגופניות לקומפוזיציה מוזיקלית משמעותית הכוללת נרטיב מובנה ומאפשרת למבצע להפוך למלחין ולכלי להפוך ליצירה. יחידה זו כללה 4 רכיבים שונים: סינתזה צלילית הכוללת 16 מתנדים המסודרים בתדירויות שונות בהתאם לסקאלת הצלילים העליים המרכיבים את הספקטרום. יחס העוצמות ביניהן נשלט על ידי תרגום שינויי המיקום וזווית כף  היד. 16 מרכיבי הצליל פוזרו בפנוראמה מרחבית באמצעות ארבעה רמקולים אשר הקיפו את השומעים והגיבו לתנועת הצבע האדום. רכיב שני כלל יחידה שבחרה באופן רנדומאלי פראזות מוזיקליות שהוקלטו מראש על-ידי צ'לו, חליל וקלרנית ואוחסנו במאגר מידע בדיסק הקשיח של המחשב. זיהוי הצבע הכחול ושינויי התנועה השפיעו על איכויות המסננים דרכם הושמעו הפראזות. הנגן המבצע שלט ברגע כניסת הפראזה מה שאפשר לו ליצור קאנון אינסופי של מנגינות שמקורן זהה. רכיב שלישי בקומפוזיציה היה מורכב מארבעה כדורים ווירטואליים שהחלו לנוע בחלל מסך ה- LCD בזיהוי הצבע הירוק. כאשר הכדורים פגעו זה בזה או בדפנות המסך נשמע צליל פעמונים שהצטבר לאקורד רב צלילי. נוצר קשר ישיר בין מיקום הצליל במרחב המושמע והווירטואלי. הרכיב הרביעי כלל טקסט מוקרא על ידי יוסי בנאי מתוך פואמה של נתן אלתרמן "שיר לאשת נעורים". הטריגר להפעלת פראזות טקסטואליות אלו היה הצבע הלבן. הפראזות הושמעו באופן רנדומאלי כך שבכל ביצוע נוצרו הקשרי טקסט ומוסיקה חדשים. יחידה הכוללת אלגוריתם תהודה מיקמה את הפראזות בכל השמעה במרחק אחר מהמאזין ויצרה כמעין תחושה שהקול בוקע מחוץ לרמקולים.ביחידה השלישית ניתן היה לראות את התווים של הפראזות המנוגנות ואת המילים של הפואמה האלתרמנית בהתאמה.              

  אפשרויות עתידיות

הפרויקט, כחלק ממיצג, זנח את אולם הקונצרטים כאכסניה אולטימטיבית לשמיעת מוזיקה. בראייה עתידית ניתן ליצור חללים ייעודיים המאפשרים חוויה אודיו-וויזואלית אינטראקטיבית. ההפרדה בין מערכות הבקרה למערכות ההשמעה, כפי שבאו לידי ביטוי בפרויקט, מאפשרת באמצעות תקשורת האינטרנט להתמקם במקומות שונים בעולם, ובו-זמנית ליצור יצירה שלמה אחת.  חציית הגבול בין דיסציפלינות אומנותיות שונות על-ידי שימושים טכנולוגים יכולה להוביל ליצירת שפה, כזו שלא תבטל את הקודמות אלא תעמוד מנגד כשם שהקולנוע הכיל את הדרמה, הטלביזיה את הקולנוע והדגימה את הביצוע המוזיקלי. אלמנטים פסיכולוגיים, פיזיולוגיים, הנדסת אנוש ואינטראקציות משתמש מחשב (HCI) יובילו לשדרוג האפשרויות הביצועיות. טכנולוגיות המידע ישמשו עצמן ככלי ביטוי אומנותי.[7]   


[1] http://incident.net/users/gregory/wordpress/21-sound-of-failure-experimental-music-in-a-post-digital-era-australia/    על משקל פוסט-מודרניזם

[2] http://people.finearts.uvic.ca/~aschloss/Articles/INTERFACEarticle.html

[3] http://drumsforyou.com/  אתר בו צוות הפקה מקליט את המוזיקה שלך עם כלים אקוסטיים

[4] http://www.studioprofiles.com/  אתר המציע דגימות של המבצעים הטובים ביותר בתחום

[5] http://cycling74.com/

[6] http://www.thereminworld.com

[7] http://www.medienkunstnetz.de/mediaartnet/