מטורף! שילוב של בינה מלאכותית עם פלגין, מאפשר המרת קול (וכל צליל) לכלי נגינה

להפוך את הקול שלך לכלי נגינה, או מותו של הסמפלר. AI מכה בברזל החם

עד היום, אם רצינו להמיר שירה (או כל כלי או חפץ שמפיק צליל) לכלי נגינה היינו צריכים להמיר את הקול האנושי ל-MIDI ואת הערוץ המוקלט לחבר לכלי נגינה וירטואלי ובכל מקרה זה לא היה מושלם, במגבלות המידי וכלי ההמרה.

Tone Transfer משתמש במודלים של למידת מכונה כדי להפוך צלילים לכלי נגינה המשמשים במגוון סגנונות, מבארוק ועד ג'אז. כן, להפוך ציוץ ציפור לחליל, או קטע צ'לו לסולו סקסופון וגם קול של אדם.
המרת הצלילים מאפשרת טרנספורמציות כאלה באמצעות טכניקת ML חדשה בשם Differentiable Digital Signal Processing, או DDSP.

מאז שנות ה-70 המוקדמות, סינתיסייזרים ניסו ליצור מחדש כלי נגינה אך לעתים קרובות בסופו של דבר הם נשמעים לא מציאותיים. כלים מודרניים הקלו קצת, וזאת באמצעות דגימה מרובה של תווי כלי נגינה באיכות גבוהה, מה שדורש כמות בלתי הגיונית של דגימות, וזאת רק עבור כלי בודד.



Tone Transfer משתמש ב-ML כדי ללמוד ישירות את הטון של כלי נגינה. הטכנולוגיה יכולה לחלץ קשרים בין גובה הצליל, הטון והווליום מכמויות קטנות מאוד של נתונים, וליצור מודל סינתטוז אודיו, אקספרסיבי, באיכות גבוהה כמו של כלי הנגינה המקורי. הדגם גמיש וכמובן ניתן לשלוט בו עם פרמטרים של גובה הצליל ועוצמת הקול. 
 

ליצור מוזיקה בלתי אפשרית

הנגנים ביניכם לבטח שואלים אם הוא מטפל בנואנסים ואקטיקולציות וגם רעשי לוואי מקוריים, המאפיינים מאוד כל כלי נגינה. ובכן, המודלים של Tone Transfer מסוגלים להפיק פרטי ביצוע של כלי נגינה, כמו רעשי קשת על מיתר, נקישת שסתומים בכלי נשיפה וכן הלאה.

לכו על זה