ועכשיו - מוידאו לסאונד. ThinkSound - יצירת סאונד לווידאו בעזרת בינה מלאכותית

ThinkSound פותח על ידי מעבדות Tongyi של Alibaba והוא מבוסס על עקרון Chain-of-Thought (CoT) – שרשרת מחשבה לוגית שמאפשרת לאינטליגנציה המלאכותית להבין את ההתרחשויות בסרטון, לנתח אותן שלב אחר שלב, ולבנות תסריט סאונד מדויק התואם את הדינמיקה החזותית, האקוסטית והטמפורלית של הווידאו.

עד היום, מערכות אודיו מבוססות AI יכלו לסנכרן פעולות – לדוגמה, להכניס רעש של טריקת דלת כשהיא נסגרת.

אבל ThinkSound עושה הרבה יותר מזה: היא מבינה את ההקשר – את סוג החדר, את רמת המתח בסצנה, את כיוון המצלמה, אפילו את רגש הדמויות – ומשלבת את כל זה בפסקול ייחודי ומדויק.

לדוגמה, אם דמות רצה בלילה בגשם בעיר, ThinkSound תדע להוסיף לא רק צעדים וגשם – אלא גם את האפקטים שיבטאו תחושת פחד, בדידות או לחץ, בזמן אמת.

שלושת שלבי העבודה המרכזיים ב-ThinkSound:

• יצירת סאונד ראשוני (Foley Generation): הפקה אוטומטית של פס-קול ראשוני, המותאם לתוכן ולרצף האירועים בווידאו.
• שכלול אינטראקטיבי על בסיס אובייקטים: המשתמש יכול לבחור אובייקט מסוים בסרטון (למשל, דמות או חפץ) ולבקש מהמערכת ליצור עבורו סאונד ייחודי או לערוך אותו.
• עריכה ממוקדת בהוראות טקסט: ניתן להנחות את המערכת בשפה טבעית – למשל, "החלש את רעש הרקע" או "הוסף קולות ציפורים", והמערכת תבצע את העריכה בהתאם להקשר החזותי והקולי.

יתרונות טכנולוגיים בולטים

1. סנכרון מדויק בין סאונד לווידאו: ThinkSound מנתחת כל פריים בווידאו ומייצרת סאונד המותאם בזמן אמת – כולל סצנות מורכבות, דיאלוגים, סביבה אורבנית או טבעית ועוד.
2. תמיכה בקלט רב-מודלי: המערכת תומכת ביצירת סאונד על בסיס וידאו, טקסט, אודיו או שילוב ביניהם – ומאפשרת שליטה יצירתית מלאה.
3. עריכה אינטראקטיבית: ניתן לבצע שינויים מדורגים, להוסיף או להסיר שכבות סאונד, ולבצע התאמות מדויקות לכל רכיב בסצנה.
4. קוד פתוח ומאגר נתונים ייחודי: ThinkSound היא מערכת קוד פתוח, וכוללת גם את AudioCoT – מאגר נתונים רחב עם תיאורי סאונד, טקסט ווידאו, שמאפשר למערכת ללמוד הקשרים מורכבים ולשפר את הביצועים לאורך זמן.

יישומים מרכזיים ליוצרי מוזיקה ואנשי אולפן

• הפקת סאונד לסרטים, סדרות ומשחקים – יצירת פסי קול ריאליסטיים במהירות ובדיוק גבוה.
• עריכת סאונד מותאמת אישית – התאמה דינמית של סאונד לכל סצנה, דמות או אובייקט.
• העשרת יצירות מוזיקליות – שילוב סאונד סביבתי, אפקטים או דיאלוגים בצורה טבעית וזורמת.
• הורדת חסמי כניסה – הכלי מאפשר גם ליוצרים ללא ניסיון טכני עמוק להפיק סאונד מקצועי.