יצירת אודיו לסרטונים באמצעות DeepMind: מהפכה בעולם הווידאו!

חברת DeepMind, מעבדת המחקר של גוגל לבינה מלאכותית, חשפה טכנולוגיה חדשנית בשם Video-to-Audio (V2A) המאפשרת יצירת פסקולים עשירים ומסונכרנים לסרטונים. הטכנולוגיה משלבת בין פיקסלים של וידאו להנחיות טקסטואליות כדי ליצור נופי צליל המתאימים לפעולה המתרחשת על המסך.

V2A יכולה להוסיף מוזיקה דרמטית, אפקטים קוליים ריאליסטיים ואפילו דיאלוגים התואמים את הטון והדמויות של הסרטון. היא גם מסוגלת ליצור פסקולים לחומרים קיימים כמו סרטים אילמים וחומרי ארכיון, מה שפותח אפשרויות יצירתיות חדשות.

חלק מרכזי ביכולות של V2A הוא האפשרות ליצור מספר בלתי מוגבל של פסקולים לכל קלט וידאו. המשתמשים יכולים להגדיר "הנחיה חיובית" כדי לכוון את האודיו לצלילים רצויים, או "הנחיה שלילית" כדי להימנע מצלילים לא רצויים. גמישות זו מאפשרת שליטה יצירתית מוגברת ואפשרות לנסות אפשרויות שונות.

• יצירת פסקולים מותאמים אישית - הטכנולוגיה מאפשרת יצירת פסקולים מותאמים אישית לסרטונים, כולל מוזיקה, אפקטים קוליים ודיאלוגים, באמצעות הנחיות טקסטואליות והפיקסלים של הווידאו . זה יכול לחסוך זמן ועלויות ביחס לתהליך המסורתי של הקלטת פסקולים.
• הגברת היצירתיות - היכולת ליצור פסקולים מגוונים ומותאמים אישית עבור כל סצנה מאפשרת ליוצרים להיות יצירתיים יותר בעיצוב החוויה הקולית של הסרטים והתוכניות שלהם .
• סנכרון אוטומטי - המערכת מסנכרנת את האודיו עם הווידאו באופן אוטומטי, מה שמפשט את תהליך העריכה ומונע טעויות של חוסר סנכרון .
• הרחבת היצע התוכן - הטכנולוגיה יכולה לסייע ביצירת תוכן חדש ומגוון, כמו סרטוני אנימציה או סרטונים קצרים, באמצעות יצירת פסקולים מותאמים אישית. היכולת לייצר פסקול לסרטים אילמים מראשית עידן הקולנוע זו חוויה מרגשת בהחלט, כמו גם הוספת צליל נגינה לדמות מנגנת על כלי כלשהו.

המערכת מתחילה בקידוד קלט הווידאו לייצוג דחוס. לאחר מכן, מודל הדיפוזיה מחלץ ומשפר את האודיו מתוך רעש אקראי, בהנחיית הקלט הוויזואלי וההנחיות הטקסטואליות. התוצאה היא אודיו מסונכרן וריאליסטי המותאם לסצנה.
 

כדי לשפר את איכות האודיו, DeepMind הוסיפה לתהליך הלמידה תיאורים מפורטים של צלילים ותעתיקי דיאלוגים שנוצרו על ידי AI. כך המערכת למדה לשייך אירועי אודיו ספציפיים לסצנות ויזואליות שונות, ולהגיב למידע שסופק בתיאורים ובתעתיקים (רק זה לבדו מטורף!).

לטכנולוגיית V2A יש מספר יתרונות ייחודיים. היא מסוגלת להבין פיקסלים גולמיים ללא צורך בהנחיות טקסטואליות, וגם אינה דורשת יישור ידני של האודיו עם הווידאו. עם זאת, יש גם מגבלות - איכות האודיו תלויה באיכות הווידאו, וקיימים אתגרים בסנכרון שפתיים לדיאלוגים.

DeepMind ממשיכה לשפר את הטכנולוגיה ולבצע הערכות בטיחות, ומתכוונת להטביע סימני מים בתוכן שנוצר על ידי V2A כדי למנוע שימוש לרעה. התוצאות הראשונות מראות שזוהי גישה מבטיחה להחיות סרטונים שקטים. במהירות שבה בינה מלאכותית מתקדמת מעכשיו, הכלי הזה יהיה מעל כל דימיון בעוד שנה.

מדריך קצר למשתמש

1. העלאת וידאו: העלה את הווידאו שברצונך להוסיף לו פסקול.
2. הוספת הנחיות טקסטואליות: הוסף הנחיות טקסטואליות המתארות את סוג האודיו שברצונך ליצור (אופציונלי).
3. יצירת אודיו: המערכת תשתמש בפיקסלים של הווידאו ובהנחיות הטקסטואליות כדי ליצור אודיו מסונכרן.
4. בחירת פסקול: בחר את הפסקול המתאים ביותר מתוך מספר אפשרויות שנוצרו.

[הכלי יפתח לציבור ממש בקרוב]