AudioCraft - כלי AI גנרטיבי לאודיו ומוזיקה מחברת מטא
Monday, 04-09-23, 00:00, ACT ::: ::: נושא: AI בינה מלאכותית @ 211006
מאפשר ליצור בקלות אודיו ומוזיקה באיכות גבוהה... מטקסט. עולם ה-SFX בשוק!
תארו לעצמכם מוזיקאי מקצועי המסוגל לגלות יצירות חדשות מבלי לנגן אף תו על כלי נגינה, מפתח משחק המאכלס עולמות וירטואליים עם אפקטים קוליים מציאותיים ורעשי סביבה טבעיים, כל זאת בתקציב נמוך. או אפילו בעל עסק קטן המוסיף פסקול לפוסט האחרון שלו באינסטגרם בקלי קלות.
זו ההבטחה של AudioCraft - המערכת הפשוטה להפעלה של מטא, המייצרת אודיו ומוזיקה באיכות גבוהה ומציאותית.
AudioCraft מורכב משלושה מודלים: MusicGen, AudioGen ו-EnCodec.
MusicGen, שהוכשרה עבור המערכת עם מוזיקה בבעלות Meta וברישיון ספציפי, זאת כדי להימנע מתלונות על ׳העתקה׳ או זכויות יוצרים, מייצרת מוזיקה מהזנת משתמש מבוססת טקסט, בעוד AudioGen, שהוכשרה על אפקטים קוליים שברשות הכלל, מייצרת אודיו אף היא מהכתבת הוראה טקסטואלית.
כעת, מטא משחררת גרסה משופרת של מפענח ה-EnCodec שלה, המאפשר יצירת מוזיקה באיכות גבוהה יותר עם פחות תופעות לוואי לא רצויות, הנילוות לעיבודי AI בדרך כלל. דגם ה-AudioGen המאומן מראש, מאפשר ליצור צלילים סביבתיים ואפקטים קוליים, כמו כלב נובח, מכוניות צופרות או צעדים על רצפת עץ, לחוד ובמשולב, וכל המשקלים והקוד של דגמי AudioCraft.
המודלים זמינים למטרות מחקר וכדי לקדם את ההבנה של אנשים בתוך הטכנולוגיה. "אנו נרגשים לתת לחוקרים ולעוסקים בנישה, את הגישה כדי שיוכלו לאמן את המודלים שלהם עם מערכי הנתונים הספציפיים שלהם ובכך ולעזור לקדם את הרעיון הטכנולוגי.״
Meta מספקת מספר דוגמאות אודיו באתר האינטרנט שלה לצרכי הערכה. התוצאות נראות תואמות את התיוג המתקדם שלהן, אך ניתן לטעון שהן אינן איכותיות מספיק כדי להחליף אפקטים מסחריים או מוזיקה מסחריים שהופקו באופן מקצועי, אבל זו התחלה ממש ממש טובה.
AudioCraft עובד עבור מוזיקה, סאונד, דחיסת אודיו יעילה ויצירה - הכל באותו מקום. מכיוון שקל לבנות עליו ולהשתמש בו מחדש, אנשים שרוצים לבנות מחוללי סאונד טובים יותר, אלגוריתמי דחיסה או מחוללי מוזיקה, יכולים לעשות הכל באותו גרעין קוד או להתבסס על מה שאחרים עשו. חברות תוכנה ויוצרי פלגינים - לכו על זה!
כנסו לכאן לדוגמאות יצירה של אודיו בתצורות שונות ומשולבות, כדי להעריך את היכולות המדהימות.
הכותב: ראובן מנשרוף, מייסד ועורך אקט מוסיקלי ומומחה אודיו בעל 45 שנות ניסיון.
