Audiobox - כל אחד יכול לייצר סאונד באמצעות רעיון בלבד - נסו את הכלי עם הקול שלכם
Thursday, 15-02-24, 00:00, מקור: Reuven Mansharoff ::: ::: נושא: AI בינה מלאכותית @ 77581
ה-AudioBox של Meta מאפשר למשתמשים ליצור אפקטים קוליים, קולות ועוד - ישירות מהודעות טקסט, וכעת גם באמצעות הקול שלך.
Audiobox הוא מודל מחקר הבסיס החדש של מטא ליצירת אודיו. הוא יכול ליצור קולות ואפקטים קוליים באמצעות שילוב של קלט קולי והנחיות טקסט בשפה טבעית - מה שמקל על יצירת שמע מותאם אישית למגוון רחב של תרחישי שימוש.
משפחת הדגמים של Audiobox כוללת גם דגמים מיוחדים Audiobox Speech ו-Audiobox Sound, וכל דגמי Audiobox בנויים על הדגם המשותף בפיקוח עצמי Audiobox SSL.
משפחת הדגמים של Audiobox כוללת גם דגמים מיוחדים Audiobox Speech ו-Audiobox Sound, וכל דגמי Audiobox בנויים על הדגם המשותף בפיקוח עצמי Audiobox SSL.
יתכן שיעניין אותך:
הפקת אודיו מהנחיות קוליות ושפה טבעית
מוקדם יותר השנה, מטא הציגה את Voicebox, מודל AI חדשני שיכול לבצע משימות יצירת דיבור כמו עריכה, דגימה וסגנון. זו הייתה פריצת דרך בתחום הבינה המלאכותית הגנרטיבית (יוצרת) בכך שהיא יכלה להכליל למשימות יצירת דיבור שהיא לא הוכשרה במיוחד לבצע - ולהשלים משימות אלה עם ביצועים חדישים.
פודקאסט או ספר אודיו בקולך, עם צלילים ואפקטים נילווים - אין קל מזה כעת!
כעת, אודיובוקס, היורשת של Voicebox, מקדמת עוד יותר את הבינה המלאכותית הגנרטיבית לאודיו על ידי איחוד יכולות יצירה ועריכה של דיבור, אפקטים קוליים (צלילים קצרים ובדידים כמו נביחת כלב, צופר מכונית, נפץ רעם וכו ') ונופי קול, עם מגוון מנגנוני קלט כדי למקסם את יכולת השליטה עבור כל מקרה שימוש.
בעיקרון, Audiobox מאפשר לאנשים להשתמש בהנחיות בשפה טבעית כדי לתאר צליל או סוג של דיבור שהם רוצים ליצור. אם מישהו רוצה ליצור נוף קולי, לדוגמה, הוא יכול לתת למודל הודעת טקסט כמו "נהר זורם וציפורים מצייצות".
המודל גם מאפשר למשתמשים לשלב קלט קול עם הנחיה בסגנון טקסט, כדי לסנתז קול בכל סביבה (למשל, "בקתדרלה") או כל רגש (למשל, "מדבר בעצב ולאט"). למיטב ידיעתנו, Audiobox הוא הדגם הראשון המאפשר קלט כפול (הנחיות קוליות והנחיות תיאור טקסט) עבור עיצוב ועיבוד קול חופשי.
רסטיליזציה קולית: תיבת השמע יכולה לעצב מחדש קול כך שיישמע כאילו הוא נמצא בסביבה אחרת - בקתדרלה גדולה, או בטבע, לדוגמה.
Audiobox מדגים יכולת שליטה מתקדמת ביצירת דיבור ואפקטים קוליים. הבדיקות שלנו מראות שהוא עולה באופן משמעותי על המודלים הטובים ביותר הקודמים (AudioLDM2, VoiceLDM ו- TANGO) באיכות ורלוונטיות (נאמנות לתיאור טקסט) בהערכות סובייקטיביות. Audiobox עולה על Voicebox בדמיון בסגנון ביותר מ-30 אחוזים במגוון סגנונות דיבור.
עשה בעצמך - צעד אחר צעד:
- עבור אל ההדגמה של AudioBox (אולי עדיין פעיל רק עבור משתמשי ארה״ב, ייתכן שתזדקק לדפדפן התומך ב-VPN או VPN כמו Arc כדי לגשת) ולחץ על ״נסה את הדמו״.
- לחץ על ״הקול שלך״ כדי להשתמש בדגימת אודיו משלך, או השתמש בתיאורי טקסט או בקולות טעונים מראש במקום זאת.
- לחץ על ״הקלט את הקול שלך״. AudioBox ינחה אותך לקרוא משפט קצר כדי להעלות את האיפיון שלך לדגם.
- לאחר ההקלטה (או שימוש בהקלטה לדוגמה), הקלד את הטקסט שברצונך ליצור. AudioBox יפיק אז שתי הקלטות בסגנון הקולי שלך!
