בינה מלאכותית יכולה לשכפל מוזיקאים ואת המוזיקה שלהם. כך זה נעשה
Wednesday, 17-05-23, 13:48, ACT ::: ::: נושא: AI בינה מלאכותית @ 356525
פריצת דרך של AI במוזיקה: כיצד מוזיקאים משתמשים בטכנולוגיה כדי לשכפל את עצמם וליצור יותר מוזיקה מאי פעם.
נושא חשוב הפעם: שימוש בבינה מלאכותית בשיבוט עצמי כאמן מוזיקה, כולל שירה ומילים, כמו גם הלחנת מוזיקה חדשה בהתאם לסגנון היצירתי הייחודי של האדם. חלק ראשון יוצא לדרך.
שיבוט קול עם בינה מלאכותית בתעשיית המוזיקה
שיבוט קולי באמצעות AI התפשט גם לתחום המוזיקה, שם אנשים משתמשים בטכנולוגיה כדי ליצור שירים עם זמרים שנשמעים זהים לאמנים פופולריים. שיר עם דמותם של דרייק והוויקנד הפך לוויראלי באינטרנט, למרות שאף אמן לא היה מעורב ביצירתו. חברת הניהול שמייצגת את שני האמנים הצליחה להסיר את השיר משירותי הסטרימינג, אך ורק בגלל אודיו שנדגם בצורה לא חוקית, לא בגלל קולות הבינה המלאכותית.
אמנים אחרים, כמו המוזיקאית הקנדית גריימס, צופים לעתיד שבו טכנולוגיה כזו יכולה להמשיך לצמוח ולשנות את האופן שבו תעשיית המוזיקה פועלת. ״אני אחלק 50% תמלוגים על כל שיר מוצלח שנוצר עם AI העושה שימוש בקול שלי״, צייצה גריימס לא מזמן. ״הרגישו חופשי להשתמש בקול שלי ללא קנס.״
כבר עכשיו, יוצרים חובבים כמקצועיים, יכולים לכתוב שירים בעצמם, ולהקליט אותם עם קולות של זמרים מפורסמים כדי למשוך תשומת לב ואוזן. עד כה, אין עונשים חוקיים לזיופי עומק במוזיקה, אבל הניו יורק טיימס מדווח שהם מהווים את הסיכונים של פגיעה במוניטין של אמנים, מניעת רווחים מהסולנים וניכוס תרבותי של אמנים מפורסמים.

רק לפני חודשיים, טכנולוגיית שיבוט קולי באמצעות בינה מלאכותית בקושי הייתה קיימת. עכשיו הנושא מאלץ את תעשיית המוזיקה לשקול סוגיות כה מורכבות ומסובכות כמו, האם כוכבי פופ מחזיקים בבעלות על צלילים המופקים מהגרון שלהם ואם אנחנו בכלל צריכים עדיין כוכבי פופ בשר ודם. ואולי אין כבר זמן להחליט כי הסיפור כבר הופך להיות מוכר ומתפשט בצורה מטורפת.
רק לפני חודשיים, טכנולוגיית שיבוט קולי באמצעות בינה מלאכותית בקושי הייתה קיימת. עכשיו הנושא מאלץ את תעשיית המוזיקה לשקול סוגיות כה מורכבות ומסובכות כמו, האם כוכבי פופ מחזיקים בבעלות על צלילים המופקים מהגרון שלהם ואם אנחנו בכלל צריכים עדיין כוכבי פופ בשר ודם. ואולי אין כבר זמן להחליט כי הסיפור כבר הופך להיות מוכר ומתפשט בצורה מטורפת.
הסימן הראשון לצרות הגיע בפברואר, כאשר דיג'יי דיוויד גואטה הודיע שהדגימה של קולו של אמינם שהוא ניגן במהלך סט לייב לאחרונה נוצרה עם AI. במרץ, צמד ההיפ הופ האלקטרוני AllttA שיתף את השיר 'Savages', שבו ראפר אנושי מחליף פראזות עם AI Jay-Z. ואז, המפורסם ביותר מכל הקטעים, בתחילת אפריל, מפיק אנונימי הוציא שיר מקורי בשם 'Heart on My Sleeve' ובו קולות בינה מלאכותית מדוגמים של דרייק והוויקנד.
השיר הוזרם על ידי עשרות מיליוני אנשים והשמעות, שחלקם ציינו שהם אהבו אותו יותר מהסינגלים האחרונים של דרייק ווויקנד האמיתיים...
יש מגבלות, עדיין*
השיר הוזרם על ידי עשרות מיליוני אנשים והשמעות, שחלקם ציינו שהם אהבו אותו יותר מהסינגלים האחרונים של דרייק ווויקנד האמיתיים...
התוכנה שאיפשרה זאת נקראת SoftVC VITS Singing Voice Conversion, או So-Vits-SVC. היא בחינם - קוד פתוח, היכול לפעול באופן מקומי על כל מחשב עם מעבד GPU הגון.
אם פעם היינו צריכים מחשב אודיו תותח עבור תוכנות הפקה ופלגינים, כיום הדרישה היא למעבד גרפי בריא עבור ביצועי בינה מלאכותית.
אם פעם היינו צריכים מחשב אודיו תותח עבור תוכנות הפקה ופלגינים, כיום הדרישה היא למעבד גרפי בריא עבור ביצועי בינה מלאכותית.
שיבוט מוזיקלי - מה קיים כבר עכשיו
- מוזיקה הנוצרת בעזרת AI: בינה מלאכותית מנוצלת ליצירת מוזיקה המחקה את הסגנון של אמנים או ז'אנרים ספציפיים. באמצעות אלגוריתמים של למידת מכונה, מודלים של AI יכולים לנתח נתונים מוזיקליים נרחבים כדי לשכפל דפוסים, מהלך אקורדים ומאפיינים אחרים הקשורים לאמן או לסגנון מסוים.
- שכפול ווקאלי: AI הופעל כדי לשכפל קולות של אמני מוזיקה. באמצעות אימון מודלים של AI על הקלטות ווקאליות של אמן, התהליך הפך אפשרי וזאת כדי ליצור טראקים ווקאליים חדשים המחקים את הסגנון והסאונד שלהם.
- אמולציית סגנון יצירתי: מערכות בינה מלאכותית יכולות ללמוד מאווירת ההפקה הקיימת של אמן כדי להבין את הסגנון היצירתי הייחודי שלו. לאחר מכן ניתן לנצל הבנה זו כדי להלחין מוזיקה חדשה המתיישרת עם המאפיינים וההעדפות הייחודיות של האמן.
- הרכב שיתופי: כלי בינה מלאכותית מפותחים במהירות כדי להקל על שיתוף פעולה בין אמנים ומערכות בינה מלאכותית. כלים אלה מספקים הצעות להשראה, יוצרים רעיונות מוזיקליים ועוזרים לאמנים לחדד ולהרחיב את המושגים היצירתיים שלהם.
-
השלכות אתיות ומשפטיות: השימוש בבינה מלאכותית בשכפול אמנים ויצירת מוזיקה חדשה מעלה שיקולים אתיים ומשפטיים שונים. שאלות על זכויות קניין רוחני. זכויות יוצרים ומקוריות אמנותית נדונות ביחס למוזיקה הנוצרת עם בינה מלאכותית.
כיצד משבטים קול, מוזיקה ומילים?
כללית, כדי לאמן דגם בינה מלאכותית על הזמר שתבחר או אפילו על עצמך, מזינים את האפליקציה ב-20 עד 30 דקות של אודיו א-קפלה (קולי) באיכות גבוהה וממתינים כמה שעות בזמן שהיא עושה את הקסם שלה (שימו לב, בשלב זה היכולות של הכלי המדובר מתאימות לאלה מכם שיותר טכניים, בקרוב יגיעו ממשקים ׳אנושיים׳ יותר עבור כולם, הנה ההוראות).
אם אתם ממהרים, אתם יכולים להשתמש בדגם קולי מוכן שהוכן כבר על ידי מישהו אחר (כוכבי פופ כמו Bad Bunny וטיילור סוויפט זמינים, כפי שהייתם מצפים, אבל כך גם מטאל-הד כמו ג'יימס הטפילד ופיל אנסלמו של פנטרה.)
׳זמר׳ מדוגם היטב יכול לבצע כל שיר שתרצו כל עוד יש לכם את הקול המבודד שלו. אם יש לכם רק שיר מלא עם כלים ורקע זו בעיה, אך ישנם כלי AI בהם תוכל להשתמש כדי להפריד בין הכלים לזמר ביעילות מדהימה.
'אני צרכן ממוצע בלי שום ניסיון בקידוד', אומר ג'ראטי, 'אבל הבנתי איך להשתמש ב-So-Vits-SVC מ-YouTube, וזה אימן את המודל שלי תוך כ-12 שעות.'
בנקודה זו של התפתחות AI והחומרה הנדרשת בשבילה, אימון ודיגום הקול אמנם נראה ארוך, אך לא מדובר בדגימה כבימים ההם, אלא תהליך מורכב עם תלותיות רכיבים בשרשרת הביצוע. אבל מה זה כמה שעות או אפילו שבוע בשביל לקבל מתנה משובטת כזו?
אם אתם ממהרים, אתם יכולים להשתמש בדגם קולי מוכן שהוכן כבר על ידי מישהו אחר (כוכבי פופ כמו Bad Bunny וטיילור סוויפט זמינים, כפי שהייתם מצפים, אבל כך גם מטאל-הד כמו ג'יימס הטפילד ופיל אנסלמו של פנטרה.)
׳זמר׳ מדוגם היטב יכול לבצע כל שיר שתרצו כל עוד יש לכם את הקול המבודד שלו. אם יש לכם רק שיר מלא עם כלים ורקע זו בעיה, אך ישנם כלי AI בהם תוכל להשתמש כדי להפריד בין הכלים לזמר ביעילות מדהימה.
'אני צרכן ממוצע בלי שום ניסיון בקידוד', אומר ג'ראטי, 'אבל הבנתי איך להשתמש ב-So-Vits-SVC מ-YouTube, וזה אימן את המודל שלי תוך כ-12 שעות.'
בנקודה זו של התפתחות AI והחומרה הנדרשת בשבילה, אימון ודיגום הקול אמנם נראה ארוך, אך לא מדובר בדגימה כבימים ההם, אלא תהליך מורכב עם תלותיות רכיבים בשרשרת הביצוע. אבל מה זה כמה שעות או אפילו שבוע בשביל לקבל מתנה משובטת כזו?
יש מגבלות, עדיין*
- לקבלת התוצאות הטובות ביותר, יעזור מאוד אם לשיבוט שלך עם AI יש את אותו טווח ווקאלי כמו הזמר שרוצים למלא את המקום עבורו, וזו הסיבה שהקאבר של קניה ל-'Hello' חסר חלק מההוד של הגרסה של אדל.
- So-Vits-SVC יכול להתמודד רק עם קול אחד בכל פעם, אז אפשר לשכוח מכך שקניה יעשה את ההרמוניות בחמשת החלקים של 'רפסודיה בוהמית'.
- כמו כן, דגם הבינה המלאכותית שלך יעקוב אחר הביטוי וההטיות של הסולן המקורי, כך שקשה יותר יהיה להחליף זמרים עם מבטאים או טיקים ייחודיים אחרים.
- והכי חשוב, לא So-Vits-SVC ולא כל תוכנה אחרת יכולים לכתוב בצורה מהימנה מוזיקה ומילים טובות בעצמה עדיין, כך שהשירים הטובים ביותר שנוצרו בבינה מלאכותית עדיין דורשים קלט יצירתי מבני אדם.
* כמובן, בקצב ש-AI מתקדם, כל המכשולים הללו עשויים להיות היסטוריה עד מחר, וזו הסיבה שרבים מאלה המפיקים את הכנסותיהם ממוזיקה מוקלטת או שפורסמה כבר, נכנסים לפאניקה עכשיו.
אחד המאפיינים הבולטים של Lyrebird הוא היכולת שלו ליצור קולות 'רגשיים'. המשמעות היא שמשתמשים יכולים ליצור גרסאות של שיר עם הטיות רגשיות שונות, כמו שמח או עצוב. התוצאות מדהימות.
PlayHT
מדובר בכלי כתיבה AI רב-תכליתי היוצר עותק באיכות גבוהה, כולל מילים, במצבים ובשפות שונות. הוא מתאים היטב לתוכן שיווקי, אך יכול לשמש ליצירת מילים לשירים.
כלי שיבוט
ראשית - שימו לב: כלי השיבוט דורשים, כיום, משך זמן מסוים לדגימה קולית ולאחר מכן למידה (שזה תהליך ארוך יותר). רצוי להכיר מראש מה היכולות הסופיות של כל כלי לפני שמשקיעים זמן.
אפשרות נוספת היא, עבור אמנים היכולים להרשות לעצמם, להעסיק מישהו עם ראש טכני כדי שינציח את קולם בצורה מיטבית עם שימוש בכלים המורכבים והטכניים יותר עבור היצירות הבאות שלהם, שווה את הזמן, הכסף והאיכות, והנה מקצוע חדש נולד: ״טכנאי שיבוטים״ :)
כמובן שקיימים גם תוצרים מוכנים לשימוש, עם מיטב הקולות הפופולריים, כולל זמרים/ות וסלבס.
Lyrebird
Lyrebird הוא מחולל קולות שירה באמצעות בינה מלאכותית, המשתמש
בטכנולוגיית למידה עמוקה כדי לנתח ולשכפל קול של זמר. הכלי מסוגל לחקות את המאפיינים הווקאליים של כל זמר, ומאפשר ליצור שירים חדשים לגמרי בסגנון שלהם.
בטכנולוגיית למידה עמוקה כדי לנתח ולשכפל קול של זמר. הכלי מסוגל לחקות את המאפיינים הווקאליים של כל זמר, ומאפשר ליצור שירים חדשים לגמרי בסגנון שלהם.
אחד המאפיינים הבולטים של Lyrebird הוא היכולת שלו ליצור קולות 'רגשיים'. המשמעות היא שמשתמשים יכולים ליצור גרסאות של שיר עם הטיות רגשיות שונות, כמו שמח או עצוב. התוצאות מדהימות.
Lyrebird מציעה גם ממשק ידידותי למשתמש וזמין תמורת דמי מנוי חודשיים.
[עדכון: בזמן כתיבת המאמר הכלי נרכש בידי חברת דיסקריפט ומשמש ליצירת פודקסטים במהירות מטורפת]
MyVocal
[עדכון: בזמן כתיבת המאמר הכלי נרכש בידי חברת דיסקריפט ומשמש ליצירת פודקסטים במהירות מטורפת]
MyVocal
האתר הזה מאפשר את שכפול הקול שלך תוך 60 שניות, אך בתחילת התהליך המשתמש נדרש להקליט, ישירות לאתר, 25 משפטים שלאחריהם הכלי משקיע קצת זמן כדי ללמוד את הקול שלך. לאחר מכן ניתן להשתמש בקול מיוצר הבינה-המלאכותית שלך לשיר או ליצירת תוכן קולי, ״כזה שיעזור לך לבלוט״.
הסבר בווידאו שלהלן |(שהדמות המסבירה בו, ומה שהיא אומרת, הם תוצר AI:
הסבר בווידאו שלהלן |(שהדמות המסבירה בו, ומה שהיא אומרת, הם תוצר AI:
PlayHT
הכלי הזה הינו לשיבוט קולות באיכות גבוהה, כאלה המדויקים כדי 99% לקולות האנושיים האמיתיים שלהם.
אין צורך בציוד יקר או בתוכנה מסובכת.
מושלם עבור יוצרי תוכן, פודקאסטים ועסקים המעוניינים להוסיף מגע אישי לפרויקטי האודיו שלהם. כאן אתה נדרש להעלות הקלטה די ארוכה של הקול שלך, ולאחר כמה שעות לימוד-מכונה יש לך כפיל שידבר כל טקסט שתכתוב. פודקאסט בשניות, או הלבשת הקול שלך על ווידאו בשפה אחרת ע״פ טקסט מתסריט (זמין ביוטיוב).
היתרון כאן - שיבוט הקול המתקדם של PlayHT שומר על המבטא לכמעט 100% המקרים. החסרון - אתה זקוק לכלי המרה שלהם כדי ליצור את התכנים הקוליים.
* לכתיבת מילים ניתן להיעזר בכלים הבאים (רק דוגמאות, יש עוד הרבה):
Writesonicמושלם עבור יוצרי תוכן, פודקאסטים ועסקים המעוניינים להוסיף מגע אישי לפרויקטי האודיו שלהם. כאן אתה נדרש להעלות הקלטה די ארוכה של הקול שלך, ולאחר כמה שעות לימוד-מכונה יש לך כפיל שידבר כל טקסט שתכתוב. פודקאסט בשניות, או הלבשת הקול שלך על ווידאו בשפה אחרת ע״פ טקסט מתסריט (זמין ביוטיוב).
היתרון כאן - שיבוט הקול המתקדם של PlayHT שומר על המבטא לכמעט 100% המקרים. החסרון - אתה זקוק לכלי המרה שלהם כדי ליצור את התכנים הקוליים.
מחוללי הקול הטובים ביותר של AI עבור מפיקי מוזיקה
יש הרבה מחוללי קול AI שם בחוץ, אבל רובם לא מיועדים למוזיקאים. נתמקד רק באפליקציות הווקאליות בהן תוכלו להשתמש כדי להתחיל ליצור מנגינות ווקאליות עם בינה מלאכותית.
אם אתם נהנים מאפליקציות טקסט לדיבור ומתכננים לעצב מנגינות עם מחולל הקול של הבינה המלאכותית בקול שלכם, הקפידו לבדוק את הטקסט ל-midi VST של AudioCipher. תוכלו להקליד מילים וביטויים, להמיר אותם למנגינות, לעצב אותם כך שיישמעו כמו שאתם רוצים וליישם אותם על קולות הבינה המלאכותית שלכם באמצעות האפליקציות ברשימה:
Murf.ai
Murf.ai מתמודד עם טכנולוגיית קול AI, ומרחיב מטקסט לדיבור לעבר כלים מתקדמים יותר; היכולים לשנות את הקול שלך או לשכפל את קולו של מישהו אחר. עם חשבון חינמי, תוכל לעשות שימוש מוגבל באפליקציה, כולל ההעברה הקולית הדרושה לך לשירת AI. הם גם מציעים שירות אישי שיכול ליצור עבורך מודל קול מותאם אישית אם אין לך את הראש והזמן לעשותז את בעצמך.

Revocalize
Murf.ai מתמודד עם טכנולוגיית קול AI, ומרחיב מטקסט לדיבור לעבר כלים מתקדמים יותר; היכולים לשנות את הקול שלך או לשכפל את קולו של מישהו אחר. עם חשבון חינמי, תוכל לעשות שימוש מוגבל באפליקציה, כולל ההעברה הקולית הדרושה לך לשירת AI. הם גם מציעים שירות אישי שיכול ליצור עבורך מודל קול מותאם אישית אם אין לך את הראש והזמן לעשותז את בעצמך.

Synthesizer V
Synthesizer V הוא מחולל קול AI נוסף המיועד במיוחד למוזיקאים. החברה ממוקמת בטוקיו, שם בינה מלאכותית ומוזיקה פופולריות כבר חצי עשור או יותר.
שלא כמו רבים אחרים, הכלי הוא DAW (תחנת הקלטה/הפקה) מלא שאוצר מבחר של דגמי קול AI מובנים. הם גם יצרו ממשק חזק יותר לעריכה ולשיפור התוצר הראשוני. ממש כמו Melodyne ו- Vocaloid - אתה מסוגל לפסל את המנגינה שקול ה-AI שלך מבצע; גרור את התווים למעלה ולמטה בדומה לעורך MIDI והכלי יוצר עיבוד חלק מבלי לאבד את הגוון הרגשי של הקול.
שלא כמו רבים אחרים, הכלי הוא DAW (תחנת הקלטה/הפקה) מלא שאוצר מבחר של דגמי קול AI מובנים. הם גם יצרו ממשק חזק יותר לעריכה ולשיפור התוצר הראשוני. ממש כמו Melodyne ו- Vocaloid - אתה מסוגל לפסל את המנגינה שקול ה-AI שלך מבצע; גרור את התווים למעלה ולמטה בדומה לעורך MIDI והכלי יוצר עיבוד חלק מבלי לאבד את הגוון הרגשי של הקול.
Revocalize
Revocalize דילגה על כלי הטקסט לדיבור וצללה היישר לתוך שינוי הקול. המיקוד החד הזה העניק להם את מלוא רוחב הפס להפוך לאחת האפליקציות הטובות ביותר ליצירת ערוצים קוליים מבוססי בינה מלאכותית. תכונות עדינות וניואנסים של הקול שלך, כמו המבטא או הרגש שאתה חש כשאתה מדבר, יעברו לקול החדש. בדוק את דף הנחיתה שלהם כדי לשמוע הדגמה של מחליף הקול.
Emvoice
Emvoice One נקטה בגישה חדשה לתוכנת שירה ב״מ, תוך שהיא משלבת ממשק MIDI-פסנתר עם תיבות טקסט לקטעים ליריים. משתמשים מתכנתים מנגינה באופן ידני ולכל קטע מלודי התוכנה תוליד אזור טקסט ייעודי. הקלד את המשפט הקצר שלך והדגם הקולי יעשה כמיטב יכולתו להתאים את הצורה המלודית לתבנית המילים.
אם סינתזה ווקאלית מרגשת אותך ואתה רוצה להתנסות בשימוש בקולם של מפורסמים כדי לכתוב שיר להיט, Grimes היא הימור בטוח. סביר להניח שתוכל לפרסם את המוזיקה באינטרנט ללא איום הסרה של DMCA. הכלי הזה מחולל ראפים מוצלחים ביותר והוא מוצג המון בטיקטוק.
האתר הזה מציג כמה אפשרויות של המרה והלבשת קול, מהקול האישי שלך, דרך הלבשת קולות של אמנים מפורסמים ועד שיתוף יוצרים בהכנת קולות ויצירות דרך האתר למען אחרים.
קחו נשימה:
האתר הזה מציג כמה אפשרויות של המרה והלבשת קול, מהקול האישי שלך, דרך הלבשת קולות של אמנים מפורסמים ועד שיתוף יוצרים בהכנת קולות ויצירות דרך האתר למען אחרים.
קחו נשימה:
* לכתיבת מילים ניתן להיעזר בכלים הבאים (רק דוגמאות, יש עוד הרבה):
מדובר בכלי כתיבה AI רב-תכליתי היוצר עותק באיכות גבוהה, כולל מילים, במצבים ובשפות שונות. הוא מתאים היטב לתוכן שיווקי, אך יכול לשמש ליצירת מילים לשירים.
Quillbot
כלי כתיבה AI המסייע בפרפרזה, בדיקת דקדוק ועוד. הוא יכול לשפר את הקוהרנטיות והשטף של היצירתיות והרעיונות שלך, וזאת לעזור ביצירת ליריות והלחנה.
*לחילוץ או בידוד שירה/פלייבק קיימים כבר הרבה כלים בשוק, ורצוי לבחור את אלה מבוססי AI כי הם עושים זאת מעולה. אחד הכלים לדוגמא הוא Vocal Remover.
חכו לעדכונים, הנושא מתחמם במהירות, ומטבעה של מהפכה טכנולוגית נמשיך לעדכן בחלק שיגיע בקרוב.
הנה עוד מדריך וידאו:
כלי כתיבה AI המסייע בפרפרזה, בדיקת דקדוק ועוד. הוא יכול לשפר את הקוהרנטיות והשטף של היצירתיות והרעיונות שלך, וזאת לעזור ביצירת ליריות והלחנה.
*לחילוץ או בידוד שירה/פלייבק קיימים כבר הרבה כלים בשוק, ורצוי לבחור את אלה מבוססי AI כי הם עושים זאת מעולה. אחד הכלים לדוגמא הוא Vocal Remover.
חכו לעדכונים, הנושא מתחמם במהירות, ומטבעה של מהפכה טכנולוגית נמשיך לעדכן בחלק שיגיע בקרוב.
הנה עוד מדריך וידאו:
הכותב: ראובן מנשרוף, מייסד ועורך אקט מוסיקלי ומומחה אודיו בעל 45 שנות ניסיון.