👑 !קלוד עוקף את ג'יפיטי, יחי המלך החדש

וגם: איך יצרתי שיר ב10 דקות, סורה פוגשת אמנים אמיתייים והטסטימוניאל שמעולם צולם

אהלן וברוכים הבאים לכל המצטרפים החדשים! עוד שבוע מתקרב לסיומו וכרגיל, החדשות וההתפחויות המעניינות לא מפסיקות להגיע.

היום בתפריט:

• קלוד עוקף את ג'יפיטי, יחי המלך החדש! (לפחות בינתיים).

• כנראה שנרדמתי קצת בכל מה שקשור לAI ומוזיקה.

• כש-Sora פוגשת אמנים אמיתיים.

• הדיפ פייק ממשיך להפתיע: סרטון הטסטימוניאל שלא צולם מעולם.

---

קלוד עוקף את ג'יפיטי, יחי המלך החדש!

(לפחות בינתיים…)

נכון לאתמול, קלוד Opus עקף את צ'אטג'יפיטי ותפס את המקום הראשון והיוקרתי בזירת מודלי השפה Chatbot Arena שנחשבת כיום למדד המדוייק ביותר להשוואה מודלי שפה.

אבל רגע, מה זה אומר בעצם? ואיך בכלל משווים בין מודלי שפה?

אז זה נושא קצת טריקי. בגדול יש כל מיני בנצ'רמקים כמו MMLU (מבחן רב תחומי) שהם בעצם מבחנים אמריקאים בנושאים שונים עליהם המודל עונה ומקבל ציונים. המדדים האלה לרוב מתפרסמים עם השקת המודל ונראים כמו טבלה עם שם וסוג המבחן והציון באחוזים.

הבעיה הם המדדים האלה היא שהם לא מאד מדוייקים ולכן גם רוב האנשים מתייחסים אליהם בספקנות, הנה סיפור שממחיש את זה:

עם ההשקה של Gemini Ultra, מודל הדגל של גוגל, הם התגאו בכך שהמודל עוקף את GPT-4 במבחן MMLU וזכו לכותרות רבות בעקבות ההישג המרשים.

אבל - לאחר כמה ימים חוקרי OpenAI, שלא יכלו לשאת את העלבון, הצליחו לשפר את הפרומפטים שלהם ולעקוף את ג'מיניי בחזרה… קצת בעייתי לא?

כאן בדיוק נכנסת Chatbot Arena - "זירת הקרב" של מודלי השפה.

היא נחשבת למדד הכי מדוייק ואמין להשוואה בין המודלים מכיוון שההשוואה מתבססת על חוכמת ההמונים ודירוגים של משתמשים אמיתיים ולא על מבחנים אמריקאים.

איך זה עובד בת'כלס?

• המשתמש נכנס לאתר שלהם ורואה מסך צ'אט מפוצל לשניים. מאחורי הקלעים, המערכת בוחרת עבורו באקראי שני LLMs מתוך 20 המודלים המובילים ומציגה אותם אחד ליד השני מבלי לגלות לו באיזה מודלים מדובר.

• בסוף כל השיחה המשתמש מדרג איזה מודל ענה יותר טוב. הם עושים את זה שוב ושוב על פני עשרות אלפי משתמשים וכך מחשבים את ציון ה-Elo של כל מודל, ציון מקובל למדידת שחקנים באופן יחסי בתחרויות כמו שחמט.

ועכשיו בחזרה לקלוד. אז מה בעצם קרה?

אתמול, בפעם הראשונה בהיסטוריה, ג'יפיטי ירד למקום השני כאשר ציון הElo של קלוד Opus עבר את הציון של הגרסה המתקדמת ביותר של GPT4.

האם זה אומר שכדאי לעבור עכשיו מצ'אטגיפיטי לקלוד?

לא בהכרח. אני אישית בינתיים עם ג'יפיטי פלוס, בעיקר כי יש לו יותר פיצ'רים שאני משתמש בהם, אבל זה מאד תלוי מה סוג השימוש שלכם (כתבתי על זה פוסט ארוך יותר לא מזמן, אוסיף לינק בתגובות)

אבל רגע, זה לא סוף הסיפור. הדרמה הגדולה באמת, התרחשה קצת יותר למטה בטבלה:

המודל הקטן ביותר של קלוד 3 שנקרא Haiku עקף את ג'יפיטי 3.5 בפער דיי גדול ואפילו את הגרסה הקודמת של ג'יפיטי 4. מעבר לעובדה שזה מאד מרשים שלמודל קטן שמאופטם למהירות יש יכולות כאלה גבוהות, יש לזה השלכות מרחיקות לכת עבור כל שמשתמש בAPI של OpenAI לבניית מוצרים (שזה רובן הגדול של החברות שיש להן פיצ'ר או מוצר שמבוסס על AI)וזה למה:

כשאנחנו כמשתמשים עובדים עם ממשק הצ'אט, תמיד נעדיף את המודל החזק ביותר, אבל כשעובדים עם הAPI יש שיקולים נוספים כמו מחירים, מהירות ונוחות. בפועל רוב המוצרים עושים שילוב ביניהם כאשר הם משתמשים בGPT4 למשימות מורכבות ואת רוב העבודה הם עושים עם וGPT 3.5

ופה מתחיל החלק המעניין. קלוד 3 Haiku מנצח את ג'יפיטי 3.5 בכל הפרמטרים האלה: הרבה יותר מהיר, יש לו חלון קונקסט הרבה יותר גדול (200K לעומת 16K) והכי חשוב - זול משמעותית.

את ההשפעה כבר מתחילים לראות בשטח והרבה מפתחים שעושים build in public כבר הצהירו בטוויטר שהם עוזבים את הAPI של ג'יפיטי לטובת קלוד.

לסיכום: OpenAI ממשיכה לאבד את ההובלה והלחץ לשחרר מודל חדש מעולם לא היה גדול יותר…

---

כנראה שנרדמתי קצת בכל מה שקשור לAI ומוזיקה

לפני כמה חודשים ניסיתי כמה כלים ליצירת מוזיקה שהיו מאד מוגבלים ועד היום הייתי תחת הרושם שבתחום המוזיקה יש עוד דרך ארוכה עד שנראה תוצרים שבאמת נשמעים אמיתיים.

השבוע החלטתי לנסות שוב ובדקתי את הגרסה החדשה שSuno הוציאו השבוע, גרסה V3. ציפיתי להתאכזב אבל חייב להודות שהופתעתי בטירוף מהרמה של התוצרים!!

ניסיון ראשון: העתקתי לו את המילים של השיר שלנו לאירוווזיון Hurricane וביקשתי שילחין אותו בסגנון "Eurovision" .מה דעתכם על הגרסה שלו?

אנקדוטה מעניינת: כשהעתקתי מילות השיר מגוגל השתרבבה פנימה גם הכותרת (בעברית) "מילות שיר" ומסתבר שהוא פשוט שר אותן בעברית! (תקשיבו למשפט הראשון בשיר).

ניסיון שני: אז אחרי שהבנתי את הפואנטה, החלטתי לנסות ליצור שיר שיווקי שמספר על היתרונות של המוצר שאני מנהל.

הפעם במקום לקחת מילים קיימות החלטתי לבקש מצ’אטג’יפיטי שיעזור לי עם המילים (למעשה בCustom GPT שיצרתי פעם לתוכן שיווקי ומכיר את המוצר) כך שרק ביקשתי שיכתוב שיר והעתקתי את התוצאה.

בשביל הקונטקסט, SkyWatch.AI הוא מוצר הביטוח הכי גדול בארה”ב למטיסי רחפנים מקצועיים (ביטוח צד שלישי וגם ביטוח לרחפן עצמו). המוצר מאפשר להם רכוש ביטוח ולנהל אותו בצורה נוחה באתר או באפליקציה וגם לבחור בין מסלולים שונים כמו מסלול חודשי או מסלול לפי שימוש כדי להוריד עלויות. בקיצור חפרתי אז אם בא לכם ללמוד עוד, פשוט תקשיבו לשיר:

מה דעתכם? לדעתי (הלא אובייקטיבית) יצא שיר לא רע בכלל!

עוד משהו לסיום:

עם כל ההתרגשות, אני חייב להודות שזה גם מבאס אותי. למוזיקאים גם כך קשה מאד להתפרנס והרגע Suno יצרו להם עוד תחרות מטורפת. קשה לי לחשוב על מודל עסקי שבאמת יפצה אותם כלכלית והמשמעות היא שהתמריץ הכלכלי להיות מוזיקאים ילך וירד בשנים הקרובות.

---

כש-Sora פוגשת אמנים אמיתיים

אז אחרי ש-Sora הדהימה את כולנו לפני חודש וממשיכה להפיל עלינו סרטונים חדשים ברמה יומיומית, החברים בOpenAI עולים מדרגה ומציגים פרוייקט חדש שנותן לנו הצצה לאיך הכלי העוצמתי יראה כאשר ישולב בעולם הקולנוע.

בבלוג שהוציאו השבוע הם פרסמו 7 סרטונים קצרים שנוצרו ע"י אמנים, יוצרי תוכן ובמאים מובלים על מנת להמחיש את הפוטנציאל.

התוצאות? מדהימות, דיי קרינג'יות ובעיקר מעניינות ומסקרנות. הנה דוגמה אחת:

הטייק שלי:

קודם כל אני חושב שזה מהלך שיווקי מבריק והסרטונים באמת מיוחדים ומסקרנים. עם זאת, בניגוד לתחום המוזיקה בו אפשר להעמיד שיר כיצירה בפני עצמה, תחום הקולנוע הרבה יותר קשה לפיצוח ולא הייתי ממהר להספיד את השחקנים ואת הוליווד. כדי לייצר סרט צריך דמויות עקביות שמופיעות בכמה סצנות וגם התייחסות להרבה מאד פרטים קטנים ומדוייקים.

בנוסף, כבני אדם אנחנו נמשכים לצפות בבני אדם אחרים ואני לא בטוח כמה מעניין יהיה לצפות בסרט כאשר נדע שהדמויות בו לא אמיתיות.

לדעתי Sora יכול מאד להתאים לקליפים, פרסומות, סרטונים קצרים וגם לקטעים מסויימים בסרטים שעד היום נוצרו בעזרת אפקטים והדמיות תלת מימד. לפחות כרגע, לא נראה לי שבקרוב נראה סרטים באורך מלא שנוצרו על ידי AI.

---

הדיפ פייק מעלה הילוך: סרטון הטסטימוניאל שלא צולם מעולם

הטסטימוניאל הזה לא צולם מעולם’ הסרטון כולו נוצר ע"י AI בעזרת הכלי Arcads AI. האמת? מפחיד.

בניגוד למה שחשבתי בהתחלה, מסתבר שהאישה בסרטון מבוססת על דמות אמיתית, היא בעצם דמות מסונתזת שנוצרה על בסיס הרבה תמונות של אותה אישה שהעלו למודל כדי לאמן אותו. אבל הסרטון עצמו וגם תנועות הפנים, המיצמוצים והשפתיים נוצרו באמצעות AI.

עכשיו דמיינו איך יראה הפיד בעוד שנה מהיום....

אגב, מותג המגבונים Get Dirty שעומד מאחורי הסרטון הוא אמיתי לגמרי והסרטון הזה הצליח לייצר להם קמפיין ויראלי בטירוף.

---

אם אהבתם מוזמנים לעזור לי להגדיל את המעגל ולשתף את הניוזלטר עם מישהי או מישהו שלדעתכם יוכל להפיק ממנו ערך 🙏🏻

שיהיה סופ”ש רגוע ומהנה

אמיתי

---