ג'יפיטי 4 בגרסה משודרגת וזמין לכולם בחינם
וגם: עדכונים חמים מכנס המפתחים של גוגל והאם מקצוע הנדסת פרומפטים בדרך להיעלם
וואו איזה שבוע! הרבה זמן לא היה לנו שבוע כל כך עמוס בהכרזות והתפתחויות בתחום. מכיוון שבאמת קשה לעקוב, השתדלתי לרכז עבורכם את העדכונים הכי חשובים ומה המשמעויות שלהם עבורנו, היום בתוכנית:
סיכום ההכרזה של OpenAI ואיך היא תשפיע עלינו מחר בבוקר.
סיכום אירוע המפתחים של גוגל שהתקיים השבוע.
האם זה סוף עידן הנדסת הפרומפטים?
עוד כמה עדכונים.
סיכום ההכרזה של OpenAI ואיך היא תשפיע עלינו מחר בבוקר:
אז כפי שבטח שמעתם, השבוע התקיים אירוע של OpenAI עם כמה הכזרות משמעותיות, הנה מה שאתם צריכים לדעת:
ראשית, נחלק את ההכרזות לשתיים:
מה זמין כבר עכשיו ומה יהיה זמין בהמשך.
זו חלוקה חשובה כי בהתחשב בקצב האירועים והשינויים בתחום הזה, לטיימינג יש משמעות גדולה ועוד לא דיברנו על כנס המפתחים של גוגל שמתקיים היום בערב.
מה שכבר זמין:
הם השיקו מודל חדש בשם GPT4o שהוא אמנם רק קצת יותר חכם מהמודל הנוכחי, אבל פי 2 מהיר, פחות עצלן וגם מולטימודלי "על מלא" שזה אומר שאותו מודל מסוגל לקלוט ולהוציא כל פורמט של מדיה (טקסט, תמונה, אודיו וידאו).
הבשורה הכי גדולה היא העובדה שהוא יהיה זמין לכולם בחינם כולל הפיצ'רים שעד היום היו רק בגרסת פרו כמו GPTs, קוד אינטפרטר ויצירת תמונות. יש לזה השלכות אדירות מאחר שלרוב המשתמשים אין מנוי פלוס ומעכשיו הם יחשפו למודל במלוא עוצמתו וגם יוכלו ליצור GPTs ולהשתמש בחנות האפליקציות.
מנקודת מבט עסקית המהלך הזה אולי נשמע קצת תמוה כי הם מוותרים במודע על הכנסות ממנויים, אבל בהסתכלות רחבה יותר זה מהלך נכון שנועד לעזור להם לשמור על ההובלה ולמנוע דיסרפשן מצד מטא ושחקניות אחרות שמנסות לעשות קומודיטיזציה לתחום.
אז האם אפשר לבטל את המנוי פלוס?
סיכוי גדול שכן, תלוי בהיקף השימוש שלכם. כרגע ההבדל הוא שהמנויים מקבלים מגבלת שימוש פי 5 יותר גבוהה, אם אתם לא בטוחים אפשר גם לבטל ומקסימום לקנות מחדש.
עוד סיבה להישאר מנויים היא אם אתם סובלים מFomo (כמוני) ורוצים לקבל את הפיצ'רים החדשים ראשונים.
ועכשיו לחלק השני, פיצ'רים שצפויים לצאת בהמשך:
אפליקציית דסקטופ: לכאורה לא נשמע מרגש במיוחד אבל מה שמעניין פה הוא היכולת שלה "לראות" את המסך שלנו בכל רגע נתון. בעצם אפשר לחשוב על זה גם כמגה קו-פיילוט שצופה בזמן אמת במסך שלנו ומסוגל לתת לנו המלצות במהלך פעולות כמו כתיבת אימיילים, כתיבת קוד ושיחות וידאו וגם מאפשר לנו לבצע פעולות במחשב באמצעות פקודות קוליות.
לדעתי זה מהלך גאוני שלהם שמזכיר קצת את מה שאפל יודעת לעשות, לקחת תחום קיים (הקופיילוטים) ולהגדיר אותו מחדש.
עוזר אישי קולי: עוד דמו שהם הראו למוצר שצפוי לצאת הוא העוזר האישי הקולי שלהם עם יכולות מודליטמודאליות. מי שעוקב אחרי הפוסטים שלי יודע שאני מאמין שזה העתיד וגם פה הם הצליחו להפתיע עם קפיצה טכנולוגית ביכולת של המודל לבצע אינטראקציה וירידה לפרטים עם ניואנסים כמו טון דיבור, זיהוי רגשות ואפילו היכולת לקטוע אותו באמצע המשפט. הנה קטע מתוך ההדגדמה:
כמות היוס קייסים לכלי הזה היא עצומה החל מתרגום שיחות בזמן אמת, יצירת תובנות בזמן אמת מהוידאו במצלמה של הטלפון ועד ובני זוג וירטואליים (אי אפשר לצפות בדמו בלי לחשוב על הסרט Her).
תרגום בזמן אמת:
לסיכום OpenAI ממשיכה להוכיח לנו שהיא חברה מובילה ויותר מכל שהיא מסוגלת לייצר חדשנות עסקית וטכנולוגית גם מעבר למודל השפה.
ממליץ לכם לראות את הוידאו המלא כאן או לפחות את הדמואים, הנה למשל דוגמה לשילוב של העוזר הקולי בתוך פגישת וידאו.
סיכום אירוע המפתחים של גוגל שהתקיים השבוע:
נתחיל מהחוויה הכללית: אירוע ארוך במיוחד, כמעט שעתיים של הכרזות שכולן קשורות בAI! מצד אחד שאפו על העבודה ונראה שהחברה שם באמת עושים מאמצים להכניס AI לכל מקום שאפשר, מצד שני לי לפחות היה קצת חסר פוקוס ומיקוד במה שזמין כרגע. בפועל רוב היכולות שהם היצגו יהיו זמינות רק "בהמשך השנה" וכל הדמואים הוקלטו מראש, מה שלא מוסיף קרדיביליות.
בנוסף, אי אפשר להימנע מההשוואה לאירוע של OpenAI שהתקיים יום לפני ובו הם הראו הדגמות בלייב.
ובכל זאת, אם כל מה שגוגל הציגו אתמול יעבוד כפי שהם מתארים, מתוכננות לנו כמה מהפכות גדולות השנה.
נתחיל ממה שכבר זמין:
ג'מיניי 1.5 זמין לכולם ב-API ולמשתמשי Gemini Advanced בתוך ממשק הצ'אט וגם בקופיילוט של Workspace:
כתבתי כבר על המשמעות של חלון קונטקסט גדול בעבר ואני חושב שגם היום הוא עדיין אנדרייטד. להזכירם, ל-Gemini 1.5 יש חלון קונקטס של מיליון טוקנים, זה פי 7 מ-ChatGPT ופי 5 מקלוד. המשמעות היא שניתן לשלוח לו ספר שלם, ריפו של קוד או שיחת וידאו מוקלטת והוא ידע לענות על כל שאלה או לייצר סיכום. עד היום יכולנו לעשות רק להתנסות בזה במצב preview ומעכשיו זה הופך להיות ממש כלי עבודה.
אני חושב שמה שהרבה מפספסים הוא המשמעות של שליחת כל המידע בפורמפט אחד. למרות שיש פתרונות שלכאורה אמורים להביא לתוצאה דומה כמו לחתוך את המידע שנרצה לשלוח לכמה חתיכות או לשמור אותו בדאטה בייס וקטורי ולשלוף ממנו מידע (מה שנקרא RAG) , הפתרונות האלה פחות טובים בפער ולצאט יש נטייה לשכוח ולהשמיט פרטים.
בנוסף, בימים הקרובים היכולת הזו צפויה להתווסף גם לקופיילוט של של אופיס.זה יאפשר לו למשל לייצר לנו תשובה לאימייל שמתבססת על קונטקסט של שרשור שלם ואפילו אימיילים נוספים מאותו האדם במקום סתם לשפר דקדוק או סגנון של הכתיבה. אני אישית מחכה לזה, אם אתם רוצים לנסות את היכולת הזו ראשונים כשהיא תיהיה זמינה בארץ תוכלו להירשם כאן.
השאלה הגדולה פה לדעתי היא האם חלון הקונטקסט הוא יתרון מספיק משמעותי שיגרום למשתמשים לעבור מג'יפיטי לGemini. מכיוון שהיכולות האלה עדיין לא זמינות בארץ ולא ניסיתי אותם עצמי קשה לי להביע את דעתי פה ואחכה בסבלנות לנסות אותם בעצמי.
שדרוג מוצר החיפוש:
נמשיך להכרזה המשמעותית השניה והיא הוספת Overviews למוצר החיפוש. גם הפיצ'ר הזה הזמין כבר לכל המשתמשים בארה"ב והוא למעשה מכניס את מה שמוצרים כמו Perplexity עושים בראש הדף מעל התוצאות הרגילות.
בכנס הם הסבירו שמאחורי הקלעים יש ממש סוכן שמנסה להבין את הכוונה של מי שחיפש ומבצע מספר פעולות על מנת לאסוף את כל המידע הרלוונטי ולייצר סיכום פרקטי ושימושי. כך זה צפוי להיראות:
פה אני חייב להגיד שאני קצת חצוי וההשקה הזו מעלה אצלי הרבה מאד שאלות. ברור לכולם שהמהלך הזה יפגע בהכנסות של גוגל מפרסומות והם עושים אותו כתגובה לתחרות ומניעת דיסרפשן. יש לי תחושה שעד שהם יבינו איך לעשות לזה מוניטיזציה הם יחפשו דרכים מתוחכמות להמשיך להתשמש בנדל"ן הכי יקר בראש העמוד כדי להציג לנו מודעות ממומנות. אולי למשל הפיצ'ר הזה יופיע רק בחיפושים מסויימים או שיזוז הצידה בשלב מסויים, בכל זה קייס סטאדי סופר מעניין שאפשר לראות בלייב ואני מתכוון לעקוב אחריו ולראות את ההשפעה שלו על המשתמשים וגם על הדוחות הבאים של גוגל.
ועכשיו לעוד כמה עדכונים שיהיו זמינים בהמשך השנה:
עוזרת אישי קולית: בדומה לכלי של OpenAI הם מוציאים עוזר אישי מולטימודאלי. בדמו הם הראו גם שימוש במשקפיים מה שמרמז על מוצר חומרה חדש שהם צפויים להוציא מרגש!
הגדלת חלון קונטקסט: ממיליון לשני מליון.
מודל חדש בשם Gemini Flash: קצת פחות חכם אבל יותר מהיר והרבה הרבה יותר זול. בשורה בעיקר למפתחים.
מודל חדש ליצירת תמונות: Imagen 3
מודלים חדשים ליצירת וידאו (מתחרה לSora) ומוזיקה! מה שאהבתי זה שהם הביאו מוזיקאים ותסריטאים לספר איך הם משתמשים במודל והציגו אותו ככלי עבודה ולא כתחליף (באנטי תזה לפרסומת החדשה של האייפד של אפל). הנה דוגמה
פרוייקט בשם Astra שנועד לייצר סוכנים ייעודיים למשימות כמו קניות, החזרות של מוצרים, חיפוש חופשות בתוך הדפדפן. נשמע מבטיח אבל הם לא ממש הראו דמו שלו אלא יותר הסבירו מה הוא יעשה שזה כלא חד יכול לעשות…
היו עוד עדכונים אבל הפוסט קצת מלהכיל את כולם. הנה וידאו של פחות מדקה שיסכם לכם על מה בגדול דיברו….
וברצינות. אני חושב ששווה לצפות באירוע הזה כדי להבין לאיזה עולם אנחנו נכנסים. אותי אישית זה מרתק ולפעמים גם קצת מפחיד. את האירוע המלא תוכלו לראות כאן ואת התקציר כאן
האם זה סוף עידן הנדסת הפרומפטים?
בשנה האחרונה נכנס לחיינו תחום הנדסת הפרומפטים שאותי לפעמים קצת מבלבל כי לא תמיד ברור למה מתכוונים שמתייחסים אליו.
ניקח למשל את התפקיד "מהנדס פרומפטים". מכיוון שמדובר בתחום חדש ואין הכשרה פורמלית או הגדרת דרישות תפקיד ברורות, מהנדס פרומפטים יכול להיות מפתח בכיר ב-OpenAI שמרוויח 800 אלף דולר בשנה או אינפולאנסר שכותב פרומפטים בעצמו על סמך סרטונים של אינפולאנסר אחר שמצא ביוטיוב ואז מוכר אותם לעוקבים שלו בעבור חופן דולרים.
אותנו כמשתמשים זה קצת מבלבל, כי לימדו אותנו שכדי להוציא ממודלי שפה את המקסימום לא מספיק לכתוב להם מה אנחנו רוצים אלא צריך להפוך את הבקשות שלנו לפרומפטים...
אבל רגע, חשבתם פעם למה בכלל צריך לעשות את התהליך הזה?
למה אי אפשר פשוט לכתוב לו מה רוצים וזהו?
אז התשובה לשאלה הזו קצת מורכבת, כי לרוב יצירת הפורמפט מורכבת משתי פעולות שונות:
כשאנחנו ניגשים לכתוב פרומפט, אנחנו מגדירים קודם כל *לעצמנו* מה אנחנו רוצים לקבל וזה עוזר לנו להיות יותר ספיצפיים.
לדוגמה, אם המטרה שלנו היא לעשות מחקר מתחרים ופשוט נכתוב לו בפרומפט "תעשה מחקר מתחרים על נטפליקס" נקבל תוצאה כלשהי, אבל מכיוון שזה מושג רחב ויש לו כוח חישוב מוגבל, בסבירות גבוהה הוא לא יקלע למה שרצינו. למשל איש מרקטינג אולי היה מצפה לקבל נתחי שוק ואיש מוצר מצפה שיתעמק יותר בפיצ'רים וביקורות של משתמשים.
לכן, חלק משמעותי ממה שאנחנו קוראים לו "הנדסת פרומפטים" הוא בכלל לא הנדסה אלא תהליך של אפיון והגדרת המשימה וכדי להצליח פה המפתח הוא להיות מאד ספיצפיים.
חלק השני, שלרוב נתפס כחלק היותר סקסי הוא יישום של אוסף של עקורונות ומחקרים שעוזרים למודלים להבין את המשימה בצורה טובה יותר וכך להגיע לביצועים גבוהים יותר. יש שיטות נפוצות כמו Chain of thoughts שמדברת על פירוק המשימה לשלבים ופה גם תוכלו למצוא את כל השטיקים והטריקים כמו לתת לו טיפ ולהוסיף מפרידים כמו ### שמראים לו איפה כל חלק נגמר ועוזרים לנו להרגיש כמו מהנדסי פרומפטים מתוחכמים… .
ואם נחזור לשאלה - התשובה היא שאת החלק הראשון כנראה נצטרך להמשיך לעשות בעצמנו (עד שהAI ידע לקרוא את המחשבות שלנו) אבל החלק השני צפוי להיעלם מהעולם , או יותר נכון להפוך להיות משהו שהצ'אט יכול לבצע בעצמו.
השבוע אנתרופיק הוציאו כלי חדש שזה בדיוק מה שהוא עושה. המשתמש כותב לו מה המשימה שהוא רוצה לבצע והכלי הופך אותה לפרומפט מושקע "לפי הספר". ממה שניסיתי זה עובד מצויין וראיתי גם ביקורות טובות של אנשים שאני מעריך ועוקב אחריהם. סביר להניח שהשלב הבא יהיה להוסיף אותו לתוך הממשק של הצ'אט ואחר כך להטמיע אותו באופן מובנה מאחורי הקלעים כך שלא נצטרך לעשות כלום.
אגב, כשנתקלתי בכלי הזה, השאלה שהכי העסיקה היא מהו ה"מטא-פרומפט"? כלומר - מהו הפרומפט שמפעיל את הכלי הזה? אז אחרי קצת חפירה הצלחתי למצוא גרסה קצת יותר ישנה שלו שאחד המפתחים של אנתרופיק פרסם. ה"רוטב הסודי" שלהם הוא שהם הוסיפו לתוכו המון דוגמאות, מה שמסביר למה הפרומפט הוא באורך של 17 עמודים....
רוצים לנסות את מחולל הפרומפטים בעצמכם? כך תעשו זאת:
1.התחברו לאתר המפתחים של אנתרופיק (בחינם)
2.בחרו באופציה Generate a prompt
3.הקלידו את הבקשה ותקבלו את הפרופמפט
*למרות שמדובר בפרומפט שקלוד כתב, לפי דעתי הוא יכול לעבוד אחלה גם ב-ChatGPT כי העקרונות זהים.
את ה"מטא-פרומפט" תוכלו למצוא בקישור הזה תחת "Metaprompt text"
למחולל הפרומפטים:
console.anthropic.com
עוד כמה עדכונים:
השבוע איליה סוצקובר, אחד הפאונדרים של OpenAI ולדעת הרבים המוח שמאחורי ChatGPT, הודיע שהוא עוזב את החברה. העזיבה מגיעה על רקע הדרמה שקרתה בבורד בתחילת השנה ועדיין לא ברור לאן פניו מועדות. אגב, איליה הוא ישראלי לשעבר עם תואר באוניברסיטה הפתוחה.
אי אפשר בלי קצת הומור לסיום: מה קורה שברקוני פוגש את צ’אטג’יפיטי.
עד כאן להשבוע! אם אתם רוצים לקרוא תוכן שפיספסם תוכלו למצוא אותו בבלוג ואם יש נושאים שמעניינים אתכם ותרצו שאכתוב עליהם אשמח לשמוע.
בקשה קטנה לסיום - אם אהבתם את התוכן אשמח שתעזרו לי להפיץ את הניוזלטר ולשלוח אותו למישהי או מישהו שלדעתכם יוכל להפיק ממנו ערך 🙏🏻
שיהיה סופשבוע שקט
אמיתי