איך להפוך למובילי GenAI בארגון שלכם
וגם: ומה הקשר בין המחקרים של כהנמן וטברקסי להנדסת פרומפטים?
אהלן חברים!
היום בתפריט:
איך להפוך למובילי.ות GenAI בארגון שלכם.
שינוי קטן בפרומפט - השפעה גדולה.
לחשוב מהר, לחשוב לאט, לחשוב "Step by step": מה הקשר בין המחקרים של כהנמן וטברקסי להנדסת פרומפטים?
איך להפוך למובילי.ות GenAI בארגון שלכם.ן
אז אתם כבר נינג'ות ב -ChatGPT, מכירים את כל השטיקים והטריקים והפרודוקטיביות שלכם השתפרה בעשרות אחוזים - אבל איכשהו עדיין מרגישים שלאנשים מסביבכם לא נפל האסימון… מוכר לכם?
אם כן, אז יש לכם הזדמנות.
בכל פעם שטכנולוגיה חדשה שנכנסת לחיינו, קיימת קבוצה קטנה של Early Adopters - אלה שמאמצים אותה ראשונים, לומדים אותה, פורצים איתה גבולות ובהמשך גם מפיצים את הבשורה לשאר האנשים.
חלק קטן מהם, אלה שיודעים למנף את הסיטואציה, מצליחים להפוך את המצב הזמני הזה לקבוע ולמצב את עצמם כמומחים של התחום בתוך החברה או המחלקה בה הם עובדים ובכך מייצרים לעצמם יתרון א-סימטרי והזדמנויות.
אבל איך עושים את זה בת'לכס?
לדעתי, הדרך הכי טובה היא פשוט לייצר ערך. למצוא את המקומות שבהם "הכסף על הרצפה", הפעולות והדברים הפשוטים שייצרו לארגון ערך משמעותי תוך זמן קצר ובלי שעות רבות של השקעה.
הנה כמה רעיונות כאלה שתוכלו ליישם כבר מחר בבוקר:
רכזו את המידע - בתור התחלה, הכינו ספריית פרומפטים משותפות ומתעדכנת עם פרומפטים למשימות הנפוצות בחברה או במחלקה. כדי שזה באמת יצליח את חייבים להיות מאד מקצועיים ולוודא שמעלים לשם פרומפטים רק אחרי שניסיתם אותם ועשיתם עליהם אופטימיזציה של הלייף. אם אתם רוצים דוגמה איך עושים את זה נכון אני ממליץ לקרוא את הבלוג המעולה ש Tom Orbach כתב בנושא.
הנגישו את המידע - אחרי שנסגרתם על היוס קייסים הכי נפוצים, בנו בעצמכם כמה Custom GPTs ייעודיים למשימות נפוצות בחברה או במחלקה שלכם. תוכלו להיעזר בפרומפטים שייצרתם בסעיף הקודם בתוספת דאטה רלוונטי וכסיימתם שתפו אותם עם הצוות. לא סגורים איך לעשות את זה? כתבתי על זה פה.
העבירו הדרכה לצוות - אחרי שסיימתם את שני הסעיפים הקודמים, יהיה לכם מספיק ידע וניסיון להעביר הדרכה בסיסית לצוות שתכלול טיפים לכתיבת פרומפטים, איך להשתמש בג'יפיטי בצורה מיטבית ואיך לבנות Custom GPTs. תופתעו לגלות כמה אנשים עדיין לא משתמשים או לא מכירים את הפיצ'רים מעבר לצ'אט הרגיל ויוכלו להפיק מזה ערך.
ייצרו שיח - תפתחו ערוץ סלאק או קבוצת ווטסאפ לאנשים שמתעניינים בתחום ותדאגו לשמור אותה אקטיבית ולשלוח לשם תוכן מעניין לפחות פעם בשבוע.
הפכו לנסייני הפיצ'רים של הארגון: כל מוצר Saas שמכבד את עצמו משיק בימים אלה פיצ'רים מבוססי AI וברוב המקרים הם גם Free trial למספר מוגבל של משתמשים. למשל, אם החברה שלכם עובדת עם Google Workspace תוכלו לקבל שבועיים התנסות בGoogle Duet שמשלבת את Gemini בתוך ג'ימייל, גוגל דוקס, סליידס וכו'. בשבועיים האלה תוכלו ללמוד איך לעבוד נכון עם הכלים האלה ולהעביר הדרכה לשאר העובדים.
הטמיעו סיכומי פגישות בארגון: מבלי ששמנו לב, תמלול וסיכום של פגישות וידאו הפך לקומודיטי. הבעיה? אנשים לא יודעים שהוא קיים, או סתם שוכחים להפעיל אותו. אם אתם משתשמים בזום יש כבר פיצ'ר תמלול וסיכום מובנה שרק צריך להפעיל ואם בגוגל מיט אז יש כרגע רק תמלול מובנה שאפשר אחר כך ב-5 דקות עבודה לשלוח ל-ChatGPT או לקלוד שיסכם לכם. אם אתם משתמשים בTeams (משתתף בצערכם) גם אמור להיות פיצ'ר תמלול וסיכום. אז מה נשאר לכם עשות? פשוט לוודא שכולם זוכרים להפעיל את התמלול ושהסיכומים נשלחים בסוף כל פגישה.
שינוי קטן בפרומפט - השפעה גדולה
מסתבר שמודלי שפה מאד רגישים למבנה של הפרומפטים ולעיתים שינוי קטן יכול להשפיע בצורה ניכרת על התוצאה.
הנה דוגמה:
כאשר נרצה שהצ'אט יבצע עבורנו משימה על סמך רפרנס כלשהו (למשל שרשור אימיילים, טקסט וכו') לרוב נשלח את הרפרנס הזה ביחד עם הפרומפט בשביל לתת קונטקסט, אבל האם משנה הסדר בו נכתוב אותם?
מחקר שעוסק בתחום של ניתוח נתונים פיננסים בעזרת מודלי שפה שונים כמו ג'יפיטי וקלוד ערך השוואה איזה אופציה עדיפה מבין השתיים:
אופציה ראשונה: לכתוב קודם קונטקסט ואז את השאלה
אופציה שניה: לכתוב קודם את השאלה ואז את הקונטקסט
כפי שרואים בטבלה שבתמונה, המחקר מצא שהאופציה הראשונה מגיעה לתוצאות הרבה יותר טובות!
זכרו: תמיד להתחיל בקונטקסט ורק אז השאלה.
טיפ נוסף: כדאי לציין בפרומפט איפה מתחיל ונגמר כל חלק באופן הבא:
### context ###
### instructions ###
לחשוב מהר, לחשוב לאט, לחשוב "Step by step"
מה הקשר בין המחקר של כהנמן וטברסקי להנדסת פרומפטים?
בשבוע שעבר הלך לעולמו פרופסור דניאל כהנמן, אבי הכלכלה ההתנהגויות, זוכה פרס נובל לכלכלה וכותב הספר שהפך לתנ"ך של התחום "לחשוב לאט לחשוב מהר" יחד עם שותפו עמוס טברסקי.
אחת התאוריות המרכזיות של כהנמן וטברסקי בספר היא שיש לנו שתי מערכות חשיבה במוח: System 1 and System 2.
מערכת 1: חשיבה מהירה - מנוהלת על ידי רגש ואינטואיציה.
מערכת 2: חשיבה איטית - חשיבה יותר רציונלית ומכוונת.
לשיטתם, רוב ההחלטות שלנו מתקבלות באמצעות מערכת 1 וזו ברירת המחדל שלנו. הבעיה עם המערכת הזו היא שאנחנו לא מספיק מודעים לחסרונות שלה, כלומר לקיצורי הדרך שהיא עושה.
בספר הוא נותן דוגמאות להטיות והיוריסטיקות שונות שמשפיעות עלינו בחיי היומיום וגם תרגילים קצרים להמחשה שלהם.
הנה חידה אחת שזכורה לי במיוחד:
יש כובע וכדור. ביחד הם עולים 2.10 שקלים.
הכובע עולה 2 שקלים יותר מהכדור - אז כמה עולה הכדור?
רוב האנשים, אומרים שהכדור עולה 10 אגורות. אבל - אם זה היה נכון, הכובע, היה עולה 2 שקלים יותר, וזה אומר 2.10 שקל. ואז הסכום שלהם היה 2.20 שקלים.
לכן התשובה הנכונה היא 5 אגורות.
ואיך זה קשור למודלי שפה?
למרות שהספר פורסם הרבה לפני שתחום הנדסת פרומפטים היה קיים, מסתבר שחוקרים גילו שבאופן מפתיע (או אולי לא) למודלי שפה יש התנהגות דומה.
כשאנחנו כותבים למודל שאלה או משימה, הנטייה הטבעית שלו תיהיה לענות בצורה מהירה ופחות מדוייקת, בדומה לנטיה שלנו להשתמש במערכת 1.
לכן, אחד מכיווני המחקר המעניינים בתחום של הנדסת פרומפטים הוא הניסיון לגרום למודלי השפה להמיר זמן תגובה מהיר באיכות תשובה גבוהה יותר ובעצם "להפעיל" את מערכת 2.
ישנם כמה טכניקות שמנסות לעשות את הפעולה הזו, השיטה המוכרת ביותר נקראת Chain of thoughts -CoT, שיטה שפורסמה לראשונה במחקר של חוקרי גוגל והיא בעצם שם דיי מפוצץ לתהליך של פירוק של משימות מורכבות לכמה שלבים של תתי משימות. באופן הזה אנחנו בעצם מאלצים את המודל להשקיע יותר כוח חישוב בכל שלב וגם לחשוב בצורה מתודית ומאורגנת יותר.
ואיך עושים את זה בפועל?
הדוגמה הפשוטה ביותר ליישום של השיטה הזו היא המחקר שגילה שאם מוספים לפרומפטים את המשפט הפשוט "think step by step" הוא משפר את התוצאות ב20% עד 40% כי הוא בעצם מכריח את המודל "לחשוב" יותר זמן.
דרך אפקטיבית יותר ליישום של הטכניקה הזו היא ממש לפרק את המשימה בעצמנו לכמה שלבים ולכתוב אותם בתוך הפרומפט לפי הסדר או לתת לו דוגמא לשאלה ותשובה ובתוך התשובה לכתוב את השלבים בהם הגענו לפתרון. זו דוגמה מתוך המאמר של גוגל:
בשנה האחרונה התחום התפתח ומחקרים מצאו דרכים לשכלל את הטכניקה הזו. השדרוג הראשון נקרא "Chain of thoughts with self consistency" שיטה בה נותנים למודל להריץ כמה Chains במקביל על אותה המשימה ואז בוחרים בתוצאה הכי טובה.
שיטה נוספת היא Tree of thoughts - שגם משווה בין התוצאות אבל במקום להשוות בסוף התהליך עושה זאת לאחר כל אחד מהשלבים וממשיכה רק מהאופציה הכי טובה (ובכך חוסכים כוח חישוב).
שתי השיטות האחרונות מיועדות למפתחים ופחות רלוונטיות למשתמשי הצ'אט כי הן מצריכות שילוב של אלגוריתמים בתהליך.
את ההשראה לפוסט קיבלתי מהסרטון של אנדריי קרפטי. החלק הרלוונטי בדקה 35:00 אבל אני ממליץ להקדיש שעה ולצפות בכל הסרטון המעולה הזה.
אם אהבתם מוזמנים לעזור לי להגדיל את המעגל ולשתף את הניוזלטר עם מישהי או מישהו שלדעתכם יוכל להפיק ממנו ערך 🙏🏻
שיהיה סופ”ש רגוע ומהנה
אמיתי