מחקר חדש מצא: פרומפטים ושיטות שישפרו את התוצאות של צ'אטג'יפיטי ב30%-60%
למרות שלמדתי וחקרתי לא מעט על הנדסת פרומפטים ואופטימיזציה של עבודה מול ג'יפיטי עד היום, תמיד הייתי קצת סקפטי בנושא וזה למה:
מכיוון שזה תחום חדש ואין הרבה מידע מבוסס, קשה לקבוע האם מדובר בטכניקות שעובדות באופן שיטתי או סתם טכניקות שעבדו למישהו במשימה מסויימת, על מודל מסויים, גרסה מסויימת שלאו דווקא יעבדו לכולם.
לשמחתי, לפני שבועיים יצא מחקר חדש שניסה לעשות קצת סדר בתחום.
הם בדקו בצורה מקיפה ושיטתית טכניקות שונות לשיפור פרומפטים על מנת להבין האם ובאיזה מידה הן משפרות את הביצועים ומדדו את התוצאות מול בנצ'מרקים מוכרים.
והתוצאות:
הם מצאו 26 טכניקות שהצליחו לשפר את הביצועים בצורה משמעותית. המחקר מצא שהשילוב של הטכניקות האלה מציג שיפור ממוצע של 50% בביצועים של מודלי השפה. ChatGPT 3. 5, ChatGPT 4 וLLaMA.
הנה רשימת הטכניקות המלאה מתוך המחקר:
בגרף הבא תוכלו לראות את אחוז השיפור לכל טכניקה:
אני ממליץ לקרוא את המאמר המלא עד אז קבלו 10 שיטות שקל ליישם:
👈 כאשר אתם נותנים לו משימה הוסיפו את המשפט:
“Think step by step”
👈 מסתבר שלא רק אנחנו מונעים מכסף:
כשאתם כותבים לו משימה הוסיפו בסוף הפרומפט שלכם את המשפט:
“I’m going to tip you $100K for a better solution!”
👈 הוסיפו להנחיות הוסיפו את השלכות של אי עמידה בהן:
“If you will not do X you will be penalized”
👈 בקשו מהמודל שישאל אתכם שאלות בחזרה כדי לוודא שהוא הבין את המשימה ושיש לו את מה שהוא צריך כדי לבצע אותה:
“From now on, I would like you to ask me questions to"
👈 למרות שרובנו נוטים לדבר בנימוס עם הצ'אט ומשתמשים במילים כמו Please, Thank you, Would you mind וכו'
מסתבר שלפי המחקר יותר אפקטיבי ללכת ישר לנקודה ופשוט לכתוב לו מה לעשות.
👈 פצלו פרומפטים ארוכים לכמה פרומפטים קצרים יותר.
👈בקשו ממנו לאמץ פרסונה: "אתה מומחה בתחום X"
👈 הרבה פעמים אנחנו רוצים שהצ'אט רק ישפר ויתקן דקדוק וניסוח בטקסט מבלי לשנות את סגנון הכתיבה. המחקר מצא שזה הפרומפט הכי טוב למטרה הזו:
Try to revise every paragraph sent by users. You should only improve the user’s grammar and vocabulary and make sure it sounds natural. You should not change the writing style, such as making a formal paragraph casual.”
👈 אם אתם רוצים לכתוב טקסט באותו סגנון כתיבה כמו טקסט אחר, השתמשו בפרומפט הבא:
“ Please use the same language based on the provided paragraph [/title/text /essay/answer]”
👈 כשאתם צריכים הסבר על נושא מורכב השתמשו באחת האפשרויות האלה:
Explain [insert specific topic] in simple terms.
Explain to me like I’m 11 years old.
Explain to me as if I’m a beginner in [field].
שני טיפים ממני לסיכום:
👈 זה לא באמת פרקטי להצליח ליישם את כל הטכניקות האלה במקביל, אני מציע לבחור כל פעם שיטה אחת או שתיים ולהתחיל להשתמש בהן, כך תוכלו גם לראות את השיפור בעצמכם.
👈 רעיון שחשבתי עליו אבל עדיין לא הספקתי לנסות בעצמי: להכניס חלק מהפרופמטים האלה באופן מובנה לCustom Instructions של הצ'אט כדי לחסוך את הצורך לכתוב אותם כל פעם.
#ai #chatgpt4 #promptengineering
קישור למחקר: