מה זה Token בכלל?

היחידה הבסיסית שבה מודלי שפה חושבים

מודל שפה לא רואה אותיות או מילים — הוא רואה טוקנים. טוקן הוא חתיכת טקסט בגודל של בערך 4 תווים באנגלית או חצי מילה בעברית.

למה זה חשוב?

עלות — אתה משלם לפי טוקנים (קלט + פלט)

מגבלה — לכל מודל יש ״חלון הקשר״ (context window) מקסימלי

ביצועים — ככל שיש יותר טוקנים בהקשר, התגובה איטית ויקרה יותר

1,000 מילים באנגלית ≈ 1,300 טוקנים

1,000 מילים בעברית ≈ 2,500 טוקנים (!) — עברית יקרה יותר

ספר של 300 עמודים ≈ 100K טוקנים

קצר את הפרומפטים — אל תכתוב ״בבקשה אם תוכל אולי לכתוב לי״, פשוט ״כתוב״

השתמש ב-system message — הוא נכנס פעם אחת, לא בכל הודעה

נקה היסטוריה — שיחות ארוכות מצטברות