ניהול חלון ההקשר

חלון ההקשר הוא הזיכרון של המודל בשיחה. כשהוא מתמלא, המודל ״שוכח״ דברים מההתחלה — או פשוט מסרב לענות.

אסטרטגיות מקצועיות

1. RAG (Retrieval Augmented Generation)

במקום להזין למודל מסמך של 500 עמודים, שלוף ממנו רק את 3 הפסקאות הרלוונטיות. דורש Vector DB.

2. Summarization Chains

כל 10 הודעות, סכם את השיחה למשפט אחד והחלף את ההיסטוריה בסיכום.

3. Sliding Window

שמור רק את N ההודעות האחרונות + system message.

4. Structured Output

בקש מהמודל לענות ב-JSON עם שדות ספציפיים — תשובות קצרות יותר, עלות נמוכה יותר.

כלל אצבע לכלכלת עלויות

עלות = (tokens_in × price_in) + (tokens_out × price_out)

Claude Sonnet: $3/$15 למיליון טוקנים. שיחה רגילה ≈ סנט אחד. סוכן שרץ ברקע 24/7 ≈ עשרות דולרים ביום.