בהצלחה למי שרוצה להריץ 699 ומשהו מיליארד פרמטרים מקומית למקות שnvidia יצאו ךא מזמן עם מחשב על קטן בשווי 300 דולר שמתיימר להריץ עד מילארד פרמטרים של מולדים של LLM – אז יכול להיות שניתן יהיה לשרשר ולהגדיל את הכוח..

אולי עסקם בינוניים יוכלו לחשוב על רעיונות כאלה ואז אשרקה להריץ מקומית מודל כזה מטורף של 600 מילארד פרמטרים..

אבל בבית? חח אלא אם אתה מולטי מיליונר לא הייתי חושב על זה.

אם תריץ אותו מקומית הכל אמור להיות בסדר, הסיכון הוא בעיקר בעבודה בצד שרת שלהם, כלומר באתר.