ראיון עם חגי לופסקו - SVP AI Inference בחברת Cerebras Systems

Listen to this episode from Hidden layers on Spotify. חגי חוזר אלינו בפעם השנייה והפעם בתפקיד חדש כ-SVP AI Inference בחברת Cerebras Systems. למי שלא מכיר, חברת Cerebras היא בין המתחרות הכי גדולות של Nvidia והיא מפתחת שבבים שמתאימים גם לאימון מודלים וגם להרצה שלהם. הם בנו כמה מחשבי על ברחבי העולם וגם Perplexity ומיסטרל בחרו בחומרה שלהם כדי להריץ את המודלים שלהם.   בשיחה דברנו על ההבדלים בינם לבין המתחרות, איך חומרה יכולה להשפיע קצב ג'ינרוט הטוקנים, על הרצה של מודלים בפרודקשיין וגם על כל תחום ה-Inference.