שרת GPU בלי לקרוע את הכיס

בשנים האחרונות הביקוש לשרתי GPU צובר תאוצה עם השימוש הגובר בבינה מלאכותית. מצאנו עבורכם מאגר עצום של שרתים במחירים נמוכים משמעותית מהמקובל בשוק.

---

אז בלי הקדמות מיותרות, שם החברה הוא Vast.ai.

מדובר באתר המציע שירותים שונים, בינהם מאגר שרתי GPU שיתופי, והנה אני מסביר למה אני מתכוון כשאני אומר שיתופי...

שלא כמו ספקיות אחרות שמחזיקות חווה עם שרתים במיקום מרכזי, Vast מורכבת מהמון ספקי GPU פרטיים או ספקים מאומתים שמשכירים את השרת לתקופת זמן מסויימת.

לכל שרת מחיר נקוב (ושונה) ופרק זמן בו השרת יהיה זמין.

תקופת הזמינות נעה בין מספר ימים למספר חודשים. אבל רגע, לפני שנבהלים, אני אישית עובד עם השרתים של Vast תקופה של מעל שנה ונוכחתי לדעת שברוב המקרים תקופת השכירות מתארכת באופו אוטומטי, וכשזה לא קורה, אני מקבל לא מעט התראות על מועד הסיום המתקרב.

יומיים לפני כן, אני ניגש לאתר ומבצע השכרה של שרת נוסף בדקות בודדות.

עד כמה זה זול?

אז לצורך ההשוואה, RTX-4090 עומד על מחיר ממוצע של כ-0.49 לשעה כאשר ב-Vast אפשר למצוא בקלות את אותו השרת ב-0.35 לשעה ואפילו בפחות.

אם נכפיל את ההפרש ב-720 שעות חודשיות נגיע להוזלה של כ-400 ש״ח לשרת.

הפרוייקט האישי שלי פעיל כל הזמן עם לא פחות מ-4 שרתים, תעשו את החשבון...

למתכנתים שבנינו...

לאלו שאוהבים ללכלך את הידיים עם קוד יש ל-Vast המון דברים להציע.

אחד הדברים שהכי שימושיים עבורי הוא ה-API שהם מספקים.

ניתן לבצע שאילתות על מנת לקבל רשימה עם שרתי GPU לפי סינון אותו אתם בוחרים,

הסינון כולל עשרות פרמטרים כמו מחיר, דגם, מיקום ועוד...

אחרי שמצאנו את המכונה הנחשקת, ניתן לשכור את השרת דרך קריאת API נפרדת.

יש כמובן עוד די הרבה פונקציות שה-API מאפשר...

תמיכה ב-Docker

דבר נוסף שמאפשר לי שימוש ב-scale הוא היכולת להגדיר template משלי.

אם יש לכם למשל פרויקט פייתון, אתן יכולים לייצר Docker Image, לאחסן אותו ב- Docker-hub או כל כלי אחר שאתם מכירים, להגדיר template ב-Vast כך שבכל פעם שתשכרו מכונה, היא תריץ את ה- Image שהגדרתם.

ניתן גם להגדיר משתני סביבה באופן דינאמי (אם משתמשים ב- API) או משתנים קבועים מראש (אם שוכרים את המכונה דרך ממשק הweb ומשתמשים ב tempalte)

לסיכום

אם אתם מפתחים מוצר מבוסס בינה מלאכותית ולא בא לכם לקרוע את הכיס על שרתי GPU, אז .vast.ai היא אופציה נהדרת עבורכם, אחרי שימוש שוטף של מעל שנה, אני ממליץ בחום.

GPU server