کوچک‌ترین ابرکامپیوتر هوش مصنوعی جهان رونمایی شد + عکس_خبرخوان

فکر کنید قدرتی معادل سرورهای غول‌پیکر دیتاسنترها را در دستگاهی به اندازه یک پاوربانک در جیب خود حمل کنید. این چنین دستگاهی اکنون با نام Tiiny AI Pocket Lab به حقیقت مدام است. استارتاپ آمریکایی Tiiny AI دستگاهی معارفه کرده که رسماً توسط گینس به گفتن «کوچک‌ترین ابرکامپیوتر شخصی هوش مصنوعی جهان» به ثبت رسیده است. این گجت می‌تواند مدل‌های زبانی بزرگ را بدون نیاز به اینترنت یا کارت گرافیک‌های گران‌قیمت، به‌صورت کاملاً آفلاین اجرا کند.

به گزارش TechPowerUp، این دستگاه کوچک که ظاهری همانند به یک هارد اکسترنال دارد، قدرتی فراتر از فکر اراعه می‌دهد. Tiiny AI Pocket Lab می‌تواند مدل‌های زبانی با ۱۲۰ میلیارد پارامتر (در سطح GPT-4) را به‌صورت لوکال اجرا کند. این دستگاه برای پوشش ۸۰ درصد از نیازهای واقعی کاربران طراحی شده و مدل‌های محبوب متن‌باز همانند لاما، دیپ‌سیک، میسترال و Qwen را با یک کلیک نصب و اجرا می‌کند.

مشخصات فنی این ابرکامیپوتر بدین صورت است:

• پردازنده: ARMv9.2 با ۱۲ هسته پردازشی.
• رم: ۸۰ گیگابایت حافظه LPDDR5X.
• فضای ذخیره‌سازی: ۱ ترابایت حافظه SSD.
• قوت پردازشی عصبی: نزدیک به ۱۹۰ تریلیون عملیات‌درثانیه (TOPS).

کوچک‌ترین ابرکامپیوتر هوش مصنوعی جهان

مسئله شگفت این دستگاه، حذف کارت گرافیک مجزا (Discrete GPU) و مصرف انرژی زیاد پایین (۶۵ وات) است. مهندسان Tiiny AI با منفعت گیری از دو تکنولوژی نرم‌افزاری پیشرفته، نیاز به سخت‌افزار گران‌قیمت را دور زده‌اند:

1. موتور TurboSparse: این فناوری فقط نورون‌های الزامی در شبکه عصبی مدل (نه کل مدل) را فعال می‌کند، که علتافزایش کارایی هوش مصنوعی می‌شود.
2. موتور PowerInfer: این موتور متن‌باز بار پردازشی را به طور دینامیک بین پردازنده مرکزی (CPU) و واحد پردازش عصبی (NPU) تقسیم می‌کند تا سرعتی در حد سرورهای GPU اراعه دهد.

مقصد مهم این پروژه، برگشت دادن هوش مصنوعی از دیتاسنترها به دست مردم است. «سمر بوج» (Samar Bhoj)، مدیرعامل استارتاپ، می‌گوید: «هوش مصنوعی ابری چالش‌های وابستگی، صدمه‌پذیری و پایداری دارد. ما می‌خواهیم هوش مصنوعی را خصوصی و شخصی کنیم.»

با منفعت گیری از این دستگاه همه داده‌ها و اسناد شما روی خود دستگاه و با رمزنگاری بانکی ذخیره خواهد شد و هیچ زمان به اینترنت ارسال نمی‌شوند. این چنین چون نیازی به ارسال خواست به سرور نیست، تأخیر شبکه حذف می‌شود. علاوه‌بر‌این، مصرف انرژی آن کسری از مصرف دیتاسنترهای بزرگ است که به نگه داری محیط‌زیست پشتیبانی می‌کند.