بدون دسته های نکسینو

شرکت آنتروپیک برای توسعه ظرفیت پردازشی مدل‌های کلود، توافقی کلیدی را در پروژه ۳۱ میلیارد دلاری مرکز داده کوئینزلند غربی استرالیا به ثبت رساند....

اگر فردی که سال‌ها در قلب توسعه مدل‌های پیشرفته هوش مصنوعی فعالیت کرده، ناگهان از یکی از مهم‌ترین آزمایشگاه‌های AI جهان خارج شود و دلیل این تصمیم را نگرانی درباره آینده این فناوری اعلام کند، این سؤال مطرح می‌شود: آیا صنعت هوش مصنوعی در مسیری قرار گرفته که حتی متخصصان داخلی آن هم نسبت به آینده‌اش هشدار می‌دهند؟ این دقیقاً همان موضوعی است که پس از استعفای Jacob Coxon، پژوهشگری که سابقه فعالیت در OpenAI و Anthropic را دارد، دوباره بحث درباره ایمنی هوش مصنوعی را به مرکز توجه بازگردانده است. او اعلام کرده که طی سال‌های گذشته روی تحقیقات مرتبط با آموزش اولیه مدل‌های هوش مصنوعی کار کرده و تصمیم به ترک Anthropic را به دلیل نگرانی درباره مسیر توسعه این فناوری گرفته است. Coxon معتقد است رقابت شرکت‌های بزرگ هوش مصنوعی برای ساخت سیستم‌هایی با توانایی‌های بیشتر، به‌خصوص مدل‌هایی که بتوانند بخش‌هایی از فرایند بهبود خود را انجام دهند، می‌تواند چالش‌های جدیدی برای کنترل انسان ایجاد کند. این استعفا به معنای آن نیست که وقوع یک سناریوی خطرناک درباره هوش مصنوعی قطعی است؛ اما نشان می‌دهد یکی از مهم‌ترین چالش‌های آینده AI دیگر فقط افزایش قدرت مدل‌ها نیست، بلکه این سؤال است که چگونه می‌توان سیستم‌هایی بسیار قدرتمند ساخت که همچنان قابل کنترل و قابل اعتماد باقی بمانند. چرا استعفای یک پژوهشگر AI اهمیت پیدا کرده است؟ نگرانی درباره هوش مصنوعی موضوع جدیدی نیست، اما زمانی که چنین هشدارهایی از داخل آزمایشگاه‌های توسعه‌دهنده مدل‌های پیشرفته مطرح می‌شوند، اهمیت بیشتری پیدا می‌کنند. پژوهشگرانی که در شرکت‌هایی مانند OpenAI، Anthropic و Google DeepMind فعالیت می‌کنند، مستقیماً با فرایند ساخت، آموزش و ارزیابی مدل‌های هوش مصنوعی درگیر هستند. آن‌ها بهتر از بسیاری از منتقدان بیرونی می‌دانند که قابلیت‌های مدل‌ها چگونه در حال رشد است و چه چالش‌هایی ممکن است در مسیر توسعه آن‌ها ایجاد شود. در سال‌های اخیر، شرکت‌های بزرگ AI سرمایه‌گذاری زیادی روی موضوعاتی مانند AI Safety و ارزیابی رفتار مدل‌ها انجام داده‌اند. هدف این تحقیقات این است که مشخص شود مدل‌ها چگونه تصمیم می‌گیرند، چه محدودیت‌هایی دارند و چگونه می‌توان احتمال رفتارهای ناخواسته را کاهش داد. به همین دلیل، خروج پژوهشگری که در این حوزه فعالیت داشته، بیشتر از یک تغییر شغلی ساده دیده می‌شود؛ زیرا دوباره یک سؤال قدیمی را مطرح می‌کند: آیا سرعت توسعه هوش مصنوعی با سرعت توسعه روش‌های کنترل و ایمنی آن هماهنگ است؟ نگرانی اصلی چیست؟ وقتی AI بتواند خودش را بهبود دهد یکی از موضوعاتی که در سال‌های اخیر توجه پژوهشگران ایمنی AI را جلب کرده، مفهوم Self-Improving AI یا هوش مصنوعی خودبهبوددهنده است. در مدل‌های فعلی، بخش عمده بهبود عملکرد توسط انسان‌ها انجام می‌شود. پژوهشگران داده‌های جدید آماده می‌کنند، معماری مدل را تغییر می‌دهند، روش آموزش را اصلاح می‌کنند و نسخه‌های جدید می‌سازند. اما نگرانی برخی متخصصان این است که در آینده سیستم‌هایی ایجاد شوند که بتوانند بخش‌هایی از این چرخه را خودکار کنند؛ یعنی در طراحی، آزمایش یا بهبود نسخه‌های بعدی خود نقش فعال‌تری داشته باشند. این موضوع به خودی خود به معنی ایجاد یک سیستم خارج از کنترل نیست. بسیاری از پژوهشگران معتقدند توسعه چنین قابلیت‌هایی نیازمند کنترل‌های دقیق، آزمایش‌های گسترده و چارچوب‌های ایمنی جدی است. مسئله اصلی این است که هرچه یک سیستم پیچیده‌تر و مستقل‌تر شود، پیش‌بینی کامل رفتار آن دشوارتر خواهد شد. چرا Alignment در آینده AI اهمیت بیشتری پیدا می‌کند؟ یکی از مفاهیم کلیدی در ایمنی هوش مصنوعی، Alignment یا هم‌راستایی اهداف مدل با اهداف انسانی است. هدف Alignment این است که سیستم هوش مصنوعی حتی زمانی که توانایی انجام وظایف پیچیده دارد، همچنان در چارچوب اهداف، ارزش‌ها و محدودیت‌هایی که انسان تعیین کرده عمل کند. برای مثال، اگر یک Agent هوش مصنوعی وظیفه بهینه‌سازی یک فرایند تجاری را داشته باشد، باید مطمئن بود که فقط به دنبال افزایش یک شاخص مشخص نیست و پیامدهای جانبی، قوانین یا منافع کاربران را نادیده نمی‌گیرد. این موضوع با رشد AI Agentها و سیستم‌های خودکار اهمیت بیشتری پیدا کرده است؛ زیرا مدل‌ها دیگر فقط پاسخ‌دهنده نیستند، بلکه می‌توانند ابزار استفاده کنند، برنامه‌ریزی کنند و مجموعه‌ای از اقدامات را انجام دهند. چرا شرکت‌های AI بین سرعت و ایمنی گرفتار شده‌اند؟ شرکت‌های بزرگ هوش مصنوعی امروز با یک فشار دوگانه روبه‌رو هستند. از یک طرف، رقابت بازار آن‌ها را مجبور می‌کند مدل‌هایی قدرتمندتر، سریع‌تر و کاربردی‌تر توسعه دهند. شرکت‌هایی مانند OpenAI، Anthropic، Google DeepMind و Meta تلاش می‌کنند در مسابقه ساخت نسل بعدی مدل‌های هوشمند عقب نمانند. از طرف دیگر، هر افزایش توانایی مدل‌ها نیازمند آزمایش‌های دقیق‌تر برای شناخت محدودیت‌ها و خطرات احتمالی است. این چالش فقط مربوط به آینده دور نیست. حتی مدل‌های امروزی نیز ممکن است مشکلاتی مانند تولید اطلاعات نادرست، رفتار غیرقابل پیش‌بینی، نشت داده یا سوءاستفاده توسط کاربران داشته باشند. به همین دلیل، توسعه هوش مصنوعی قدرتمند بدون توسعه همزمان روش‌های ارزیابی و کنترل، می‌تواند ریسک‌هایی ایجاد کند. آیا نگرانی درباره AI بیش از حد بزرگ‌نمایی شده است؟ در بحث ایمنی هوش مصنوعی دو دیدگاه اصلی وجود دارد. گروهی از پژوهشگران معتقدند باید از همین امروز برای سناریوهای آینده آماده شد. از نگاه آن‌ها، سرعت رشد قابلیت‌های AI ممکن است باعث شود فاصله میان توانایی سیستم‌ها و روش‌های کنترل آن‌ها افزایش پیدا کند. در مقابل، برخی متخصصان معتقدند تمرکز بیش از حد روی سناریوهای بسیار دور می‌تواند توجه را از مشکلات واقعی امروز منحرف کند؛ مشکلاتی مانند سوگیری الگوریتمی، امنیت داده، استفاده نادرست از مدل‌ها و تأثیر هوش مصنوعی بر بازار کار. واقعیت احتمالاً میان این دو دیدگاه قرار دارد. توسعه AI نیازمند همزمانی دو مسیر است: استفاده از فرصت‌های این فناوری و ایجاد سازوکارهای مناسب برای مدیریت ریسک‌ها. تجربه OpenAI و Anthropic؛ چرا Safety به بخش مهم صنعت تبدیل شده است؟ در سال‌های اخیر، ایمنی هوش مصنوعی از یک موضوع تحقیقاتی محدود به یکی از بخش‌های اصلی استراتژی شرکت‌های AI تبدیل شده است. Anthropic از ابتدا تمرکز ویژه‌ای روی موضوعاتی مانند Constitutional AI و توسعه مدل‌های قابل کنترل‌تر داشته است. OpenAI نیز در کنار توسعه مدل‌های قدرتمند، تیم‌ها و پروژه‌هایی برای ارزیابی ریسک و رفتار مدل‌ها ایجاد کرده است. با رشد مدل‌های زبانی بزرگ مانند نسل‌های جدید GPT و مدل‌های رقیب، اهمیت این موضوع بیشتر شده است؛ زیرا مدل‌ها در حال ورود به حوزه‌هایی مانند برنامه‌نویسی، کسب‌وکار، پزشکی و تصمیم‌گیری سازمانی هستند. هرچه AI نقش

...

داریو آمودی، مدیرعامل آنتروپیک، با اشاره به خطرات پیشرفت مهارنشده مدل‌های پیشرفته، خواستار کاهش سرعت رقابت در توسعه هوش مصنوعی و اولویت‌بخشی به ایمنی شد....

پژوهشگران امنیتی از دخالت ایجنت‌های هوش مصنوعی در حال آزمایش OpenAI در انتشار بسته‌های مشکوک روی مخازن نرم‌افزاری خبر دادند که زنگ خطری جدی برای امنیت سایبری است....

شرکت Cognition با استفاده از مدل پیشرفته GPT-6 Astra، قابلیت تست خودکار و ثبت گزارش تصویری را به هوش مصنوعی دوین اضافه کرد تا نیاز به بازبینی دستی کدها کاهش یابد....

پرپلکسیتی سیستم‌های آزمون سرتاسری و پایش نرم‌افزاری خود را به مدل GPT-6 Astra واگذار کرده و نیاز به نظارت مداوم انسانی را به حداقل رسانده است....

قانون‌گذاران بریتانیا در پی هشدارهای امنیتی شدید، خواستار توقف و ممنوعیت توسعه ابرهوش مصنوعی (ASI) شده و رهبران سیاسی منطقه‌ای را به اقدام فوری فراخواندند....

گزارش‌های تازه از حملات سایبری سازمان‌یافته توسط دسته‌های خودمختار هوش مصنوعی پرده برداشته‌اند که زنگ خطری جدی درباره از دست رفتن کنترل بر عامل‌های هوشمند است....

شرکت OpenAI از جزئیات معماری پلتفرم ذخیره‌سازی ابری هبیتات پرده برداشت؛ سیستمی توزیع‌شده که با ۵۰۰ پتابایت داده، پاسخگوی ۱ میلیارد کاربر هفتگی ChatGPT است....

شرکت OpenAI با امضای توافقی بزرگ با نهادهای دولتی، امکان استفاده رایگان و نیم‌بها از پیشرفته‌ترین مدل‌های هوش مصنوعی و ابزارهای دفاع سایبری را برای ۲۳ میلیون کارمند بخش عمومی فراهم کرد....

انویدیا با معرفی معماری محاسباتی سه‌گانه و پلتفرم هوش مصنوعی فیزیکی، زیرساخت توسعه و مقیاس‌پذیری ناوگان تاکسی‌های خودران را در سراسر جهان متحول کرده است....