هوش مصنوعی روز به روز در حال رشد و توسعه است و تواناییهای آن برای انجام فعالیتهای پیچیده به طور فزایندهای افزایش مییابد اما انجام چنین فعالیتهایی نیازمند قدرت محاسبهای گستردهای است. روشی کارآمدتر میتواند به صرفهجویی در زمان، انرژی و قدرت محاسباتی که برای آموزش یک مدل هوش مصنوعی نیاز است، کمک کند.
مدلهای یادگیری عمیق به طور معمول از شبکهی عظیمی از نورونهای مصنوعی ساخته شدهاند. این نورونها به وسیلهی کدهای رایانهای که یک ورودی را دریافت میکنند و آن را به صورت یک خروجی تغییریافته عبور میدهد، کار میکنند. این کدهای رایانهای سیناپسهای واقعی نورونها را شبیهسازی میکنند.
با دستکاری این کدها در هزاران یا میلیونها آزمایش میتوان مدلهای هوش مصنوعی را آموزش داد تا فعالیتهایی مثل تشخیص یک فرد در تصویر و دیجیتالی کردن متن از روی تصویر را به انجام برسانند.
محققان برای آموزش یک مدل، فرآیندی تکرار شونده انجام میدهند که شامل وارد کردن داده، بررسی کیفیت خروجی و سپس محاسبه یک گرادیان است که نشان میدهد چگونه کدهای رایانهای باید برای بهبود عملکرد هوش مصنوعی تغییر کنند.
این فرآیند شامل انتقال داده از یک سوی شبکهی عصبی به سمت دیگر و سپس تکرار آن به صورت برعکس و بازگرداندن آن به محل اولیه برای محاسبه گرادیان است.
اکنون آتلیم گونش بایدین (Atılım Güneş Baydin) در دانشگاه آکسفورد و همکارانش این فرآیند دو مرحلهای را به یک مرحله کاهش دادهاند، به طوری که حد گرادیان به دست آمده به اندازه کافی موثر است و به همین دلیل نیازی به مرحلهی دوم نیست. از نظر تئوری انجام این کار میتواند زمان لازم برای آموزش یک هوش مصنوعی را به نصف کاهش دهد.