مبحث gradient accumulation در شبکه های کانولوشنی وقتی مطرح میش | Tensorflow(@CVision)

مبحث gradient accumulation در شبکه های کانولوشنی وقتی مطرح میشه که نیاز داریم برای ترین شبکه سنگینمون بچ سایز های بالا بدهیم ولی محدودیت در رم GPU داریم؛ در اینجا مثل sub division در دارک نت میتوانیم پس از دیدن تعداد دلخواهی بچ وزن هارو آپدیت کنیم. پیاده سازی برای کراس و پایتورچ:
https://github.com/run-ai/runai/blob/master/runai/ga/README.md