How to train model on large batches when GPU can’t hold more than a few samples - Tech It Yourself

Hot

Sunday, 22 September 2019

How to train model on large batches when GPU can’t hold more than a few samples

How can you train model on large batches when GPU can’t hold more than a few samples?
There are some solutions:
  - Gradient Accumulation
  - Gradient Checkpointing
  - Distributed training: training on several machines

No comments:

Post a Comment

Thường mất vài phút để quảng cáo xuất hiện trên trang nhưng thỉnh thoảng, việc này có thể mất đến 1 giờ. Hãy xem hướng dẫn triển khai mã của chúng tôi để biết thêm chi tiết. Ðã xong