Horovod, một framework deep learning phân tán nguồn mở, đã trở nên phổ biến trong những năm gần đây nhờ khả năng mở rộng quy mô các mô hình deep learning trên nhiều GPU và các nút điện toán.