DeepSpeed

DeepSpeed
Original author(s)Microsoft Research
Developer(s)Microsoft
Initial releaseMay 18, 2020; 4 years ago (2020-05-18)
Stable release
v0.16.2 / December 18, 2024; 23 days ago (2024-12-18)
Repositorygithub.com/microsoft/DeepSpeed
Written inPython, CUDA, C++
TypeSoftware library
LicenseApache License 2.0
Websitedeepspeed.ai

DeepSpeed is an open source deep learning optimization library for PyTorch.[1]

Library

The library is designed to reduce computing power and memory use and to train large distributed models with better parallelism on existing computer hardware.[2][3] DeepSpeed is optimized for low latency, high throughput training. It includes the Zero Redundancy Optimizer (ZeRO) for training models with 1 trillion or more parameters.[4] Features include mixed precision training, single-GPU, multi-GPU, and multi-node training as well as custom model parallelism. The DeepSpeed source code is licensed under MIT License and available on GitHub.[5]

The team claimed to achieve up to a 6.2x throughput improvement, 2.8x faster convergence, and 4.6x less communication.[6]

See also

References

  1. ^ "Microsoft Updates Windows, Azure Tools with an Eye on The Future". PCMag UK. May 22, 2020.
  2. ^ Yegulalp, Serdar (February 10, 2020). "Microsoft speeds up PyTorch with DeepSpeed". InfoWorld.
  3. ^ "Microsoft unveils "fifth most powerful" supercomputer in the world". Neowin. 18 June 2023.
  4. ^ "Microsoft trains world's largest Transformer language model". February 10, 2020.
  5. ^ "microsoft/DeepSpeed". July 10, 2020 – via GitHub.
  6. ^ "DeepSpeed: Accelerating large-scale model inference and training via system optimizations and compression". Microsoft Research. 2021-05-24. Retrieved 2021-06-19.

Further reading

  • Rajbhandari, Samyam; Rasley, Jeff; Ruwase, Olatunji; He, Yuxiong (2019). "ZeRO: Memory Optimization Towards Training A Trillion Parameter Models". arXiv:1910.02054 [cs.LG].

Read other articles:

Sinking of the RMS Lusitania

World War I maritime disaster This article is about the historical event. For the 1918 animated film, see The Sinking of the Lusitania. Sinking of the RMS LusitaniaPainting of the sinking, from the German Federal ArchivesDate7 May 1915Time14:10 – 14:28LocationNorth Atlantic Ocean, near Old Head of Kinsale, IrelandCoordinates51°25′N 8°33′W / 51.417°N 8.550°W / 51.417; -8.550CauseTorpedoed by German U-boat U-20Outcome 1,198 of the 1,959 people aboard killed, le...

 

درم شوكي (نرغسان)

درم شوكي  - قرية -  تقسيم إداري البلد  إيران المحافظة كرمان المقاطعة عنبر أباد الناحية ناحية جنوب جبال بارز القسم الريفي قسم نرغسان الریفي السكان التعداد السكاني 24 نسمة (إحصاء 2006) معلومات أخرى التوقيت توقيت إيران (+3:30 غرينيتش) توقيت صيفي توقيت إيران (+4:30) تعديل مص...

 

Sebastian Schwarz (skoczek narciarski)

Ten artykuł dotyczy skoczka narciarskiego. Zobacz też: Sebastian Schwarz – siatkarz. Sebastian Schwarz Data urodzenia 13 sierpnia 2003 Klub WSV Reit im Winkl Dorobek medalowy Reprezentacja  Niemcy Mistrzostwa świata juniorów brąz Whistler 2023 druż. miesz. Sebastian Schwarz (ur. 13 sierpnia 2003) – niemiecki skoczek narciarski, reprezentant klubu WSV Reit im Winkl. Medalista mistrzostw świata juniorów (2023). W styczniu 2020 w Oberstdorfie zadebiutował w Alpen Cupie, zajmuj...

Kaisar Tiongkok

Kaisar Tiongkok Bekas Kerajaan Imperial Ying Zheng Penguasa pertama Qin Shi Huang Penguasa terakhir Puyi Gelar SapaanBìxià (陛下)Huáng Shàng (皇上)Shèng Shàng (聖上/圣上) Kediaman resmi Bervariasi sesuai dengan dinasti, yang terakhir adalah Kota Terlarang di Beijing Pendirian 221 SM Pembubaran 12 Februari 1912 Penuntut takhta Jin Youzhi(Dinasti Qing) Artikel ini memuat Teks Tionghoa. Tanpa bantuan render yang baik, anda mungkin akan melihat tanda tanya, kotak-kotak, atau simbol ...

 

Joshua Dürksen

Joshua Dürksen Joshua Dürksen en 2023.Datos personalesNombre Joshua DürksenNacionalidad ParaguayaNacimiento 27 de octubre de 2003 (20 años)Asunción, Paraguay[editar datos en Wikidata] Joshua Dürksen (Asunción, Paraguay; 27 de octubre de 2003) es un piloto de automovilismo paraguayo de ascendencia alemana. En 2023 fue decimonoveno en su segundo año con Arden Motorsport en el Campeonato de Fórmula Regional Europea y obtuvo un podio en el campeonato de Medio Oriente.[1]&#...

 

Resolusi 1506 Dewan Keamanan Perserikatan Bangsa-Bangsa

Resolusi 1506Dewan Keamanan PBBLibya di Uni AfrikaTanggal12 September 2003Sidang no.4.820KodeS/RES/1506 (Dokumen)TopikSituasi seputar LibyaRingkasan hasil13 mendukungTidak ada menentang2 abstainHasilDiadopsiKomposisi Dewan KeamananAnggota tetap Tiongkok Prancis Rusia Britania Raya Amerika SerikatAnggota tidak tetap Angola Bulgaria Chili Kamerun Spanyol Jerman Guinea Meksiko Pakistan Syria Resolusi 1506 Dewan ...

الدوري السويدي لكرة اليد

هذه المقالة تحتاج للمزيد من الوصلات للمقالات الأخرى للمساعدة في ترابط مقالات الموسوعة. فضلًا ساعد في تحسين هذه المقالة بإضافة وصلات إلى المقالات المتعلقة بها الموجودة في النص الحالي. (يناير 2018) الدوري السويدي لكرة اليد المعطيات اتحاد الاتحاد السويدي لكرة اليد تأسس 1931 فرق 14

 

Fatimid Caliphate

Fatimids redirects here. For the ruling dynasty of the Fatimid Caliphate, see Fatimid dynasty. Fourth Islamic caliphate (909–1171) Fatimid Caliphateٱلْخِلَافَة ٱلْفَاطِمِيَّةal-Khilāfah al-Fāṭimiyyah909–1171Evolution of the Fatimid CaliphateCapital Raqqada (909–921) Mahdia (921–948) al-Mansuriya (948–973) Cairo (973–1171) Common languages Arabic Berber languages Coptic Religion Isma'ili Shi'a Islam (State religion)GovernmentHereditary caliphateCal...

 

Olivia Richards

For the character from the soap opera Home and Away, see Olivia Fraser Richards. For the British politician, see Olivia Blake. Soap opera character Olivia RichardsSunset Beach characterPortrayed byLesley-Anne DownDuration1997–99First appearanceJanuary 6, 1997Last appearanceDecember 31, 1999ClassificationFormer; regularCreated byRobert Guza, Jr.Introduced byGary Tomlin, Aaron Spelling and E. Duke VincentIn-universe informationOccupationBroadcasting ExecutiveFatherTho...

San Juan (Argentina)

San Juan Ciudad, municipio y capital provincial Desde arriba, de izquierda a derecha: Catedral • Auditorio Juan Victoria • Vista de la ciudad • Centro Cívico de San Juan • Casa natal de Domingo Faustino Sarmiento Escudo San JuanLocalización de San Juan en Provincia de San Juan San JuanLocalización de San Juan en ArgentinaCoordenadas 31°32′15″S 68°32′11″O / -31.5375, -68.536388888889Idioma oficial EspañolEntidad Ciudad, municipio y capital provincial ...

 

Konferensi Tingkat Tinggi Amerika Serikat–Korea Utara Hanoi 2019

KTT Hanoi Amerika Serikat–Korea Utara 2019KTT HanoiLogo yang dipakai oleh Amerika SerikatLogo yang dipakai oleh VietnamPresiden Donald Trump dan Pemimpin Kim Jong-un berjabat tangan pada permulaan KTT[1]Tuan rumah VietnamTanggal27–28 Februari 2019TempatMetropole Hanoi, HanoiPesertaTemplat:Country data DPRK Kim Jong-un Donald TrumpSebelumnyaKonferensi Tingkat Tinggi Singapura Amerika Serikat-Korea Utara 2018SelanjutnyaKonferensi Tingkat Tinggi Amerika Serikat–Korea 2019Situs...

 

Laan van Nieuw Guinea, Spinozaplantsoen en omgeving

Buurt Laan van Nieuw Guinea, Spinozaplantsoen en omgeving Buurt van Utrecht Kerngegevens Gemeente Utrecht Coördinaten 52°5'32,6NB, 5°5'15,4OL Oppervlakte 35 ha.   Inwoners (2017) 4.300[1] Overig Postcode(s) 3533 Laan van Nieuw Guinea, Spinozaplantsoen en omgeving is een buurt in de wijk West in Utrecht, de hoofdstad van de Nederlandse provincie Utrecht. De buurt telde in 2014 4064 inwoners. Ligging De buurt wordt begrensd door de Keulsekade/Merwedekanaal, de Oude Rijn langs de...

GameStop

American video game retailer Not to be confused with GameSpot. GameStop Corp.Logo since 2000FormerlyBabbage's (1984–1999)TypePublicTraded asNYSE: GME (Class A)S&P 400 componentIndustryRetailPredecessorsSoftware Etc.FuncoFounded1984; 39 years ago (1984)FoundersLeonard RiggioDaniel DeMatteoRichard FontaineHeadquartersGrapevine, Texas, U.S.Number of locations4,413 (Jan 2023)Area served Several countries Australia Austria Canada France Germany Italy New Zealand Switze...

 

Puger, Jember

PugerKecamatanNegara IndonesiaProvinsiJawa TimurKabupatenJemberPemerintahan • CamatDRS. Yahya Iskandar W.Populasi • Total- jiwaKode Kemendagri35.09.08 Kode BPS3509030 Desa/kelurahan12 Trem uap (stoomtram) di jalanan dekat Puger (1927-1929) Pemandangan pantai di Puger (tahun 1910-an) Puger adalah sebuah kecamatan di Kabupaten Jember, Provinsi Jawa Timur, Indonesia. Pusat Pemerintahan terletak di Desa Puger Kulon. Kecamatan ini sangat terkenal akan hasil lautnya yan...

 

Tom O'Horgan

American director, actor, and musician Tom O'HorganBorn(1924-05-03)May 3, 1924Chicago, Illinois, USADiedJanuary 11, 2009(2009-01-11) (aged 84)Venice, Florida, USAOccupation(s)Theatre director, composer, actorYears active1960s–1990s Tom O'Horgan (May 3, 1924 – January 11, 2009) was an American theater and film director, composer, actor and musician. He is best known for his Broadway work as director of the hit musicals Hair and Jesus Christ Superstar. During his career he sought ...

Terowongan Kebasen

Terowongan KebasenTerowongan Kebasen lama saat masih beroperasi di hari-hari terakhirnya, 2019IkhtisarJalurPrupuk–KroyaLokasiGambarsari, Kebasen, Banyumas, Jawa TengahKoordinat7°31′27″S 109°12′12″E / 7.524166°S 109.203453°E / -7.524166; 109.203453Koordinat: 7°31′27″S 109°12′12″E / 7.524166°S 109.203453°E / -7.524166; 109.203453StatusBeroperasi (baru)Tidak beroperasi (lama)SistemKereta Api IndonesiaMulaikm 363+217 (lama)...

 

Московский государственный юридический университет

Московский государственный юридический университет имени О. Е. Кутафина(МГЮА) Здание университета на Садовой-Кудринской улице Международное название Kutafin Moscow State Law University (MSAL) Прежнее название Список Московский институт советского права(1931—1933)Центральный заочный ...

 

Another Body Murdered

1993 single by Faith No More and Boo-Yaa T.R.I.B.E.Another Body MurderedSingle by Faith No More and Boo-Yaa T.R.I.B.E.from the album Judgment Night Soundtrack ReleasedSeptember 1993 (1993-09)GenreRap metalLength4:22Label Epic Soundtrax Immortal Songwriter(s) Billy Gould Boo-Yaa T.R.I.B.E. Mike Bordin Mike Patton Roddy Bottum Producer(s) Ghetto Guerillas Boo-Yaa T.R.I.B.E. Faith No More Faith No More singles chronology Easy (1993) Another Body Murdered (1993) Digging the Grave (1...

Rogvold Sukhoverko

Russian actor Rogvold SukhoverkoRogvold Vasilyevich SukhoverkoBornRogvold Vasilyevich Sukhoverko(1941-10-30)30 October 1941Leningrad, Russian SFSR, USSRDied9 April 2015(2015-04-09) (aged 73)Moscow, RussiaOccupationActorYears active1965–2015AwardsMeritorious Artist (2002)[1] Rogvold Vasilyevich Sukhoverko (Russian: Рогволд Васильевич Суховерко; 30 October 1941 – 9 April 2015) was a Soviet and Russian film and voice actor. Biography Rogvold Sukhov...

 

Akademi Farmasi Mitra Sehat Mandiri Sidoarjo

Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini.Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan atau coba peralatan pencari pranala.Tag ini diberikan pada Oktober 2022. Akademi Farmasi Mitra Sehat Mandiri Sidoarjo atau Akfar Mitra Sehat Mandiri Sidoarjo atau AKFARMISEDA adalah perguruan tinggi swasta kesehatan di Sidoarjo, Indonesia. Sejarah Akademi Farmasi Mitra Sehat Mandiri Sidoarjo telah beroperasional menyelengga...

 

Strategi Solo vs Squad di Free Fire: Cara Menang Mudah!