Phenquestions
Pieredze ir būtiska, lai attīstītu prasmes, kas nepieciešamas, lai dziļi mācītos jaunos jautājumos. Ātrs GPU nozīmē ātru praktiskās pieredzes iegūšanu, izmantojot tūlītēju atgriezenisko saiti. GPU satur vairākus kodolus, lai veiktu paralēlus aprēķinus. Tajos ietilpst arī plašs atmiņas joslas platums, lai šo informāciju varētu ērti pārvaldīt.
 |
Paturot to prātā, mēs cenšamies atbildēt uz jautājumu: “Kāda ir labākā grafiskā karte AI, mašīnmācībai un padziļinātai apmācībai?”, Pārskatot vairākas grafikas kartes, kas pašlaik ir pieejamas 2021. gadā. Pārskatītās kartes:
- AMD RX Vega 64
- NVIDIA Tesla V100
- Nvidia Quadro RTX 8000
- GeForce RTX 2080 Ti
- NVIDIA Titan RTX
Zemāk ir rezultāti:
AMD RX Vega 64
Radeon RX Vega 64
Iespējas
- Izlaiduma datums: 2017. gada 14. augusts
- Vega arhitektūra
- PCI Express saskarne
- Pulksteņa ātrums: 1247 MHz
- Straumes procesori: 4096
- VRAM: 8 GB
- Atmiņas joslas platums: 484 GB / s
Pārskatīšana
Ja jums nepatīk NVIDIA GPU vai jūsu budžets neļauj tērēt grafikas kartei vairāk nekā 500 ASV dolāru, AMD ir gudra alternatīva. AMD RS Vega 64 ir pietiekami daudz atmiņas, ātrs atmiņas joslas platums un vairāk nekā pietiekami straumēšanas procesoru.
Vega arhitektūra ir jauninājums no iepriekšējām RX kartēm. Veiktspējas ziņā šis modelis ir tuvu GeForce RTX 1080 Ti, jo abiem šiem modeļiem ir līdzīgs VRAM. Turklāt Vega atbalsta vietējo pusprecizitāti (FP16). ROCm un TensorFlow darbojas, taču programmatūra nav tik nobriedusi kā NVIDIA videokartēs.
Kopumā Vega 64 ir pienācīgs GPU dziļām mācībām un AI. Šis modelis maksā krietni zem USD 500 USD, un tas tiek paveikts iesācējiem. Tomēr profesionālām lietojumprogrammām ieteicams izvēlēties NVIDIA karti.
AMD RX Vega 64 Sīkāka informācija: Amazon
NVIDIA Tesla V100
Tesla V100
Iespējas:
- Izlaiduma datums: 2017. gada 7. decembris
- NVIDIA Volta arhitektūra
- PCI-E saskarne
- 112 TFLOPS tenzora veiktspēja
- 640 Tensora serdeņi
- 5120 NVIDIA CUDA® serdeņi
- VRAM: 16 GB
- Atmiņas joslas platums: 900 GB / s
- Aprēķināt API: CUDA, DirectCompute, OpenCL ™, OpenACC®
Pārskats:
NVIDIA Tesla V100 ir behemots un viena no labākajām grafikas kartēm AI, mašīnmācībai un dziļām mācībām. Šī karte ir pilnībā optimizēta, un tajā ir iesaiņoti visi labumi, kas var būt nepieciešami šim nolūkam.
Tesla V100 ir 16 GB un 32 GB atmiņas konfigurācijās. Ar lielu VRAM, AI paātrinājumu, lielu atmiņas joslas platumu un specializētiem tenzora kodoliem dziļai mācībai varat būt drošs, ka katrs jūsu apmācības modelis darbosies nevainojami - un mazāk laika. Konkrēti, Tesla V100 var nodrošināt 125TFLOPS dziļas mācīšanās veiktspējas gan apmācībai, gan secinājumiem [3], ko nodrošina NVIDIA Volta arhitektūra.
NVIDIA Tesla V100 Sīkāka informācija: Amazon, (1)
Nvidia Quadro RTX 8000
Nvidia Quadro Rtx 8000
Iespējas:
- Izlaiduma datums: 2018. gada augusts
- Turingas arhitektūra
- 576 tenzora serdeņi
- CUDA serdeņi: 4 608
- VRAM: 48 GB
- Atmiņas joslas platums: 672 GB / s
- 16.3 TFLOPS
- Sistēmas saskarne: PCI-Express
Pārskats:
Quadro RTX 8000 ir īpaši izstrādāts dziļu matricu aritmētikai un aprēķiniem, un tā ir visaugstākā grafiskā karte. Tā kā šai kartei ir liela VRAM ietilpība (48 GB), šo modeli ieteicams izmantot īpaši lielu skaitļošanas modeļu izpētei. Lietojot pārī ar NVLink, jaudu var palielināt līdz pat 96 GB VRAM. Kas ir daudz!
72 RT un 576 Tensor kodolu kombinācija uzlabotai darbplūsmai nodrošina vairāk nekā 130 TFLOPS veiktspēju. Salīdzinot ar visdārgāko grafikas karti mūsu sarakstā - Tesla V100 - šis modelis potenciāli piedāvā par 50 procentiem vairāk atmiņas un joprojām izdodas maksāt mazāk. Pat uzstādītajā atmiņā šim modelim ir izcila veiktspēja, vienlaikus strādājot ar lielākiem partijas izmēriem vienā GPU.
Atkal, tāpat kā Tesla V100, šo modeli ierobežo tikai jūsu cenas jumts. Tas nozīmē, ka, ja vēlaties ieguldīt nākotnē un augstas kvalitātes skaitļošanā, iegūstiet RTX 8000. Kas zina, jūs varat vadīt AI pētījumus. Tesla V100 pamatā ir Turingas arhitektūra, kur V100 ir balstīta uz Volta arhitektūru, tāpēc Nvidia Quadro RTX 8000 var uzskatīt par nedaudz modernāku un nedaudz jaudīgāku nekā V100.
Nvidia Quadro RTX 8000 Sīkāka informācija: Amazon
GeForce RTX 2080 Ti
Geforce RTX 2080 dibinātāju izdevums
Iespējas:
- Izlaiduma datums: 2018. gada 20. septembris
- Turing GPU arhitektūra un RTX platforma
- Pulksteņa ātrums: 1350 MHz
- CUDA serdeņi: 4352
- 11 GB nākamās paaudzes, īpaši ātra GDDR6 atmiņa
- Atmiņas joslas platums: 616 GB / s
- Jauda: 260W
Pārskats:
GeForce RTX 2080 Ti ir budžeta opcija, kas ideāli piemērota neliela apjoma modelēšanai, nevis liela mēroga apmācībai. Tas ir tāpēc, ka tai ir mazāka GPU atmiņa vienā kartē (tikai 11 GB). Šī modeļa ierobežojumi kļūst acīmredzamāki, apmācot dažus mūsdienu NLP modeļus. Tomēr tas nenozīmē, ka šī karte nevar konkurēt. RTX 2080 pūtēja konstrukcija ļauj veikt daudz blīvākas sistēmas konfigurācijas - līdz pat četriem GPU vienā darbstacijā. Turklāt šis modelis neironu tīklus trenē ar 80 procentiem ātrumu Tesla V100. Saskaņā ar LambdaLabs dziļo mācību veiktspējas kritērijiem, salīdzinot ar Tesla V100, RTX 2080 ir 73% FP2 ātrums un 55% FP16 ātrums.
Tikmēr šis modelis maksā gandrīz 7 reizes mazāk nekā Tesla V100. Gan no cenas, gan veiktspējas viedokļa GeForce RTX 2080 Ti ir lielisks GPU dziļām mācībām un AI attīstībai.
GeForce RTX 2080 Ti Sīkāka informācija: Amazon
NVIDIA Titan RTX
NVIDIA Titan RTX grafika
Iespējas:
- Izlaiduma datums: 2018. gada 18. decembris
- Darbina ar NVIDIA Turing ™ arhitektūru, kas paredzēta AI
- 576 tenzora serdeņi AI paātrināšanai
- 130 teraFLOPS (TFLOPS) dziļas apmācības apmācībai
- CUDA serdeņi: 4608
- VRAM: 24 GB
- Atmiņas joslas platums: 672 GB / s
- Ieteicamais barošanas avots 650 vati
Pārskats:
NVIDIA Titan RTX ir vēl viens vidēja līmeņa GPU, ko izmanto sarežģītām dziļu mācību operācijām. Šī modeļa 24 GB VRAM ir pietiekami, lai strādātu ar lielāko daļu sēriju. Tomēr, ja vēlaties apmācīt lielākus modeļus, savienojiet šo karti ar NVLink tiltu, lai faktiski būtu 48 GB VRAM. Šī summa būtu pietiekama pat lieliem transformatoru NLP modeļiem. Turklāt Titan RTX ļauj veikt pilnas klases jauktas precizitātes apmācību modeļiem (t.i.e., FP 16 kopā ar FP32 uzkrāšanos). Rezultātā šis modelis darbojas aptuveni par 15 līdz 20 procentiem ātrāk darbībās, kurās tiek izmantoti Tensor serdeņi.
Viens no NVIDIA Titan RTX ierobežojumiem ir divu ventilatoru dizains. Tas kavē sarežģītākas sistēmas konfigurācijas, jo to nevar ievietot darbstacijā bez būtiskām dzesēšanas mehānisma izmaiņām, kas nav ieteicams.
Kopumā Titan ir lielisks, universāls GPU gandrīz jebkura dziļa mācību uzdevuma izpildei. Salīdzinot ar citām vispārējas nozīmes grafiskajām kartēm, tas noteikti ir dārgs. Tāpēc šis modelis nav ieteicams spēlētājiem. Neskatoties uz to, pētnieki, iespējams, novērtēs papildu VRAM un veiktspējas palielināšanu, izmantojot sarežģītus dziļas mācīšanās modeļus. Titan RTX cena ir ievērojami mazāka nekā iepriekš demonstrētā V100, un tā būtu laba izvēle, ja jūsu budžets neļauj V100 cenām veikt dziļu mācīšanos vai jūsu darba slodzei nav vajadzīgs vairāk nekā Titan RTX (skatiet interesantos etalonus)
NVIDIA Titan RTX Sīkāka informācija: Amazon
Labākās grafikas kartes izvēle AI, mašīnmācībai un dziļai mācīšanai
AI, mašīnmācīšanās un dziļu mācību uzdevumi apstrādā datu kaudzes. Šie uzdevumi var būt ļoti sarežģīti jūsu aparatūrai. Zemāk ir funkcijas, kas jāpatur prātā pirms GPU iegādes.
Serdes
Kā vienkāršs īkšķis, jo lielāks serdeņu skaits, jo augstāka būs jūsu sistēmas veiktspēja. Jāņem vērā arī serdeņu skaits, īpaši, ja jums ir darīšana ar lielu datu apjomu. NVIDIA ir nosaukusi savus serdeņus par CUDA, savukārt AMD to kodolus sauc par straumes procesoriem. Izvēlieties vislielāko apstrādes kodolu skaitu, ko atļauts jūsu budžets.
Apstrādes jauda
GPU apstrādes jauda ir atkarīga no serdeņu skaita sistēmā, kas reizināts ar pulksteņa ātrumiem, ar kuriem jūs darbināt kodolus. Jo lielāks ātrums un lielāks kodolu skaits, jo lielāka būs apstrādes jauda, ar kādu jūsu GPU var aprēķināt datus. Tas arī nosaka, cik ātri jūsu sistēma veiks uzdevumu.
VRAM
Video RAM jeb VRAM ir datu apjoma mērījums, ko jūsu sistēma var apstrādāt vienlaikus. Augstāks VRAM ir vitāli svarīgs, ja strādājat ar dažādiem Computer Vision modeļiem vai veicat kādas CV Kaggle sacensības. VRAM nav tik svarīgs NLP vai darbam ar citiem kategoriskiem datiem.
Atmiņas joslas platums
Atmiņas joslas platums ir ātrums, kādā dati tiek nolasīti vai saglabāti atmiņā. Vienkārši sakot, tas ir VRAM ātrums. Mērot GB / s, lielāks atmiņas joslas platums nozīmē, ka karte var iegūt vairāk datu īsākā laikā, kas nozīmē ātrāku darbību.
Atdzesēšana
GPU temperatūra var būt ievērojams trūkums, kad runa ir par veiktspēju. Mūsdienu grafiskie procesori maksimāli palielina ātrumu, vienlaikus darbinot algoritmu. Bet tiklīdz ir sasniegts noteikts temperatūras slieksnis, GPU samazina apstrādes ātrumu, lai pasargātu no pārkaršanas.
Ventilatora ventilatora konstrukcija gaisa dzesētājiem izstumj gaisu ārpus sistēmas, kamēr ventilatori, kas nav ventilatori, iesūc gaisu. Arhitektūrā, kur vairāki GPU atrodas blakus viens otram, ventilatori, kas nav pūtēji, sildīs vairāk. Ja gaisa dzesēšanu izmantojat iestatījumā ar 3 līdz 4 GPU, izvairieties no ventilatoriem, kas nav ventilatori.
Ūdens dzesēšana ir vēl viena iespēja. Lai arī tā ir dārga, šī metode ir daudz klusāka un nodrošina, ka pat visveiksmīgākie GPU iestatījumi visā darbības laikā paliek vēsi.
Secinājums
Lielākajai daļai lietotāju, kas sāk mācīties dziļi, RTX 2080 Ti vai Titan RTX nodrošinās vislielāko triecienu. Vienīgais RTX 2080 Ti trūkums ir ierobežots 11 GB VRAM izmērs. Apmācība ar lielākiem partijas izmēriem ļauj modeļiem trenēties ātrāk un daudz precīzāk, ietaupot daudz lietotāja laika. Tas ir iespējams tikai tad, ja jums ir Quadro GPU vai TITAN RTX. Pusprecizitātes (FP16) izmantošana ļauj modeļiem iekļauties GPU ar nepietiekamu VRAM izmēru [2]. Progresīvākiem lietotājiem Tesla V100 ir vieta, kur jums vajadzētu ieguldīt. Tā ir mūsu labākā izvēle par labāko grafisko karti AI, mašīnmācībai un dziļām mācībām. Tas ir viss šim rakstam. Mēs ceram, ka jums tas patika. Līdz nākamajai reizei!
Atsauces
- Labākie GPU AI, mašīnmācībai un padziļinātai mācībai 2020. gadā
- Labākais GPU dziļām mācībām 2020. gadā
- NVIDIA AI INFERENCE PLATFORM: Milzīgi lēcieni AI pakalpojumu veiktspējā un efektivitātē, sākot no datu centra līdz tīkla malai
- NVIDIA V100 TENSOR CORE GPU
- Titan RTX dziļu mācību etaloni
