Referința Huawei are ca rezultat teste private vs publice cu putere SoC manipulată.
Acum câteva săptămâni am acoperit Huawei folosind o cameră DSLR profesională într-o reclamă despre capacitățile lor de selfie și se pare că pur și simplu nu pot înceta să găsească modalități de a înșela consumatorii - de data aceasta, reperele pe care le manipulează.
Punctele de referință sunt populare și ( pana acum?) mod legitim de prezentare a performanței unui dispozitiv - indiferent dacă este vorba despre CPU, GPU sau referințe de performanță ale sistemului. Întregul punct de referință este de a oferi consumatorilor un rezultat exact al modului în care dispozitivele funcționează sub stres.
Din păcate, se pare că Huawei a inclus un „mecanism de detectare de referință” în unele dintre cele mai recente dispozitive ale lor. Ceea ce face în mod esențial acest mecanism este să împingă SoC la o limită de putere mult mai mare și la un spațiu termic mai mare atunci când detectează că este comparat în anumite aplicații - rezultând astfel scoruri de performanță mult mai mari decât ar obține în mod normal utilizatorii în utilizarea zilnică. Acest lucru nu este numai necinstit, ci este periculos pentru durata de viață a SoC și poate supraîncălzi foarte rapid un dispozitiv și reduce durata de viață a bateriei.
Apărarea de către Huawei a acestei practici poate fi rezumată cel mai bine ca „ și ceilalți o fac! ” - și, din păcate, au dreptate. Înșelăciunea de referință nu este absolut deloc nouă - a fost în curs de desfășurare pe scena PC-ului acum un deceniu și a fost și pe scena mobilă de ceva vreme.
Diverse dispozitive au fost scoase din 3DMark pentru manipularea parametrilor de referință.
Varianta Exynos a Samsung Galaxy S4 a fost surprinsă făcând practici similare de trișare, iar editorii pentru site-ul de recenzie mobil AnandTech a descoperit un număr mare de alți furnizori de smartphone-uri care manipulează și date de referință. Acest lucru a dus la o serie de dispozitive, cum ar fi Galaxy S4, Galaxy Note 3, HTC One și numeroase altele radiat din baza de date 3DMark.
Deși majoritatea producătorilor au încetat comportamentul după ce au fost chemați, câțiva au continuat - de exemplu, OnePlus a continuat să înșele în repere populare precum GeekBench, deși aparent a oprit practica de la OnePlus 5T - care este de fapt un dispozitiv excelent și este foarte popular comunitatea de modding și dezvoltare, deci poate OnePlus a simțit că nu nevoie pentru a manipula datele de referință.
Din păcate, se pare că Huawei se apropie de locul în care au rămas alți furnizori de dispozitive, deoarece există rapoarte verificate despre Huawei care manipulează parametrii de referință cu dispozitive, inclusiv Huawei P20, Huawei P20 Pro și Honor Play. Practic, performanța Huawei P20 a regresat în comparație cu Huawei Mate 10 Pro - iar la acel moment, Huawei a spus că este un „ problema firmware-ului ”- o minciună pur și simplu îndrăzneață, deoarece s-a datorat de fapt mecanismului de detectare de referință menționat mai sus, care declanșează o limită de putere mult superioară pentru SoC.
Nu numai că acest lucru este rău pentru SoC în sine, deoarece eficiența generală a SoC scade atunci când se face acest lucru, deoarece SoC este împins bine afară a ferestrei sale normale de operare ( imaginați-vă că vă overclocați CPU-ul la fel de mare cât poate de mult, fără grăsime termică) . Cu toate acestea, acest lucru este și rău pentru piaţă în sine.
În primul rând, face SoC să arate rău, ca și cum ar fi are nevoie să fie manipulate datele de referință pentru a merita vânzarea. În al doilea rând, pune la îndoială piața chineză a smartphone-urilor - care este deja plină de imitații, clone și practici umbrite. În plus, comportamentul de referință al Huawei este probabil cel mai flagrant care se vede până acum, întrucât există cu adevărat un masiv diferența în rezultatele de performanță cu mecanismul de detectare de referință activat în comparație cu când este oprit. Atât de mult încât AnandTech a remarcat că diferențele dintre rezultatele de referință disponibile publicului și propriile testări interne au fost „ absolut uimitor ”.
Huawei a răspuns că a fost descoperit și, așa cum am spus mai devreme, răspunsul lor a fost practic „ toți ceilalți o fac și ei ”. Ce au spus literalmente ( citat de Dr. Wang Chenglu, președinte al software-ului la Huawei’s Consumer Business Group) a fost ' alții fac același lucru, obțin scoruri mari, iar Huawei nu poate rămâne tăcut. Huawei vrea să vină împreună cu alții din China pentru a găsi cel mai bun standard de verificare pentru experiența utilizatorului. ”
Dr. Wang a arătat, de asemenea, către alți producători cu numere de referință înșelătoare și a citat un producător popular de smartphone-uri fără nume din China ca fiind cel mai mare vinovat. Potrivit dr. Wang, înșelăciunea de referință a devenit „o practică obișnuită în China” și, în timp ce Huawei dorește să se „deschidă” consumatorilor, ei au probleme atunci când concurenții „postează continuu scoruri nerealiste”. Huawei încearcă să facă față concurenței sale majore chineze, o sarcină care se pare dificilă atunci când alți producători de dispozitive produc numere de scor nerealiste.
Pentru a rezuma, Huawei
- Recunoaște că manipulează numerele de referință
- Admite că toți ceilalți de pe piața chineză de telefoane o fac
- Nu intenționează să se oprească din cauza # 2.
Cum poate cineva încredere piața de telefonie chineză după astfel de lucruri? În orice caz, Huawei a făcut o declarație că compania va „ asigurați-vă că datele de referință viitoare sunt verificate independent de terți ”.
Huawei a trimis un răspuns complet la XDA:
„Huawei acordă întotdeauna prioritate experienței utilizatorului mai degrabă decât urmăririi unor scoruri de referință ridicate - mai ales că nu există o conexiune directă între reperele smartphone-urilor și experiențele utilizatorului. Smartphone-urile Huawei folosesc tehnologii avansate precum AI pentru a optimiza performanțele hardware, inclusiv CPU, GPU și NPU.
Când cineva lansează o aplicație de fotografie sau joacă un joc intens din punct de vedere grafic, software-ul inteligent Huawei creează o experiență de utilizare lină și stabilă prin aplicarea capacităților complete ale hardware-ului, gestionând simultan temperatura și eficiența energetică a dispozitivului. Pentru aplicațiile care nu consumă la fel de multă energie precum navigarea pe web, acesta va aloca doar resursele necesare pentru a oferi performanțele necesare.
În scenariile normale de benchmarking, odată ce software-ul Huawei recunoaște o aplicație de benchmarking, acesta se adaptează în mod inteligent la „Performance Mode” și oferă performanțe optime. Huawei intenționează să ofere utilizatorilor acces la „Modul de performanță”, astfel încât să poată utiliza puterea maximă a dispozitivului atunci când au nevoie.
Huawei - în calitate de lider al industriei - este dispus să colaboreze cu parteneri pentru a găsi cele mai bune standarde de benchmarking care să poată evalua cu exactitate experiența utilizatorului. ”
In orice caz, Adevărat repere alergate de AnandTech au testat Huawei P20, P20 Pro și Honor Play - și toate dispozitivele au funcționat în mod similar, deoarece toate au același HiSilicon Kirin 970 SoC - dar performanța reală a fiecărui dispozitiv este limitată de limitele termice, deoarece fiecare dispozitiv are o diferite șasiuri și design de răcire. Huawei P20 Pro are cele mai bune termice, deci funcționează mai bine într-o stare de performanță reală.
Editorul AnandTech , Andrei Frumusanu, a avut urmatoarele de spus:
„În trecut, am văzut că vânzătorii cresc de fapt frecvențele SoC sau le blochează la stările lor maxime, sporind performanța dincolo de ceea ce este de obicei disponibil pentru aplicațiile generice. În schimb, ceea ce face Huawei este să sporească scorurile de referință venind din cealaltă direcție - aplicațiile de referință sunt singurele cazuri de utilizare în care SoC are efectiv viteze publicitare. Între timp, orice altă aplicație din lumea reală este limitată într-un grad semnificativ sub acea stare din cauza limitărilor termice ale hardware-ului. Ceea ce sfârșim prin a vedea cu performanțe neîntrerupte este probabil forma „adevărată” a unui SoC fără restricții, deși acest lucru este complet academic în comparație cu ceea ce experimentează de fapt utilizatorii. ”
Graficele lor demonstrează că cele mai noi telefoane Huawei ajung deja la 3,5-4,4W în starea lor reală de performanță, în timp ce 3,5W TDP este cantitatea maximă care poate fi susținută. Pe de altă parte, telefonul intră în overdrive cu TDP atunci când efectuează criteriile de referință disponibile publicului, puterile depășind 6W și atingând maximul de 8,5W. După cum a menționat AnandTech, aceste cifre declanșează rapid o notificare de supraîncălzire a dispozitivului, ceea ce semnifică nepotrivirea limitelor termice cu așteptările software-ului.
Ceea ce se poate lua din această situație este că cifrele reale de performanță nu sunt stabile, deoarece depind de temperatura telefonului. Huawei nu blochează GPU-ul să atingă starea sa maximă de frecvență GPU. Comportamentul implicit este, de fapt, un „mecanism dur de strangulare termică […] care va încerca să mențină niveluri de temperatură SoC semnificativ mai mici și consumul total de energie”
Modul normal al telefoanelor poate atinge aceleași cifre de vârf ale consumului de energie în timpul benchmark-urilor GPU ca și cele afișate de variantele neîngrădite. Cu toate acestea, aceste numere scad repede în mod semnificativ, iar AnandTech remarcă faptul că telefonul accelerează până la 2,2 W în unele cazuri, ceea ce are ca efect reducerea semnificativă a performanțelor.
Publicația afirmă că comportamentul de înșelăciune de referință pare să fi fost introdus doar pe dispozitivele din acest an. Telefoanele precum Huawei Mate 9 și Huawei P10 nu sunt afectate și se pare că sunt afectate doar EMUI 8.0 și dispozitivele mai noi. AnandTech a fost de asemenea informat de Huawei că aceasta era „pur o implementare software”, ceea ce a confirmat concluziile publicației.
AnandTech a publicat cifre reale ale performanței GPU pentru telefoanele afectate alimentate de Kirin 970 și concluzia este că Huawei este semnificativ în spatele concurenților săi atât în ceea ce privește performanța, cât și eficiența GPU-ului .
Publicația a postat și grafice de comparație a puterii pentru dispozitivele Huawei cu Kirin 970 și Kirin 960. Graficele arată că ajustările de reducere a puterii Huawei sunt, de fapt, mai bune pentru experiența utilizatorului, deoarece atenuează problema consumului mai mare de energie. Testarea de către AnandTech a Kirin 960 a arătat că are „caracteristici de putere ale GPU-ului îngrozitoare”, în timp ce dispozitivele alimentate cu Kirin 970 au un nou mecanism strict de reducere a consumului de energie și a temperaturilor.
AnandTech a menționat, de asemenea, că noua politică de limitare are sens atunci când se ia în considerare faptul că atât Kirin 960, cât și Kirin 970 prezintă atracții de putere care sunt mult peste nivelurile lor durabile pentru factorii lor de formă respectivi.
Deși Huawei nu a făcut neapărat nimic greșit prin introducerea unui nou mecanism de limitare, cu siguranță au trecut în pragul de înșelăciune prin excluderea aplicațiilor de referință populare printr-o listă albă, care este ceea ce se numește înșelăciunea de referință în acest caz.
UL care a achiziționat Futuremark, compania din spatele PCMark și 3DMark, a eliminat Huawei P20, Huawei P20 Pro, Huawei Nova 3 și Honor Play de la 3DMark.
Compania a verificat înșelarea de referință a Huawei P20 Pro, Huawei Nova 3 și Honor Play. Pe baza testării și raportării AnandTech, a eliminat și standardul Huawei P20. Utilizatorii nu vor mai putea vizualiza rezultatele de referință ale telefoanelor afectate, deoarece compania nu dorește să găzduiască scoruri de referință înșelate.
Compania a constatat că scorurile din aplicația publică 3DMark au fost cu până la 47% mai mari decât scorurile din aplicația privată (care nu este disponibilă publicului), în ciuda faptului că testele sunt identice.
În anunț, UL a adăugat că este fericit să vadă Huawei angajându-se să adopte o abordare mai transparentă în viitor. Opinia UL este că modurile de performanță opționale care pot fi setate de utilizator sunt permise conform regulilor sale actuale, atâta timp cât sunt dezactivate în mod implicit. Compania afirmă: „Un dispozitiv trebuie să ruleze etalonul ca și cum ar fi orice altă aplicație.”
În concluzie, toate criteriile de performanță ale GPU-ului Huawei care au fost luate folosind criteriile de referință disponibile publicului nu ar trebui luate ca o reprezentare a performanței reale.
Huawei a contactat UL pentru a discuta cele mai bune practici pentru testarea de referință și a emis o declarație:
„Huawei și UL (creatorii 3DMark) au purtat discuții cuprinzătoare despre practicile de benchmarking în această săptămână și au ajuns la un acord pozitiv cu privire la următorii pași în colaborarea.
În discuție, Huawei a explicat că smartphone-urile sale folosesc un mecanism artificial de planificare a resurselor inteligente. Deoarece scenarii diferite au nevoi de resurse diferite, cele mai recente telefoane Huawei folosesc tehnologii inovatoare, cum ar fi inteligența artificială, pentru a optimiza alocarea resurselor într-un mod astfel încât hardware-ul să-și poată demonstra capacitățile în cea mai mare măsură, satisfăcând în același timp cerințele utilizatorilor în toate scenariile.
UL înțelege intenția abordării Huawei, dar se opune forțării în mod implicit a utilizării unui „mod de performanță” atunci când dispozitivul detectează o aplicație de comparare. Regulile UL impun ca un dispozitiv să ruleze etalonul ca și cum ar fi orice altă aplicație.
Huawei respectă dreptul consumatorilor de a alege ce să facă cu dispozitivele lor. Prin urmare, Huawei va oferi utilizatorilor acces deschis la „Modul de performanță” în EMUI 9.0, astfel încât utilizatorul să poată alege când să utilizeze puterea maximă a dispozitivului său.
Huawei și UL au discutat, de asemenea, metodologiile actuale comune de testare de referință în general. UL și Huawei ar dori să participe la o mișcare a industriei pentru a dezvolta standarde de referință care să satisfacă cel mai bine nevoile producătorilor, presei și consumatorilor.
Pentru a preveni confuzia cu privire la rezultatele actuale de comparare, după discuții, UL și Huawei au eliminat temporar scorurile de referință ale unei game de dispozitive Huawei și le vor restabili după ce Huawei acordă tuturor utilizatorilor telefoanelor Huawei acces la modul de performanță. ”
Etichete Huawei
