Microsoft Lumos este acum open-source, permițând monitorizarea valorilor aplicațiilor web și detectarea rapidă a anomaliilor prin eliminarea pozitivelor false

Microsoft / Microsoft Lumos este acum open-source, permițând monitorizarea valorilor aplicațiilor web și detectarea rapidă a anomaliilor prin eliminarea pozitivelor false 3 minute citite

Microsoft



Microsoft a deschis accesul la ‘Lumos’, o puternică bibliotecă Python pentru detectarea și diagnosticarea automată a regresiilor metrice în aplicațiile „la scară web”. Se pare că biblioteca a fost foarte activă în cadrul Microsoft Teams și Skype. În esență, un „detector de anomalii” extrem de puternic și inteligent este acum deschis și disponibil pentru dezvoltatorii web pentru a identifica și aborda regresiile în indicatorii cheie de performanță, eliminând aproape majoritatea falsurilor pozitive.

Microsoft Lumos este acum open source. Acesta a fost utilizat în mod activ în anumite produse Microsoft și va fi acum disponibil pentru comunitatea generală de dezvoltare de aplicații și web. Biblioteca ar fi permis inginerilor să detecteze sute de modificări ale valorilor și să respingă mii de alarme false apărute de detectoarele de anomalii.



Lumos reduce rata de alertă fals pozitivă cu peste 90%, susține Microsoft:

Lumos este o nouă metodologie care include detectoare de anomalii existente, specifice domeniului. Cu toate acestea, Microsoft asigură că biblioteca Python poate reduce rata de alertă fals pozitivă cu peste 90%. Cu alte cuvinte, dezvoltatorii pot acum să treacă cu încredere după probleme persistente în loc de probleme intermitente care nu aveau un efect dăunător pe termen lung.



Starea sănătății serviciilor online este de obicei monitorizată prin urmărirea valorilor indicatorului cheie de performanță (KPI) în timp. Inginerii care efectuează „Analiza regresiei” necesită mult timp și resurse pentru a elimina problemele care pot fi indicative ale unor probleme majore. Aceste probleme pot duce la escaladarea costurilor operaționale și chiar la pierderea utilizatorilor dacă nu sunt abordate.



Inutil să adăugați, urmărirea cauzei principale a fiecărei regresii KPI necesită mult timp. Mai mult, echipele petrec adesea mult timp analizând problemele doar pentru a descoperi că sunt o simplă anomalie. Aici este util Microsoft Lumos. Biblioteca Python elimină procesul de stabilire a faptului dacă o modificare se datorează unei schimbări a populației sau a unei actualizări a produsului, oferind o listă prioritară a celor mai importante variabile în explicarea modificărilor valorii metrice.



Microsoft Lumos servește, de asemenea, scopului mai larg de a înțelege diferența dintr-o metrică între oricare două seturi de date. Interesant este că platforma include „părtinire” și, comparând un set de date de control și tratament, rămânând agnostic cu componenta din seria de timp, Lumos poate investiga anomalii.

Cum funcționează Microsoft Lumos?

Microsoft Lumos funcționează cu principiile testării A / B pentru a compara perechile de seturi de date. Biblioteca Python începe prin verificarea dacă regresia din metrica dintre seturile de date este semnificativă statistic. Apoi, urmează o verificare a prejudecății populației și o normalizare a prejudecății pentru a ține seama de orice modificare a populației între cele două seturi de date. Lumos decide că problema nu merită urmărită dacă nu există o regresie semnificativă statistic în valoare. Cu toate acestea, dacă delta din metrică este semnificativă statistic, Lumos marchează caracteristicile și le clasifică în funcție de contribuția lor la delta din metrica țintă.

Biblioteca Lumos Python servește ca instrument principal pentru monitorizarea scenariilor a sute de valori. Dezvoltatorii și echipele care efectuează analize de performanță ar putea monitoriza și lucra la fiabilitatea apelurilor, a întâlnirilor și a serviciilor de rețea publică de telefonie (PSTN) de la Microsoft. Biblioteca este operațională pe Azure Databricks, serviciul de analiză big data bazat pe Apache-spark al companiei. A fost configurat pentru a rula cu mai multe lucrări care sunt aranjate în funcție de prioritate, complexitate și tip de măsurare. Lucrările se finalizează asincron. Înseamnă că dacă sistemul detectează o anomalie, se declanșează un flux de lucru Lumos, iar biblioteca analizează și verifică în mod inteligent dacă merită urmărită și abordată anomalia.

Microsoft a remarcat faptul că Lumos nu este garantat să surprindă toate regresiile în servicii. În plus, serviciul va necesita un număr mare de seturi de date pentru a oferi informații de încredere. Compania intenționează să includă analiza continuă a valorilor, să realizeze o clasare mai bună a caracteristicilor și să aducă și clusterizarea caracteristicilor. Acești pași ar trebui să abordeze provocarea principală a multicoliniarității în clasarea caracteristicilor.

Etichete Microsoft