care sunt diferențele dintre modelele de învățare automată generative și discriminative?

în acest articol, vom analiza diferența dintre modelele generative și discriminative, modul în care acestea contrastează și unul pe celălalt.

învățarea discriminatorie a mașinilor este de a recunoaște ieșirea rig printre opțiunile posibile de ieșire. Având în vedere ceva despre date și realizat prin parametrii de învățare. Aceasta maximizează probabilitatea comună a lui P (X, Y).

clasificarea este menționată suplimentar ca modelare discriminativă. Acest lucru este adesea pe motive; modelul trebuie să separe instanțele variabilelor de intrare între clase. Trebuie să aleagă sau să facă un apel cu privire la ce clasă aparține o anumită instanță.

modelele nesupravegheate rezumă distribuția variabilelor de intrare. De asemenea, capabil să fie obișnuiți să creeze sau să genereze noi instanțe în cadrul distribuției de intrare. Ca atare, aceste varietăți de modele sunt observate ca modele generative.

o variabilă poate avea o distribuție de date cunoscută ca o distribuție Gaussiană.

un model generativ ar putea, de asemenea, să rezume distribuția datelor. Aceasta este utilizată pentru a genera noi variabile care se încadrează în distribuția variabilei de intrare.

un model simplu în cadrul setării generative ar trebui să aibă mai puține informații. Apoi unul complicat în cadrul cadrului discriminatoriu și, de asemenea, invers.

de-a lungul acestor linii, modelele discriminative depășesc modelele generative la predicția condiționată. La fel, modelele discriminative ar trebui să regularizeze mai mult decât modelele generative.

primul exemplu

de exemplu, există doi copii, Tony și Mark. Ambii au vizitat magazinul de animale de companie pentru a determina diferența dintre pisică și câine. Ambele acordă o atenție deosebită culorii, dimensiunii, culorii ochilor, dimensiunii părului, vocii, care sunt seturi de caracteristici ale animalelor de companie.

două fotografii au luat una printre o pisică și una printre un câine pentru a marca și a întrebat care este care. Mark a scris mai multe condiții. Dacă vocea arată ca miau și ochii sunt albaștri sau verzi.

are dungi cu culoarea maro sau negru, iar apoi animalul poate fi o pisică.

datorită regulilor sale simple, el a detectat care este o pisică și care ar putea fi un câine.

acum, în loc să-i arate două fotografii lui Tony, două bucăți de hârtie goală și roagă-l să deseneze cum arată o pisică și un câine. Tony desenează desenul.Ei bine, acum, având în vedere orice fotografie, Tony poate spune, de asemenea, care ar putea fi o pisică. Care poate fi un câine a susținut desenul pe care l-a creat. Desenul este o sarcină consumatoare de timp pentru sarcina de detectare, care ar putea fi o pisică.

dar dacă au existat doar câțiva câini și pisici care să pară pentru Tony și Mark înseamnă date de antrenament scăzute. În astfel de cazuri, dacă o fotografie a unui câine maro cu dungi cu ochi albaștri.

există o oportunitate ca Mark să o marcheze ca pe o pisică. În timp ce Tony are desenul ei și poate detecta mai bine că această fotografie este a unui câine.

dacă Tony pentru a asculta mai multe lucruri, cum ar fi caracteristici, se va crea o schiță mai bună. Dar, dacă mai multe exemple arată utilizarea unui set de date de pisică și câine, Mark ar fi mai bun decât Tony.

Mark este meticulos în observațiile sale. Să presupunem că îi cereți să asculte mai multe caracteristici. Aceasta va crea reguli mai complicate numite overfitting. Astfel, șansa de a găsi o pisică și un câine va crește, dar asta nu se va întâmpla cu Tony.

Ce se întâmplă dacă înainte de a vizita magazinul de animale de companie, nu sunt informați. Există doar două tipuri de animale, ceea ce înseamnă că nu există date etichetate.

Mark ar eșua complet pentru că nu va ști ce să caute în timp ce Tony ar fi capabil să deseneze schița oricum. Acesta este un avantaj imens, uneori numit semi-supravegheat.

aceasta arată că Mark este pentru discriminativ, iar Tony este pentru generativ.

un alt exemplu

clasificați un discurs la un model de limbă.

abordare discriminatorie determinarea diferenței în cadrul modelelor lingvistice. Fără a învăța limbile și a clasifica astfel discursul.

abordarea generativă înseamnă învățarea fiecărei limbi. Deci, clasificându-l folosind cunoștințele pe care le-ați câștigat.

care este ecuația matematică a modelelor generative și discriminative?

fotografie de Antoine dautry on Unsplash

învățarea discriminatorie a mașinilor este de fapt formarea unui model. Pentru a distinge ieșirea corectă între opțiunile posibile de ieșire. Acest lucru se face prin învățarea parametrilor modelului care maximizează probabilitatea condiționată P(Y|X).

învățarea automată generativă este formarea unui model pentru a învăța parametrii maximizând probabilitatea comună A P(X, Y).

care sunt diferitele tipuri de algoritmi discriminativi și generativi de învățare automată?

Discriminative models

• Logistic regression
• Random forests
• Support vector machine (SVM)
• Traditional neural networks
• Nearest neighbor

Generative Models

• Hidden Markov model (HMM)
• Naïve Bayes
• Bayesian Networks
• Gaussian mixture model (GMM)

What are the următoarele întrebări ar trebui să întrebați înainte de a le efectua?

fotografie de Jon Tyson pe Unsplash

• ce model are nevoie de mai puține date pentru instruire?
• ce model poate genera date?
• când ar trebui să folosim astfel de modele?
• care model este mai sensibil la valori extreme?
• ce model este mai predispus la suprasolicitare?
• ce model se poate antrena în mai puțin timp?
• ce model învață probabilitatea condiționată?
• care model este mai bun în caz de incertitudine?
• ce model este mai bun atunci când caracteristicile au o relație?
• ce model este mai bun atunci când este necesar un model explicativ?
• ce model este mai bun atunci când optimizați precizia de clasificare necesară?
• ce model este mai bun atunci când datele etichetate nu sunt disponibile?
• ce model este mai bun atunci când sunt disponibile date etichetate?
• ce model este ușor și rapid de realizat?

cum funcționează generativ și discriminativ în învățarea profundă?

foto de fotografii Hobby pe Unsplash

în rețelele contradictorii generative (gan), generatorul și discriminatorul s-au antrenat împreună. Generatorul generează un lot de eșantioane — acestea, împreună cu setul de date real, dat discriminatorului pentru clasificare.

care sunt dezavantajele Clasificatorilor Discriminativi?

It lacks the elegance of generative like priors, structure, uncertainty. Feel like black-boxes, relationships between variables don’t seem to be explicit and visualizable.

concluzie

metodele generative și discriminative sunt două abordări largi. Generativul implică modelarea și clasificarea rezolvării discriminatorii. Modelele generative sunt mai elegante, au putere explicativă.

bogăția unui model nu este întotdeauna un avantaj. Montarea mai multor parametri durează mai mult, mai mult spațiu și mai mult calcul. Modelele Discriminative trebuie să fie regularizate mai mult decât modelele generative.

un model ușor în cadrul setării generative ar dori mai puține date decât unul elegant în cadrul setării discriminative.