Zelfstudie 1: Kredietrisico voorspellen - Machine Learning Studio (klassiek)

VAN TOEPASSING OP: Machine Learning Studio (klassiek) Azure Machine Learning

In deze zelfstudie wordt uitgebreid ingegaan op het ontwikkelingsproces van een predictive analytics-oplossing. U ontwikkelt een eenvoudig model in Machine Learning Studio (klassiek). Vervolgens implementeert u het model als een Machine Learning-webservice. Dit geïmplementeerde model kan voorspellingen doen op basis van nieuwe gegevens. Deze zelfstudie is deel één van een driedelige reeks zelfstudies.

Stel dat u iemands kredietrisico moet voorspellen op basis van de gegevens die deze persoon in een kredietaanvraag heeft ingevuld.

Kredietrisicobeoordeling is een complex probleem, maar in deze zelfstudie wordt het enigszins vereenvoudigd. U gebruikt deze als voorbeeld van hoe u een predictive analytics-oplossing kunt maken met behulp van Machine Learning Studio (klassiek). U gebruikt aMachine Learning Studio (klassiek) en een Machine Learning-webservice voor deze oplossing.

In deze driedelige zelfstudie begint u met openbaar beschikbare kredietrisicogegevens. Vervolgens ontwikkelt en traint u een voorspellend model. En ten slotte implementeert u het model als een webservice.

In dit deel van de zelfstudie gaat u het volgende doen:

U kunt dit experiment vervolgens gebruiken om modellen te trainen in deel 2 en deze vervolgens in deel 3 te implementeren.

Vereisten

In deze zelfstudie gaan we ervan uit dat u Machine Learning Studio (klassiek) al minstens één keer hebt gebruikt en dat u enig inzicht hebt in de concepten van machine learning. Er wordt niet van uitgegaan dat u in een van beide opzichten een expert bent.

Als u Machine Learning Studio (klassiek) nog nooit eerder hebt gebruikt, kunt u beginnen met de quickstart, uw eerste data science-experiment maken in Machine Learning Studio (klassiek). In de snelstartgids wordt u voor de eerste keer door Machine Learning Studio (klassieke versie) geleid. U ziet hoe u modules naar uw experiment sleept, ze aan elkaar koppelt, het experiment uitvoert en de resultaten weergeeft.

Een werkruimte maken in Azure Machine Learning Studio (klassiek)

Als u Machine Learning Studio (klassiek) wilt gebruiken, moet u een Machine Learning Studio-werkruimte (klassiek) hebben. Deze werkruimte bevat de hulpprogramma's die u nodig hebt om experimenten te maken, beheren en publiceren.

Om een werkruimte te maken, zie Een Machine Learning Studio-werkruimte (klassiek) maken en delen.

Nadat uw werkruimte is gemaakt, opent u Machine Learning Studio (klassiek) (https://studio.azureml.net/Home). Als u meer dan één werkruimte hebt, kunt u de werkruimte selecteren op de werkbalk in de rechterbovenhoek van het venster.

Bestaande gegevens uploaden

Voor het ontwikkelen van een voorspellend model voor kredietrisico hebt u gegevens nodig die u kunt gebruiken om het model te trainen en vervolgens te testen. Voor deze zelfstudie gebruikt u "UCI Statlog (German Credit Data) Data Set" uit de UC Irvine Machine Learning-opslagplaats. U vindt deze hier:
https://archive.ics.uci.edu/ml/datasets/Statlog+(German+Credit+Data)

U gebruikt het bestand met de naam german.data. Download dit bestand naar uw lokale vaste schijf.

De gegevensset german.data bevat rijen van 20 variabelen voor 1000 voorgaande kredietaanvragers. Deze 20 variabelen vertegenwoordigen de set functies van de gegevensset (de functievector), die identificatiekenmerken biedt voor elke kredietaanvrager. Een extra kolom in elke rij vertegenwoordigt het berekende kredietrisico van de aanvrager, met 700 aanvragers geïdentificeerd als een laag kredietrisico en 300 als een hoog risico.

De UCI-website bevat een beschrijving van de kenmerken van de functievector voor deze gegevens. Deze gegevens omvatten financiële gegevens, kredietgeschiedenis, werknemersstatus en persoonlijke gegevens. Voor elke aanvrager is een binaire beoordeling gegeven die aangeeft of deze een laag of een hoog kredietrisico heeft.

U gebruikt deze gegevens om een voorspellend model te trainen. Wanneer u klaar bent, moet uw model in staat zijn om een functievector voor een nieuw individu te accepteren en te voorspellen of hij of zij een laag of hoog kredietrisico heeft.

Er is een interessante wending.

De beschrijving van de dataset op de UCI-website geeft aan wat het kost als u het kredietrisico van een persoon verkeerd classificeert. Als het model een hoog kredietrisico voorspelt voor iemand die feitelijk een laag kredietrisico heeft, heeft het model een misclassificatie gemaakt.

Maar de omgekeerde misclassificatie is vijf keer zo duur voor de financiële instelling: als het model een laag kredietrisico voorspelt voor iemand die daadwerkelijk een hoog kredietrisico loopt.

U moet uw model dus zo trainen dat de kosten van dit laatste type misclassificatie vijf keer zo hoog zijn als die van de andere manier van verkeerd klasseren.

Een eenvoudige manier om dit te doen is door bij het trainen van het model in uw experiment de items die iemand met een hoog kredietrisico vertegenwoordigen, vijf keer te dupliceren.

Als het model iemand vervolgens ten onrechte classificeert als een laag kredietrisico terwijl het een hoog risico betreft, voert het model vijfmaal dezelfde misclassificatie uit, één keer voor elk duplicaat. Dit verhoogt de kosten van deze fout in de trainingsresultaten.

De gegevenssetindeling converteren

In de oorspronkelijke gegevensset worden de gegevens gescheiden door witruimte. Machine Learning Studio (klassiek) werkt beter met een bestand met door komma's gescheiden waarden (CSV), dus moet u de gegevensset converteren door spaties te vervangen door komma's.

Er zijn veel manieren om deze gegevens te converteren. Eén manier is de volgende Windows PowerShell-opdracht te gebruiken:

cat german.data | %{$_ -replace " ",","} | sc german.csv  

Een andere manier is met behulp van de sed-opdracht van Unix:

sed 's/ /,/g' german.data > german.csv

In beide gevallen hebt u een door komma's gescheiden versie van de gegevens gemaakt in een bestand met de naam german.csv dat u in uw experiment kunt gebruiken.

Upload de gegevensset naar Machine Learning Studio (klassiek)

Nadat de gegevens zijn geconverteerd naar CSV-indeling, moet u deze uploaden naar Machine Learning Studio (klassiek).

1. Open de startpagina van Machine Learning Studio (klassiek) (https://studio.azureml.net).

2. Klik op het Klik in de linkerbovenhoek van het venster op Azure Machine Learning, selecteer Studio en meld u aan.

3. Klik onder aan het venster op +NIEUW .

4. Selecteer DATASET.

5. Selecteer UIT LOKAAL BESTAND.

   

6. Klik in het dialoogvenster Een nieuwe gegevensset uploaden op Bladeren en zoek het german.csv bestand dat u hebt gemaakt.

7. Voer een naam in voor de gegevensset. Noem het voor deze handleiding "UCI German Credit Card Data".

8. Voor het gegevenstype selecteert u Algemeen CSV-bestand zonder koptekst (.nh.csv).

9. Voeg desgewenst een beschrijving toe.

10. Klik op het vinkje OK .

    

Hiermee worden de gegevens geüpload naar een gegevenssetmodule die u in een experiment kunt gebruiken.

U kunt gegevenssets beheren die u hebt geüpload naar Studio (klassiek) door te klikken op het tabblad GEGEVENSSETS links van het Studio-venster (klassiek).

Zie Uw trainingsgegevens importeren in Machine Learning Studio (klassiek) voor meer informatie over het importeren van andere typen gegevens in een experiment.

Een experiment maken

De volgende stap in deze zelfstudie is om een experiment te maken in Machine Learning Studio (klassiek) dat gebruikmaakt van de gegevensset die u hebt geüpload.

1. Klik in Studio (klassiek) op +NEW onderaan het venster.

2. Selecteer EXPERIMENT en selecteer vervolgens Leeg experiment.

   

3. Selecteer bovenaan het canvas de standaardnaam voor een experiment en wijzig deze in een beschrijvende naam.

   

   Aanbeveling

   Het is een goed idee om samenvatting en beschrijving in te vullen voor het experiment in het deelvenster Eigenschappen . Met deze eigenschappen kunt u het experiment documenteren, zodat iedereen die er later naar kijkt, uw doelen en methodologie begrijpt.

   

4. Vouw opgeslagen gegevenssets uit in het modulepalet links van het experimentcanvas.

5. Zoek de gegevensset die u hebt gemaakt onder Mijn gegevenssets en sleep deze naar het canvas. U kunt de gegevensset ook vinden door de naam in te voeren in het zoekvak boven het palet.

   

De gegevens voorbereiden

U kunt de eerste 100 rijen van de gegevens en enkele statistische gegevens voor de hele gegevensset bekijken: klik op de uitvoerpoort van de gegevensset (de kleine cirkel onderaan) en selecteer Visualiseren.

Omdat het gegevensbestand geen kolomkoppen bevat, bevat Studio (klassiek) algemene koppen (Col1, Col2, enzovoort). Goede koppen zijn niet essentieel voor het maken van een model, maar ze maken het wel gemakkelijker om met de gegevens in het experiment te werken. Wanneer u dit model uiteindelijk publiceert in een webservice, helpen de koppen u ook bij het identificeren van de kolommen voor de gebruiker van de service.

U kunt kolomkoppen toevoegen met behulp van de module Metagegevens bewerken .

U gebruikt de module Metagegevens bewerken om metagegevens te wijzigen die zijn gekoppeld aan een gegevensset. In dit geval gebruik je het om vriendelijkere namen voor de kolomkoppen op te geven.

Als u metagegevens bewerken wilt gebruiken, geeft u eerst op welke kolommen u wilt wijzigen (in dit geval allemaal.) Vervolgens geeft u de actie op die moet worden uitgevoerd op deze kolommen (in dit geval worden kolomkoppen gewijzigd.)

1. Typ 'metagegevens' in het modulepalet in het zoekvak. De metagegevens bewerken wordt weergegeven in de modulelijst.

2. Klik en sleep de module Metagegevens bewerken naar het canvas en zet deze neer onder de gegevensset die u eerder hebt toegevoegd.

3. Verbind de gegevensset met de metagegevens bewerken: klik op de uitvoerpoort van de gegevensset (de kleine cirkel onder aan de gegevensset), sleep naar de invoerpoort van Metagegevens bewerken (de kleine cirkel boven aan de module) en laat de muisknop los. De gegevensset en de module blijven verbonden, zelfs als u een ervan op het canvas verplaatst.

   Het experiment zou er nu ongeveer zo uit moeten zien:

   

   Het rode uitroepteken geeft aan dat u de eigenschappen voor deze module nog niet hebt ingesteld. Dat doet u daarna.

   Aanbeveling

   U kunt een opmerking aan een module toevoegen door te dubbelklikken op de module en tekst in te voeren. Zodoende kunt u in één oogopslag zien wat de module in uw experiment doet. Dubbelklik in dit geval op de module Metagegevens bewerken en typ de opmerking Kolomkoppen toevoegen. Klik ergens anders op het canvas om het tekstvak te sluiten. Klik op de pijl-omlaag in de module om de opmerking weer te geven.

   

4. Selecteer Metagegevens bewerken en klik in het deelvenster Eigenschappen rechts van het canvas op Kolomkiezer starten.

5. Selecteer in het dialoogvenster Kolommen selecteren alle rijen in Beschikbare kolommen en klik op > om ze naar Geselecteerde kolommen te verplaatsen. Het dialoogvenster zou er zo uit moeten zien:

   

6. Klik op het vinkje OK .

7. Zoek in het deelvenster Eigenschappen naar de parameter Nieuwe kolomnamen . Voer in dit veld een lijst met namen in voor de 21 kolommen in de gegevensset, gescheiden door komma's, in de volgorde van de kolommen. U kunt de kolomnamen verkrijgen uit de datasetdocumentatie op de UCI-website, of voor het gemak kunt u de volgende lijst kopiëren en plakken:

   Status of checking account, Duration in months, Credit history, Purpose, Credit amount, Savings account/bond, Present employment since, Installment rate in percentage of disposable income, Personal status and sex, Other debtors, Present residence since, Property, Age in years, Other installment plans, Housing, Number of existing credits, Job, Number of people providing maintenance for, Telephone, Foreign worker, Credit risk  
   

   Het deelvenster Properties ziet er zo uit:

   

   Aanbeveling

   Als u de kolomkoppen wilt controleren, voert u het experiment uit (klik op UITVOEREN onder het experimentcanvas). Wanneer het uitvoeren is voltooid (er wordt een groen vinkje weergegeven bij Metagegevens bewerken), klikt u op de uitvoerpoort van de module Metagegevens bewerken en selecteert u Visualiseren. U kunt de uitvoer van elke module op dezelfde manier bekijken om de voortgang van de gegevens door het experiment te bekijken.

Training- en testgegevenssets maken

U hebt gegevens nodig om het model te trainen, en andere gegevens om het te testen. In de volgende stap van het experiment splitst u de gegevensset dus in twee afzonderlijke gegevenssets: een voor het trainen van ons model en een voor het testen ervan.

Hiervoor gebruikt u de module Split Data .

1. Zoek de module Split Data , sleep deze naar het canvas en verbind deze met de module Metagegevens bewerken .

2. De splitsingsverhouding is standaard 0,5 en de parameter Gerandomiseerd splitsen is ingesteld. Dit betekent dat een willekeurige helft van de gegevens wordt uitgevoerd via één poort van de module Split Data , en de helft door de andere. U kunt deze parameters, evenals de parameter Random seed , aanpassen om de splitsing tussen trainings- en testgegevens te wijzigen. In dit voorbeeld laat u staan zoals ze zijn.

   Aanbeveling

   De eigenschap Fraction of rows in de eerste uitvoergegevensset bepaalt hoeveel van de gegevens wordt uitgevoerd via de linkeruitvoerpoort . Als u bijvoorbeeld de verhouding instelt op 0,7, wordt 70% van de gegevens uitgevoerd via de linker poort en 30% via de rechter poort.

3. Dubbelklik op de module Split Data en voer de opmerking in: "Training/testing data split 50%".

U kunt de uitvoer van de module Split Data naar eigen keuze gebruiken, maar laten we ervoor kiezen om de linkeruitvoer te gebruiken als trainingsgegevens en de juiste uitvoer als testgegevens.

Zoals vermeld in de vorige stap, zijn de kosten voor het verkeerd classificeren van een hoog kredietrisico als laag vijf keer hoger dan de kosten voor het verkeerd classificeren van een laag kredietrisico als hoog. Om hier rekening mee te houden, genereert u een nieuwe gegevensset die deze kostenfunctie weergeeft. In de nieuwe gegevensset wordt elk voorbeeld met een hoog risico vijf keer gerepliceerd, terwijl elk voorbeeld met een laag risico niet wordt gerepliceerd.

U kunt deze replicatie uitvoeren met behulp van R-code:

1. Zoek en sleep de module Execute R Script naar het experimentcanvas.

2. Verbind de linkeruitvoerpoort van de module Split Data met de eerste invoerpoort ('Dataset1') van de module Execute R Script .

3. Dubbelklik op de module Execute R Script en voer de opmerking 'Kostenaanpassing instellen' in.

4. Verwijder in het deelvenster Eigenschappen de standaardtekst in de parameter R Script en voer dit script in:

   dataset1 <- maml.mapInputPort(1)
   data.set<-dataset1[dataset1[,21]==1,]
   pos<-dataset1[dataset1[,21]==2,]
   for (i in 1:5) data.set<-rbind(data.set,pos)
   maml.mapOutputPort("data.set")
   

   

U moet dezelfde replicatiebewerking uitvoeren voor elke uitvoer van de module Split Data , zodat de trainings- en testgegevens dezelfde kostenaanpassing hebben. De eenvoudigste manier om dit te doen, is door de module Execute R Script die u zojuist hebt gemaakt te dupliceren en deze te verbinden met de andere uitvoerpoort van de module Split Data .

1. Klik met de rechtermuisknop op de module Execute R Script en selecteer Copy.

2. Klik met de rechtermuisknop op het experimentcanvas en selecteer Plakken.

3. Sleep de nieuwe module naar positie en verbind vervolgens de rechteruitvoerpoort van de module Split Data met de eerste invoerpoort van deze nieuwe Execute R Script-module .

4. Klik onder aan het canvas op Uitvoeren.

Ons experiment ziet er nu ongeveer uit als volgt:

Zie Uw experiment uitbreiden met R voor meer informatie over het gebruik van R-scripts in uw experimenten.

Hulpbronnen opschonen

Als u de resources die u aan de hand van dit artikel hebt gemaakt, niet meer nodig hebt, verwijdert u ze om te voorkomen dat er kosten in rekening worden gebracht. Lees hoe u in het artikel gebruikersgegevens in het product exporteert en verwijdert.

Volgende stappen

In deze zelfstudie hebt u de volgende stappen voltooid:

U bent nu klaar om modellen voor deze gegevens te trainen en te evalueren.