KDD vs andmekaevandus
KDD (Knowledge Discovery in Databases) on arvutiteaduse valdkond, mis sisaldab tööriistu ja teooriaid, mis aitavad inimestel kasuliku ja seni tundmatu teabe (st teadmiste) väljavõtmisel suurtest digiteeritud andmete kogudest. KDD koosneb mitmest etapist ja Data Mining on üks neist. Andmekaevandus on konkreetse algoritmi rakendamine mustritest andmete väljavõtmiseks. Sellest hoolimata kasutatakse KDD-d ja andmekaevandust omavahel asendatult.
Mis on KDD?
Nagu eespool mainitud, on KDD arvutiteaduste valdkond, mis tegeleb seni tundmatu ja huvitava teabe toorandmetest väljavõtmisega. KDD on kogu protsess, mille käigus püütakse andmeid mõtestada sobivate meetodite või tehnikate väljatöötamise kaudu. See protsess käsitleb madala taseme andmete kaardistamist muudesse vormidesse, mis on kompaktsemad, abstraktsemad ja kasulikumad. See saavutatakse lühiaruannete loomise, andmete genereerimise protsessi modelleerimise ja tulevikujuhtumeid ennustavate ennustavate mudelite väljatöötamise abil. Andmete eksponentsiaalse kasvu tõttu, eriti sellistes valdkondades nagu ettevõtlus, on KDD-st saanud väga oluline protsess selle suure hulga andmete teisendamiseks ärianalüüsiks, kuna mustrite käsitsi väljavõtmine on viimase paarikümne aasta jooksul muutunud näiliselt võimatuks. Näiteks,Praegu kasutatakse seda mitmesuguste rakenduste jaoks, nagu sotsiaalvõrgustike analüüs, pettuste tuvastamine, teadus, investeeringud, tootmine, telekommunikatsioon, andmete puhastamine, sport, teabe otsimine ja peamiselt turunduseks. KDD-d kasutatakse tavaliselt küsimustele vastamiseks, näiteks millised on peamised tooted, mis võivad aidata järgmisel aastal Wal-Martis suurt kasumit saada. Sellel protsessil on mitu sammu. See algab rakenduse domeeni ja eesmärgi mõistmise arendamisest ning seejärel sihtandmekogumi loomisest. Sellele järgneb andmete puhastamine, eeltöötlus, vähendamine ja projitseerimine. Järgmine samm on andmete kaevandamise kasutamine (selgitatud allpool) mustri tuvastamiseks. Lõpuks kinnistatakse avastatud teadmised visualiseerimise ja / või tõlgendamise kaudu.sport, teabe otsimine ja suures osas turunduseks. KDD-d kasutatakse tavaliselt küsimustele vastamiseks, näiteks millised on peamised tooted, mis võivad aidata järgmisel aastal Wal-Martis suurt kasumit saada. Sellel protsessil on mitu sammu. See algab rakenduse domeeni ja eesmärgi mõistmise arendamisest ning seejärel sihtandmekogumi loomisest. Sellele järgneb andmete puhastamine, eeltöötlus, vähendamine ja projitseerimine. Järgmine samm on andmete kaevandamise kasutamine (selgitatud allpool) mustri tuvastamiseks. Lõpuks kinnistatakse avastatud teadmised visualiseerimise ja / või tõlgendamise kaudu.sport, teabe otsimine ja suures osas turunduseks. KDD-d kasutatakse tavaliselt küsimustele vastamiseks, näiteks millised on peamised tooted, mis võivad aidata järgmisel aastal Wal-Martis suurt kasumit saada. Sellel protsessil on mitu sammu. See algab rakenduse domeeni ja eesmärgi mõistmise arendamisest ning seejärel sihtandmekogumi loomisest. Sellele järgneb andmete puhastamine, eeltöötlus, vähendamine ja projitseerimine. Järgmine samm on andmete kaevandamise kasutamine (selgitatud allpool) mustri tuvastamiseks. Lõpuks kinnistatakse avastatud teadmised visualiseerimise ja / või tõlgendamise kaudu. See algab rakenduse domeeni ja eesmärgi mõistmise arendamisest ning seejärel sihtandmekogumi loomisest. Sellele järgneb andmete puhastamine, eeltöötlus, vähendamine ja projitseerimine. Järgmine samm on mustri tuvastamiseks andmekaevanduse kasutamine (selgitatud allpool). Lõpuks kinnistatakse avastatud teadmised visualiseerimise ja / või tõlgendamise kaudu. See algab rakenduse domeeni ja eesmärgi mõistmise arendamisest ning seejärel sihtandmekogumi loomisest. Sellele järgneb andmete puhastamine, eeltöötlus, vähendamine ja projitseerimine. Järgmine samm on andmete kaevandamise kasutamine (selgitatud allpool) mustri tuvastamiseks. Lõpuks kinnistatakse avastatud teadmised visualiseerimise ja / või tõlgendamise kaudu.
Mis on andmekaevandus?
Nagu eespool mainitud, on andmekaevandamine vaid samm KDD üldises protsessis. Rakenduse eesmärgi järgi on määratletud kaks peamist andmekaevanduse eesmärki ja need on nimelt kontrollimine või avastamine. Kontrollimine kontrollib kasutaja hüpoteesi andmete kohta, samas kui avastamine leiab automaatselt huvitavaid mustreid. Andmete kaevandamisel on neli peamist ülesannet: klasterdamine, klassifitseerimine, regressioon ja assotsiatsioon (kokkuvõte). Klasterdamine on sarnaste rühmade tuvastamine struktureerimata andmete põhjal. Klassifikatsioon on õppereeglid, mida saab uutele andmetele rakendada. Regressioon on andmete modelleerimiseks minimaalse veaga funktsioonide leidmine. Ja assotsiatsioon otsib muutujate vahelisi seoseid. Seejärel tuleb valida konkreetne andmekaevamise algoritm. Sõltuvalt eesmärgist on erinevad algoritmid nagu lineaarne regressioon, logistiline regressioon,valida saab otsustuspuid ja Naiivseid Bayesid. Seejärel otsitakse huvipakkuvaid mustreid ühes või mitmes esindusvormis. Lõpuks hinnatakse mudeleid kas prognoositava täpsuse või arusaadavuse abil.
Mis vahe on KDD-l ja andmekaevandusel?
Ehkki kahte terminit KDD ja Data Mining kasutatakse tihedalt omavahel asendatult, viitavad nad kahele seotud, kuid veidi erinevale mõistele. KDD on üldine andmetest teadmiste ammutamise protsess, samas kui andmekaevandamine on samm KDD protsessis, mis tegeleb andmete mustrite tuvastamisega. Teisisõnu, andmekaevandus on ainult konkreetse algoritmi rakendamine, mis põhineb KDD protsessi üldeesmärgil.
