Belgeler / ML Studio

ML Studio'da veriler

Veri kümelerini içe aktarma ve profilleme, değişmez sürümler, hazırlık, kalite, maskelemeli hassasiyet ve köken.

Bu sayfada

Kötü modellerin neredeyse tamamı, verilerde zaten var olan bir sorunla başlar. Veriler sekmesi bu sorunu eğitimden önce görmenize yardım eder. Bir veri kümesi (dataset) bir tablodur: satırlar (örnekler) ve sütunlar (değişkenler ve tahmin edilecek sütun).

İçe aktarma ve profilleme

İçe aktar ve profille düğmesine basın ve bir dosya veya veritabanı seçin.

KaynakAyrıntı
DosyalarCSV, TSV, JSON, JSONL, Parquet ve SQLite.
VeritabanıBir Veritabanı bağlantısı üzerinde salt okunur bir SELECT sorgusu.
Büyük verilerRAM'den büyük veri kümeleriyle çalışır.

İçe aktarırken Yuli tam profili hesaplar ve size Maskelenmiş örnek'i gösterir: hassas sütunları gizlenmiş örnek satırlar.

Değişmez sürümler

Her değişiklik (içe aktarma, temizleme, bölme) hash'iyle tanımlanan yeni ve değişmez bir sürüm oluşturur. Bir sürümün üzerine asla yazılmaz: bir model her zaman tam olarak hangi verilerle eğitildiğini söyleyebilir.

text
ventas.csv
├── v1  sha256:4f1c…  içe aktarıldı
├── v2  sha256:9a07…  yinelenenleri kaldır
├── v3  sha256:c2e8…  boş değerleri doldur (medyan)
└── v4  sha256:71bd…  böl 70 / 15 / 15

Bir veri kümesinin görünümleri

GörünümNe gösterir
ProfilŞema ve sütun başına istatistikler.
HazırlaTemizleme ve dönüştürme adımları.
KartLisansıyla birlikte veri kümesinin kartı (bir modeli onaylamak için gereklidir).
VerilerGereken yerlerde maskelenmiş satırlar.
HassasiyetHangi sütunların hassas olduğu ve nasıl maskelendiği.
KaliteGenel bir puan ve boyutları.
KökenHer sürümün nereden geldiği ve hangi modellerin onu kullandığı.

Profil

Sütun tablosu Sütun, Tür, Boş, Benzersiz, Dağılım ve Özet bilgilerini gösterir. Altında:

  • Sınıf dengesi: tahmin edilecek sütunun her değeri için kaç örnek olduğu.
  • En güçlü korelasyonlar: birlikte en çok değişen sütun çiftleri.
  • Tespit edilen sorunlar: sabit sütunlar, dışarıda bırakılması gereken tanımlayıcılar, çok sayıda boş değer, yinelenen satırlar veya dengesiz sınıflar.

Tahmin edilecek sütunla neredeyse mükemmel bir korelasyon genellikle bir sızıntıdır: yanıta ait bilgi değişkenlere karışmıştır. Model mükemmel görünür ve üretimde başarısız olur. O sütunu dışarıda bırakın.

Verileri hazırlama

Hazırla içindeki her adım yeni bir sürüm üretir:

AdımNe yapar
Yinelenenleri kaldırTekrarlanan satırları siler.
Boş değerleri doldurEksik değerleri tamamlar.
One-hotBir kategoriyi 0 ve 1 değerli sütunlara dönüştürür.
StandartlaştırStandart sapması 1 olacak şekilde 0'a ortalar.
Normalleştir (0–1)0 ile 1 aralığına ölçekler.
BölEğitim, doğrulama ve test olarak ayırır.
5 adımdan 0 tamam

Kalite

Kalite görünümü bir Genel puan ve bir Not verir ve bunları boyutlara ayırır:

BoyutSoru
EksiklerKaç değer eksik ve nerede?
GeçerlilikDeğerler beklenen tür ve biçimde mi?
Yinelenenler ve kurallarTekrarlanan satırlar veya ihlal edilen iş kuralları var mı?
Aykırı değerlerŞüpheli uç değerler var mı?
DağılımlarSütunların biçimi makul mü?
Zaman ve kaymaVeriler zamanla değişiyor mu?
EtiketlerTahmin edilecek sütun tutarlı mı?
YanlılıkHerhangi bir grup az ya da fazla temsil ediliyor mu?

Hassasiyet ve maskeleme

Hassasiyet içinde her sütunun hassas olma olasılığı, bir kategorisi ve önerilen bir maskelemesi vardır. Dedektör sütun adını, örüntüleri ve kontrol basamaklı doğrulayıcıları (kartlar, IBAN, CLABE, CPF, CURP/RFC) birleştirir.

  • Siz ve yerel modelleriniz gerçek değerlerle çalışırsınız: bunlar bilgisayarınızdan çıkmaz.
  • Harici ajanlar hassas sütunları yalnızca ••• olarak görür. Toplu değerler geçer: bir ajan tek bir müşteriyi görmeden hangi değişkenlerin daha ağır bastığı üzerine akıl yürütebilir.
  • Bir sütunu hassas değil olarak yalnızca bir insan işaretleyebilir. Bir ajan verilerin maskesini kendisi için asla kaldıramaz.

Hassas sütunlar yuli-ml.yaml içine kaydedilir:

yaml
sensitiveColumns:
  - email
  - curp
  - telefono

Model insanları etkiliyorsa Kalite'deki Yanlılık boyutunu ve değerlendirmedeki Sağlamlık ve adillik bölümünü de inceleyin. Bkz. ML gizliliği ve sandbox.

Köken

Köken zincirin tamamını çizer: kaynak dosya veya sorgu → veri kümesi sürümleri → hazırlık adımları → eğitimler → model sürümleri. Her model kendi lineage.json dosyasını saklar; böylece «üretimdeki sürüm tam olarak hangi verilerle eğitildi?» sorusunu her zaman yanıtlayabilirsiniz.

Sonraki adım: Eğitim.