Belgeler / ML Studio
ML Studio'da veriler
Veri kümelerini içe aktarma ve profilleme, değişmez sürümler, hazırlık, kalite, maskelemeli hassasiyet ve köken.
Bu sayfada
Kötü modellerin neredeyse tamamı, verilerde zaten var olan bir sorunla başlar. Veriler sekmesi bu sorunu eğitimden önce görmenize yardım eder. Bir veri kümesi (dataset) bir tablodur: satırlar (örnekler) ve sütunlar (değişkenler ve tahmin edilecek sütun).
İçe aktarma ve profilleme
İçe aktar ve profille düğmesine basın ve bir dosya veya veritabanı seçin.
| Kaynak | Ayrıntı |
|---|---|
| Dosyalar | CSV, TSV, JSON, JSONL, Parquet ve SQLite. |
| Veritabanı | Bir Veritabanı bağlantısı üzerinde salt okunur bir SELECT sorgusu. |
| Büyük veriler | RAM'den büyük veri kümeleriyle çalışır. |
İçe aktarırken Yuli tam profili hesaplar ve size Maskelenmiş örnek'i gösterir: hassas sütunları gizlenmiş örnek satırlar.
Değişmez sürümler
Her değişiklik (içe aktarma, temizleme, bölme) hash'iyle tanımlanan yeni ve değişmez bir sürüm oluşturur. Bir sürümün üzerine asla yazılmaz: bir model her zaman tam olarak hangi verilerle eğitildiğini söyleyebilir.
ventas.csv
├── v1 sha256:4f1c… içe aktarıldı
├── v2 sha256:9a07… yinelenenleri kaldır
├── v3 sha256:c2e8… boş değerleri doldur (medyan)
└── v4 sha256:71bd… böl 70 / 15 / 15Bir veri kümesinin görünümleri
| Görünüm | Ne gösterir |
|---|---|
| Profil | Şema ve sütun başına istatistikler. |
| Hazırla | Temizleme ve dönüştürme adımları. |
| Kart | Lisansıyla birlikte veri kümesinin kartı (bir modeli onaylamak için gereklidir). |
| Veriler | Gereken yerlerde maskelenmiş satırlar. |
| Hassasiyet | Hangi sütunların hassas olduğu ve nasıl maskelendiği. |
| Kalite | Genel bir puan ve boyutları. |
| Köken | Her sürümün nereden geldiği ve hangi modellerin onu kullandığı. |
Profil
Sütun tablosu Sütun, Tür, Boş, Benzersiz, Dağılım ve Özet bilgilerini gösterir. Altında:
- Sınıf dengesi: tahmin edilecek sütunun her değeri için kaç örnek olduğu.
- En güçlü korelasyonlar: birlikte en çok değişen sütun çiftleri.
- Tespit edilen sorunlar: sabit sütunlar, dışarıda bırakılması gereken tanımlayıcılar, çok sayıda boş değer, yinelenen satırlar veya dengesiz sınıflar.
Tahmin edilecek sütunla neredeyse mükemmel bir korelasyon genellikle bir sızıntıdır: yanıta ait bilgi değişkenlere karışmıştır. Model mükemmel görünür ve üretimde başarısız olur. O sütunu dışarıda bırakın.
Verileri hazırlama
Hazırla içindeki her adım yeni bir sürüm üretir:
| Adım | Ne yapar |
|---|---|
| Yinelenenleri kaldır | Tekrarlanan satırları siler. |
| Boş değerleri doldur | Eksik değerleri tamamlar. |
| One-hot | Bir kategoriyi 0 ve 1 değerli sütunlara dönüştürür. |
| Standartlaştır | Standart sapması 1 olacak şekilde 0'a ortalar. |
| Normalleştir (0–1) | 0 ile 1 aralığına ölçekler. |
| Böl | Eğitim, doğrulama ve test olarak ayırır. |
Kalite
Kalite görünümü bir Genel puan ve bir Not verir ve bunları boyutlara ayırır:
| Boyut | Soru |
|---|---|
| Eksikler | Kaç değer eksik ve nerede? |
| Geçerlilik | Değerler beklenen tür ve biçimde mi? |
| Yinelenenler ve kurallar | Tekrarlanan satırlar veya ihlal edilen iş kuralları var mı? |
| Aykırı değerler | Şüpheli uç değerler var mı? |
| Dağılımlar | Sütunların biçimi makul mü? |
| Zaman ve kayma | Veriler zamanla değişiyor mu? |
| Etiketler | Tahmin edilecek sütun tutarlı mı? |
| Yanlılık | Herhangi bir grup az ya da fazla temsil ediliyor mu? |
Hassasiyet ve maskeleme
Hassasiyet içinde her sütunun hassas olma olasılığı, bir kategorisi ve önerilen bir maskelemesi vardır. Dedektör sütun adını, örüntüleri ve kontrol basamaklı doğrulayıcıları (kartlar, IBAN, CLABE, CPF, CURP/RFC) birleştirir.
- Siz ve yerel modelleriniz gerçek değerlerle çalışırsınız: bunlar bilgisayarınızdan çıkmaz.
- Harici ajanlar hassas sütunları yalnızca
•••olarak görür. Toplu değerler geçer: bir ajan tek bir müşteriyi görmeden hangi değişkenlerin daha ağır bastığı üzerine akıl yürütebilir. - Bir sütunu hassas değil olarak yalnızca bir insan işaretleyebilir. Bir ajan verilerin maskesini kendisi için asla kaldıramaz.
Hassas sütunlar yuli-ml.yaml içine kaydedilir:
sensitiveColumns:
- email
- curp
- telefonoModel insanları etkiliyorsa Kalite'deki Yanlılık boyutunu ve değerlendirmedeki Sağlamlık ve adillik bölümünü de inceleyin. Bkz. ML gizliliği ve sandbox.
Köken
Köken zincirin tamamını çizer: kaynak dosya veya sorgu → veri kümesi sürümleri → hazırlık adımları → eğitimler →
model sürümleri. Her model kendi lineage.json dosyasını saklar; böylece «üretimdeki sürüm tam olarak hangi verilerle
eğitildi?» sorusunu her zaman yanıtlayabilirsiniz.
Sonraki adım: Eğitim.