Bir analist, yapay zekâ destekli bir asistan tarafından saniyeler içinde oluşturulan bir tedarikçi sözleşmesinin taslak özetini açar. Özet oldukça anlaşılır. Fesih maddesi ve ödeme koşulu belirtilmiş ve baştan sona kendinden emin bir üslup kullanılmış. Analist eskiden bu maddeleri bulmak için sözleşmeyi okuyarak bir sabahını harcardı. Şimdi soru farklı: Bu özet doğru mu ve imzalamadan önce neleri kontrol etmeleri gerekiyor?
Bu, belgelenmiş bir müşteri vakası değil, örnek bir senaryodur. Birçok işte değişen şeyleri yansıtmaktadır. Cevaba ulaşmak daha hızlıdır. Ancak cevaba güvenilip güvenilemeyeceğine ve güvenilmezse kimin sorumlu olacağına karar vermek yine de kişinin sorumluluğundadır.
Bu kılavuz, yapay zekâ destekli iş gücü eğitimi planlayan eğitim ve geliştirme yöneticileri ve eğitim tasarımcıları içindir. Yapay zekânın insan işini değiştirdiği görevleri nasıl bulacağınızı, bazen yanlış sonuçlar veren çıktılar etrafında nasıl uygulama geliştireceğinizi ve verimlilik artışı vaat etmeden sorumlu kullanımı nasıl ölçeceğinizi gösterir.
Hızlı gerçekler
| Soru | Kısa cevap |
|---|---|
| İnsanlar iş yerinde yapay zekayı kullandığında neler değişiyor? | İlk taslağı veya cevabı üretmek kolaylaşır. Ancak onu doğrulamak, değerlendirmek ve sonucun sorumluluğunu üstlenmek ortadan kalkmaz. |
| Yapay zeka eğitimi ne öğretmeli? | Bir görevin artık gerektirdiği kontrol ve değerlendirme yeteneği, ayrıca bunu yapmak için gereken alan bilgisi. |
| Sadece talimatlar aşırı güven sorununu çözebilir mi? | Hayır. Otomasyon önyargısı üzerine yapılan araştırmalar, bu önyargının hem acemilerde hem de uzmanlarda görüldüğünü ve yalnızca eğitim veya talimatlarla önlenemediğini ortaya koymuştur. |
| Neyi ölçmeli? | Yapay zekâ kullanımına ilişkin onaylanmış sınırlar dahilinde, gerçek görevler üzerinde gözlemlenen doğrulama. |
1. Yapay zekanın iş görevlerini nasıl değiştirdiğini haritalandırın.
Öncelikle bir araçtan değil, gerçek bir görevden başlayın. Bu görevi yapay zekâ öncesindeki haliyle ve günümüzdeki haliyle tanımlayın ve ikisini sütun sütun karşılaştırın.
Sözleşme örneği için:
- Önce: Sözleşmenin tamamını okuyun, önemli maddeleri çıkarın, olağandışı olan her şeyi işaretleyin, özetini yazın.
- Şimdi: Yapay zekâ tarafından oluşturulan özeti inceleyin, kaynakla karşılaştırın, güvenip güvenmeyeceğinize karar verin, olağandışı bir şey olup olmadığını işaretleyin ve sonuçtan sorumluluk alın.
Bazı adımlar kısalır. Terimleri ayıklamak saniyeler sürebilir. Diğerleri ise ortaya çıkar veya büyür: çıktıyı kaynakla karşılaştırmak, özetin neleri atladığını fark etmek ve bir uzmana ne zaman danışılacağına karar vermek. Talep edilen beceri, üretmekten değerlendirmeye doğru kaymıştır. Bir görevin nasıl yerine getirildiğini değil, nasıl düşünmeyi gerektirdiğini tanımlayan Bloom'un terimleriyle, ağırlık analiz ve değerlendirmeye doğru kayar. Rehberimiz Öğrenme etkinliklerini Bloom Taksonomisi ile eşleştirmek Seviyeyi öğrendikten sonra hedefi, etkinliği ve değerlendirmeyi nasıl uyumlu hale getireceğinizi açıklar.
Bu karşılaştırma, yapay zeka için dürüst bir eğitim ihtiyaç analizi yapmanın özünü oluşturur. Ayrıca yaygın bir hatayı da önler: Gerçek değişiklik yeni bir kontrol görevi olduğunda herkesi bir araç üzerinde eğitmek.
2. Doğrulama ve değerlendirme gereksinimlerini belirleyin.
"Şimdi" sütunundaki her adımla ilgili üç soru sorun.
- Burada hatalı bir çıktı nasıl görünürdü? Uydurulmuş bir madde, gözden kaçmış bir istisna, akla yatkın ama güncelliğini yitirmiş bir rakam.
- Bunu doğrulamamı sağlayacak hangi kanıtlar var? Kaynak belge, ikinci bir sistem, bir meslektaş, bir politika.
- Ne zaman durup başkasına sormalıyım? "Bunu doğrulayabilirim" ile "bunun için bir uzmana ihtiyaç var" arasındaki sınır.
Araştırmacılar, insanların kusurlu otomatik yardımcılarla çalışırken neler olduğunu on yıllardır inceliyorlar. Parasuraman ve Manzey'in bu araştırmaya ilişkin incelemesi, insanların her zaman doğru olmayan bir karar destek aracına güvendikleri için ihmal ve yanlış yapma hataları yaptıkları otomasyon önyargısını tanımlıyor. Bu etkiyi hem acemi hem de uzman katılımcılarda buldu ve bunun yalnızca eğitim veya talimatlarla önlenemeyeceği sonucuna vardı.Parasuraman ve Manzey, 2010, İnsan FaktörleriBu araştırma günümüzün yapay zekâ asistanlarından önce yapıldığı için, onu herhangi bir mevcut aracın ölçütü olarak değil, insan davranışı hakkında bir uyarı olarak değerlendirin.
Çalışanlar için yapay zeka eğitimine dair pratik ders şudur: İnsanlara "çıktıyı kontrol edin" demek bir tasarım değildir. Kişinin etrafındaki koşullar da önemlidir: kontrol için zaman, kaynağa erişim ve yavaşlamaları nedeniyle cezalandırılmayan bir iş yeri.
3. Güvenilir olmayan çıktılar etrafında pratik geliştirin.
Eğer görev artık bir çıktıyı değerlendirmeyi içeriyorsa, çıktıları değerlendirme pratiği yapın. Yapay zekanın yanıtının şu şekilde olduğu küçük bir örnek kümesi oluşturun:
- Doğru ve eksiksiz. Doğru olan, bunu kabul etmek ve nedenini açıklamaktır.
- eksik. Bir yere kadar doğru, ama önemli bir noktayı atlıyor.
- Yanıltıcı. Kendinden emin, iyi yazılmış ve kolayca gözden kaçabilecek bir şekilde yanlış.
Öğrencilere her bir vaka, karşılaştırma yapabilecekleri bir kaynak ve bir seçenek sunulur: kabul et, düzelt veya üst mercilere bildir. Ayrıca gerekçelerini de belirtmeleri gerekir. Sadece özgüveni değil, kabul veya itiraz nedenlerini de değerlendirin. Doğru cevabı kontrol etmeden kabul eden bir öğrenci beceri göstermemiştir ve her şeye itiraz eden bir öğrenci de göstermemiştir.
Etkileşimli formatlar buna çok uygundur. Grup tartışmadan önce her kişi bir karar ve gerekçe belirtir, böylece aşırı güven ve aşırı ihtiyat görünür hale gelir. Kendi hızında ilerleme, ilk aşamayı kapsar ve canlı değerlendirme, iki savunulabilir yorumun bulunduğu belirsiz durumları ele alır. AhaSlides, etkileşimli öğrenmeyi ve canlı ve kendi hızında ilerleme arasında geçişi destekler, böylece bir vaka seti her iki şekilde de çalıştırılabilir. Herhangi bir yazma, geri bildirim veya raporlama işlevini planlamadan önce kendi iş akışınızla karşılaştırın.
4. Ön koşul bilgileri koruyun
Anlamadığınız bir çıktıyı değerlendiremezsiniz. Ödeme koşullarının fesih haklarıyla nasıl etkileşimde bulunduğunu hiç öğrenmemiş bir kişi, özetin kendisini yanlış gösterdiğini fark etmeyecektir. Yapay zekaya erişim, bu anlayışa olan ihtiyacı ortadan kaldırmaz; sadece kullanım alanını değiştirir.
Her doğrulama görevinin hangi alan bilgisine bağlı olduğuna karar verin ve uygulamadan önce kısa, kendi hızınızda ilerleyebileceğiniz bir teşhis testiyle kontrol edin. Bu tür bir hatırlama kontrolü yalnızca ön koşulları doğrular. Herhangi birinin bir çıktıyı doğrulayabileceğini göstermez. Carnegie Mellon'un Eberly Merkezi aynı tasarım noktasını daha genel olarak vurgular: değerlendirmeler, hedefler ve öğretim faaliyetleri uyumlu olmalıdır ve bir değerlendirme hatırlamayı ölçerken hedefler analiz gerektiriyorsa, öğrencilerin öğrenmesi gerekeni ölçmede başarısız olur ve bu uyumsuzluk hem motivasyonu hem de öğrenmeyi baltalayabilir.Eberly Merkezi, hedeflerin, değerlendirmelerin ve öğretimin uyumlaştırılması).
5. Sorumlu kullanımı gerçek görevlerde ölçün.
Ölçüm yapmadan önce, insanların gerçekten yaptığı bir doğrulama görevi seçin ve yapay zeka kullanımına ilişkin onaylanmış sınırları belirleyin: araca nelerin devredilebileceği, nelerin mutlaka kontrol edilmesi gerektiği ve nelerin üst kademeye iletilmesi gerektiği.
ABD Hastalık Kontrol ve Önleme Merkezleri, öğrenmeyi değerlendirmeyi, insanların öğrendiklerini iş yerinde ne kadar iyi uyguladıklarını değerlendirmekten ayırır ve her ikisi için de planlama yapılmasını önerir.CDC, eğitim değerlendirmesi: Etkinliğin ölçülmesiBu, sonuçların tahmini değil, değerlendirme kılavuzudur. Yapay zeka görevleri için bu iki ölçüt anlamına gelir:
- Öğrenme: Yeni ve daha önce görülmemiş bir dizi vakadaki performansın, temel performansla karşılaştırılması.
- transferi: Denetimli bir iş görevi veya gerçek bir iş örneği, kişilerin öğrendiklerini kullanmaları için zaman verildikten sonra aynı değerlendirme ölçütüne göre gözden geçirilir.
Kimlerin dahil edileceğini, paydayı ve zamanlamayı tanımlayın. Verimliliği yalnızca ölçülen kanıtlara dayanarak raporlayın. Bir ekip yapay zeka eğitiminden sonra hızlanırsa, eğitime kredi vermeden önce aynı dönemde başka nelerin değiştiğini (örneğin yeni bir şablon, personel değişikliği veya farklı bir iş karışımı) kontrol edin.
Risk konusunda daha geniş bir bakış açısı için, Ulusal Standartlar ve Teknoloji Enstitüsü (NIST) aşağıdaki yayını yapmaktadır: AI Risk Yönetimi ÇerçevesiOcak 2023'te yayınlanan ve kuruluşların yapay zeka riskini değerlendirmek için kullandığı bir araçtır. Risk tartışması için bir başlangıç noktasıdır, bir eğitim standardı veya sertifika değildir.
Örnek uygulama: sözleşme özeti
Örnek niteliğindedir. Bu çalışmayı yapan bir uzman, kullanmadan önce vakayı ve cevap kriterlerini doğrulamalıdır.
Dosya. Öğrenciye kurgusal bir tedarikçi sözleşmesi ve yapay zeka tarafından yazılmış bir özet verilir. Özette 60 günlük fesih bildirimi belirtilir. Sözleşmede ise sebepsiz fesih için 60 gün, ihlal durumunda ise 30 gün süre belirtilmiştir. Özette ayrıca ekte yer alan ödeme süresi istisnası da atlanmıştır.
Öğrenciden yapması istenen şey. Kararı (kabul etme, düzeltme veya üst mercilere iletme) açıklayın, sözleşmedeki kanıtları gösterin ve ihtiyaç duyacakları ek bilgi veya desteği belirtin.
Zayıf bir yanıt. "Özet doğru görünüyor ve temel şartları kapsıyor. Kabul ediyorum." Hiçbir kaynak göstermiyor ve herhangi bir onay işareti de içermiyor.
Daha güçlü bir yanıt. "Mevcut haliyle kabul etmezdim. Madde 14, sebepsiz fesih için 60 gün, ihlal durumunda ise 30 gün süre tanıyor ve özette sadece 60 günden bahsediliyor. Ek B'de özette bahsedilmeyen bir ödeme istisnası var. Fesih satırını düzeltip istisnayı eklerdim. Ekin bu tedarikçi için geçerli olup olmadığından emin değilim, bu yüzden sözleşmelerden sorumlu kişiye sorardım."
Tekrar deneme. Öğrenci, yapay zeka özetinin doğru olduğu ikinci bir sözleşme alır. Şimdi doğru olan, kontrol edilenleri kabul edip belirtmektir. Bu, insanları refleksif şüpheciliğe yönlendirmekten korur.
Yapay zeka görev analizi çalışma sayfası
Gerçek bir görev için "şimdi" sütununda her adım için bir satır kullanın.
| Görev adımı | Yapay zekânın şu anda yaptığı şeyler | Kişinin hâlâ yapması gerekenler | Bunu doğrulamak için kanıt gerekiyor. | Tırmandırmak | Ön bilgi |
|---|---|---|---|---|---|
| Anahtar terimleri çıkarın | Liste taslağını hazırlıyor. | Kaynakla karşılaştırın | Sözleşmenin kendisi | Sözleşmeler yol gösterir | Sözleşme yapısı ve madde türleri |
| Olağandışı terimleri işaretle | Adaylar önerir | Bu bağlamda olağan dışı olanın ne olduğuna karar verin. | Geçmiş sözleşmeler, politika | Yasal Şartlar | Bu tedarikçi türü için standart şartlar |
| Özeti onaylayın | Hiçbir şey | Sonucun sahibi siz olun. | Kontrol edilen özet | Hat yöneticisi | Onay limitleri |
Uyarlayabileceğiniz bir değerlendirme ölçütü
Her bir kriteri 0 ile 2 arasında puanlayın. Bu, ilgili rolde uzman bir kişiyle birlikte uyarlanması gereken bir öneridir, onaylanmış bir hazırlık standardı değildir.
| Kriter | Gözlemlenebilir kanıtlar |
|---|---|
| Görev yürütme | Yapay zekanın doğrulama ve değerlendirme görevini değiştirdiği noktaları belirler. Gerçekleştirilen işlemi ve bunun ardındaki kanıtları kaydeder. |
| muhakeme | Kısıtlamaları, alternatifleri ve belirsizliği açıklar. Bir çıktının kabul edilme veya sorgulanma nedenleri kaynağa bağlıdır. |
| Sınırları | Yapay zekâ kullanımı için onaylanmış prosedürleri kullanır ve bilgi veya yetkinin yetersiz kaldığı durumlarda yardım ister. |
Çapalar: 0 = eksik veya desteksiz. 1 = kısmi, ilgili eksikliklerle. 2 = eksiksiz ve kabul edilen kriterlere göre gerekçelendirilmiş. Kritik hataları ayrı olarak tanımlayın; örneğin, kaynağa aykırı bir çıktıyı onaylamak veya gizli verileri onaylanmamış bir araçla paylaşmak gibi. Toplam puan, kritik bir hatayı gizlememeli.
Kalabilecek kısıtlamalar
Eğitim amaçlı bir uygulamada daha iyi karar vermek, her kısıtlamayı ortadan kaldırmaz:
- Zaman baskısı. Eğer hacim hedefleri kontrol etme olanağı bırakmazsa, insanlar kendilerine öğretilen her şeyi kontrol etmeyi atlayacaklardır.
- Sorumluluk belirsiz. Eğer denetlenen çıktının sahibi olarak kimse belirtilmemişse, denetleme işi de kimsenin görevi değildir.
- Alet sınırları. Bazı araçlar, kullanıcıların bir cevabın arkasındaki kaynağı görmesine izin vermez, bu da doğrulamayı yavaşlatır.
- Alet değiştirme. Güncelleme sonrasında davranışını değiştiren bir yapay zeka sistemi, geçen çeyrekte oluşturduğunuz doğrulama alışkanlığını bozabilir.
Bunlar için ayrı ayrı çözümler planlayın ve sponsorlara bunu bildirin. Eğitim beceriyi geliştirebilir, ancak zamanı veya yetkiyi yaratamaz.
Sık Sorulan Sorular
Çalışanlara yönelik yapay zeka eğitiminde nelere yer verilmelidir?
Öncelikle yapay zekanın rolünde meydana gelen değişikliklerden bahsedin. Çıktıların kanıtlarla nasıl karşılaştırılacağını, ne zaman üst kademeye başvurulacağını, yapay zeka kullanımının onaylanmış sınırlarını ve bir cevabı değerlendirmek için gereken alan bilgisini ele alın. Araç ipuçları ikinci sırada yer alır.
Yapay zekâ, alan bilgisine olan ihtiyacı ortadan kaldırıyor mu?
Hayır. İnsanların bir çıktının yanlış veya eksik olduğunu fark edebilecek kadar anlayışa sahip olmaları gerekir. Değişen şey, bu bilginin nasıl kullanıldığıdır: daha az üretim, daha çok değerlendirme.
Yapay zekâ destekli çalışmalarda insan yargısını nasıl değerlendiriyorsunuz?
Öğrencilere doğru, eksik ve yanıltıcı sonuçlar içeren gerçekçi vakalar verin ve kabul etme, düzeltme veya durumu üst mercilere bildirme nedenlerini puanlayın. Ardından, uygun bir gecikmenin ardından denetimli bir gerçek görevi gözlemleyin.
Nerede başlar
Organizasyonunuzdaki kişilerin yapay zeka yardımıyla yaptığı bir görevi seçin. Yukarıdaki çalışma sayfasını, bu işi yapan bir kişiyle doldurun ve yanlış bir çıktının en çok zarar vereceği üç yeri not edin. İlk uygulama örneğinizi bunlardan biri etrafında oluşturun.
Bu görev için kendi hızınızda ilerleyebileceğiniz bir kontrolün, etkileşimli bir vaka uygulamasının ve canlı bir değerlendirme oturumunun nasıl bir araya gelebileceğini görmek için AhaSlides'ı inceleyin.
