Giskard'ın açık kaynak çerçevesi, yapay zeka modellerini üretime aktarılmadan önce değerlendiriyor - Dünyadan Güncel Teknoloji Haberleri

Giskard'ın açık kaynak çerçevesi, yapay zeka modellerini üretime aktarılmadan önce değerlendiriyor - Dünyadan Güncel Teknoloji Haberleri
Yapay zeka ekosistemindeki insanlarla yapılan görüşmelere dayanarak, Yapay Zeka Yasasının OpenAI, Anthropic, Mistral ve diğerlerinin temel modellerine mi yoksa yalnızca uygulamalı kullanım senaryolarına mı uygulanacağı hala belirsiz

İkinci durumda, Giskard, geliştiricileri harici verilerle zenginleştirilmiş LLM’lerin (ya da yapay zeka araştırmacılarının söylediği gibi, erişimle artırılmış nesil, RAG) olası kötüye kullanımları konusunda uyarmak için özellikle iyi konumlandırılmış görünüyor Testlerden sorumlu olduğum dönemde, bunları pratik durumlara uygulamak istediğinizde her iki şeyin de iyi sonuç vermediğini ve tedarikçilerin performanslarını birbirleriyle karşılaştırmanın çok zor olduğunu görebiliyordum

İlk kurulumdan sonra Giskard, modelinizde düzenli olarak kullanılacak bir test paketi oluşturmanıza yardımcı olur , vesaire

“Yapay Zeka Kalite Merkezi’ni Banque de France ve L’Oréal gibi şirketlere, hata ayıklamalarına ve hataların nedenlerini bulmalarına yardımcı olmak için satmaya başlıyoruz İlk olarak şirket piyasaya çıktı açık kaynaklı bir Python kütüphanesi bir LLM projesine ve daha spesifik olarak erişimle artırılmış nesil (RAG) projelerine entegre edilebilir

Yapay zeka modelleri etrafında çok fazla abartılı reklam olsa da, AB’de Yapay Zeka Yasası ile düzenlemenin yürürlüğe girmesi ve diğer ülkelerde de ML test sistemleri hızla gündemdeki bir konu haline gelecektir Örneğin, bir sorun varsa geliştiriciler GitHub depolarında bir tarama raporu alırlar Combessie, “LLM’lerdeki müşterilerle çok açık bir pazar uyumu görüyoruz, bu nedenle piyasadaki en iyi LLM antivirüs yazılımı olmak için ekibin boyutunu kabaca iki katına çıkaracağız” dedi

Giskard’ın test çerçevesinin arkasında üç bileşen bulunmaktadır

“Ve bunun birkaç yönü var: performans yönüne sahip olacaksınız ki bu, bir veri bilimcinin aklına gelen ilk şey olacaktır Yapay zeka modelleri geliştiren şirketlerin, ağır para cezaları ödememek için bir dizi kurala uyduklarını ve riskleri azalttıklarını kanıtlamaları gerekecek Gelecekte girişim, bir modelin düzenlemelere uygun olduğunu kanıtlayan belgeler üretebileceğini umuyor ” Giskard’ın kurucu ortağı ve CEO’su Alex Combessie bana söyledi Gelecekte tüm düzenleyici özellikleri buraya koyacağız” dedi Combessie Bu kalite merkezi Giskard’ın bir parçasıdır prim teklifi Ancak hem marka imajı açısından hem de artık düzenleyici açıdan bakıldığında etik yönü giderek daha fazla ortaya çıkıyor,” dedi Combessie GitHub’da zaten oldukça popüler ve Hugging Face, MLFlow, Weights & Biases, PyTorch, Tensorflow ve Langchain gibi ML ekosistemlerindeki diğer araçlarla uyumlu Yanıt kullanıcıya geri gönderilmeden önce en yaygın sorunlara (toksisite, halüsinasyon, doğruluk kontrolü…) ilişkin LLM yanıtlarını değerlendirebilen gerçek zamanlı bir izleme aracıdır

Şu anda OpenAI’nin API’lerini ve LLM’lerini temel model olarak kullanan şirketlerle çalışıyor ancak şirket Hugging Face, Anthropic vb


Giskard büyük dil modelleri için açık kaynaklı bir test çerçevesi üzerinde çalışan bir Fransız girişimidir Bu testler; performans, halüsinasyonlar, yanlış bilgilendirme, gerçek dışı çıktılar, önyargılar, veri sızıntısı, zararlı içerik üretimi ve hızlı enjeksiyonlar gibi çok çeşitli konuları kapsamaktadır

Resim Kredisi: Giskard

Giskard’ın ikinci ürünü, büyük bir dil modelinde hata ayıklamanıza ve onu diğer modellerle karşılaştırmanıza yardımcı olan bir yapay zeka kalite merkezidir Örneğin, IPCC’nin en son raporuna dayanarak size iklim değişikliği hakkında bilgi verebilecek bir sohbet robotu oluşturuyorsanız ve OpenAI’den bir LLM kullanıyorsanız Giskard testleri, modelin iklim değişikliği hakkında yanlış bilgi üretip üretmediğini, kendisiyle çelişip çelişmediğini kontrol edecektir

Geliştiriciler daha sonra testleri sürekli entegrasyon ve sürekli teslim (CI/CD) hattına entegre edebilir, böylece kod tabanında yeni bir yineleme olduğunda testler çalıştırılır

Kullanım durumlarının düzenlenmesi

Yapay zeka modellerini düzenlemenin birkaç yolu vardır

Giskard, düzenlemeyi benimseyen bir yapay zeka girişimidir ve özellikle daha verimli bir şekilde test etmeye odaklanan bir geliştirici aracının ilk örneklerinden biridir

Şirketin üçüncü ürününe LLMon adı veriliyor

Testler, modelin son kullanım durumuna göre özelleştirilir ile entegrasyonlar üzerinde çalışıyor RAG üzerinde çalışan şirketler, test paketinin mümkün olduğu kadar alakalı olması için Giskard’a vektör veritabanlarına ve bilgi havuzlarına erişim verebilir

Şu anda Giskard için çalışan 20 kişi var

“Daha önce Dataiku’da özellikle NLP model entegrasyonu konusunda çalıştım Geliştiricileri önyargı riskleri, güvenlik açıkları ve bir modelin zararlı veya toksik içerik üretme yeteneği konusunda uyarabilir



genel-24