bencede
New member
Stanford ve Washington Üniversitesi'nden bir araştırmacı ekibi yakın zamanda yeni bir ekibi sundu Akıl yürütme için yapay zeka modeli, “S1”. Bu model, geçen hafta yayınlanan bir makalede bildirilenlere göre, sınırlı bir bütçeyle ve şaşırtıcı derecede kısa bir sürede geliştirilmesine rağmen OpenII modeliyle rekabet edebilecekti: sadece 26 dakika.
Bu sonucu elde etmek için araştırmacılar, daha büyük modellerin bilgisinden yararlanarak daha küçük IRS modellerini eğitmenizi sağlayan “damıtma” olarak bilinen bir teknik kullandılar.
İkizler Damıtma
Bu durumda S1, Gemini 2.0 Flash Düşünme Deneysel tarafından sağlanan cevaplarGoogle'ın muhakeme modeli. Google'ın Hizmet Şartları, rakip modeller geliştirmek için arılarının kullanımını yasakladığını belirtmek ilginçtir, ancak Google henüz konuyla ilgili yorum yapmamıştır.
Deepseek logosu
S1 modeli, Alibaba bulutunun açık kaynaklı bir modeli olan Qwen2.5'e dayanmaktadır ve sadece 1.000 sorudan oluşan nispeten küçük bir veri seti kullanılarak eğitilmiştir. Araştırmacılar, daha geniş veri kümelerinin kullanımının modelin performansında önemli iyileşmelere yol açmadığını keşfettiler. Buna ek olarak, S1 eğitimi, bu tür aktivite için nispeten düşük bir sayı olan sadece 16 NVIDIA H100 GPU'nun kullanılmasını gerektiriyordu. Projede çalışan bir Stanford araştırmacısı olan Niklas Muennighoff, her şeyi yaklaşık 20 dolar kiralayabileceğinizi söyledi.
Bir diğer S1'in geliştirilmesinde kullanılan temel teknik “test-zaman ölçeklendirme” idi.bu da modelin bir cevap vermeden önce bilgileri daha uzun bir süre işlemesine izin verir. Nvidia da Deepseek ortaya çıktığında bundan bahsetti. Uygulamada, araştırmacılar, yanıtına “bekle” kelimesini ekleyerek modeli “düşünmeye” yönlendirdiler, bu da onlara göre, akıl yürütmede daha fazla doğruluğa yol açan bir yöntem.
S1 tarafından elde edilen sonuçlar umut vericidir. Araştırmacılara göre, “%27'ye kadar rekabet matematiği sorunları hakkında” O1 önleme (Openai Modeli) modelini aşıyor “modelini aşıyor. Bu arada, Deepseek'in damıtma yoluyla da yaratılıp yaratılmadığı ve bu tür bir tartışmanın sahip olabileceği anlaşılmaya devam etmektedir.
Ne düşünüyorsun? Aşağıdaki yorumlarda bize söyleyin.
Bu sonucu elde etmek için araştırmacılar, daha büyük modellerin bilgisinden yararlanarak daha küçük IRS modellerini eğitmenizi sağlayan “damıtma” olarak bilinen bir teknik kullandılar.
İkizler Damıtma
Bu durumda S1, Gemini 2.0 Flash Düşünme Deneysel tarafından sağlanan cevaplarGoogle'ın muhakeme modeli. Google'ın Hizmet Şartları, rakip modeller geliştirmek için arılarının kullanımını yasakladığını belirtmek ilginçtir, ancak Google henüz konuyla ilgili yorum yapmamıştır.
Deepseek logosu
S1 modeli, Alibaba bulutunun açık kaynaklı bir modeli olan Qwen2.5'e dayanmaktadır ve sadece 1.000 sorudan oluşan nispeten küçük bir veri seti kullanılarak eğitilmiştir. Araştırmacılar, daha geniş veri kümelerinin kullanımının modelin performansında önemli iyileşmelere yol açmadığını keşfettiler. Buna ek olarak, S1 eğitimi, bu tür aktivite için nispeten düşük bir sayı olan sadece 16 NVIDIA H100 GPU'nun kullanılmasını gerektiriyordu. Projede çalışan bir Stanford araştırmacısı olan Niklas Muennighoff, her şeyi yaklaşık 20 dolar kiralayabileceğinizi söyledi.
Bir diğer S1'in geliştirilmesinde kullanılan temel teknik “test-zaman ölçeklendirme” idi.bu da modelin bir cevap vermeden önce bilgileri daha uzun bir süre işlemesine izin verir. Nvidia da Deepseek ortaya çıktığında bundan bahsetti. Uygulamada, araştırmacılar, yanıtına “bekle” kelimesini ekleyerek modeli “düşünmeye” yönlendirdiler, bu da onlara göre, akıl yürütmede daha fazla doğruluğa yol açan bir yöntem.
S1 tarafından elde edilen sonuçlar umut vericidir. Araştırmacılara göre, “%27'ye kadar rekabet matematiği sorunları hakkında” O1 önleme (Openai Modeli) modelini aşıyor “modelini aşıyor. Bu arada, Deepseek'in damıtma yoluyla da yaratılıp yaratılmadığı ve bu tür bir tartışmanın sahip olabileceği anlaşılmaya devam etmektedir.
Ne düşünüyorsun? Aşağıdaki yorumlarda bize söyleyin.