Art�k 6GB Belle�e Sahip Ekran Kartlar�yla Yapay Zeka Video Olu�turmak M�mk�n

FramePack, bu hafta GitHub’dan Lvmin Zhang ve Stanford �niversitesi’nden Maneesh Agrawala i� birli�iyle tan�t�ld�. Bu yeni teknoloji, sabit uzunlukta zamansal ba�lam kullanarak video dif�zyonunun daha verimli bir �ekilde uygulanmas�n� sa�l�yor. B�ylece hem daha uzun hem de daha y�ksek kaliteli videolar �retilebiliyor. FramePack mimarisiyle geli�tirilmi� 13 milyar parametreli bir model, yaln�zca 6 GB video belle�iyle 60 saniyelik bir video olu�turabiliyor.
 

FramePack, �ok a�amal� optimizasyon tekniklerinden faydalanan bir yapay sinir a�� mimarisi olarak �ne ��k�yor. Mevcut bilgilere g�re, FramePack'in grafik aray�z� (GUI), �zel olarak geli�tirilmi� Hunyuan tabanl� bir modeli �al��t�r�yor. Ancak yay�mlanan ara�t�rma makalesinde, �nceden e�itilmi� mevcut modellerin FramePack ile ince ayar (fine-tuning) yap�larak da kullan�labilece�i belirtiliyor.







 

Geleneksel video dif�zyon modelleri, daha �nce �retilmi� g�r�lt�l� kareleri analiz ederek, bir sonraki biraz daha az g�r�lt�l� kareyi tahmin eder. Bu s�re�te dikkate al�nan kare say�s�na zamansal ba�lam uzunlu�u denir ve video s�resi uzad�k�a bu ba�lam da b�y�r. Klasik video dif�zyon sistemleri genellikle y�ksek miktarda VRAM gerektirir; �o�u modelin ba�lang�� noktas� olarak en az 12 GB bellek �nerilir. Daha d���k bellekle de �al��mak m�mk�n olsa da, bu durumda videolar�n s�resi k�sal�r, kalite d��er ve i�lem s�resi uzar.

 

FramePack sahneye ��k�yor: Bu yeni mimari, giri� karelerini �nem derecelerine g�re s�k��t�rarak sabit boyutta bir ba�lam uzunlu�u olu�turuyor ve b�ylece GPU belle�i kullan�m�n� b�y�k �l��de azalt�yor. T�m kareler, belirlenen �st s�n�r ba�lam uzunlu�una s��acak �ekilde s�k��t�r�lmak zorunda. Yazarlar, bu yakla��m�n hesaplama maliyetlerini g�r�nt� dif�zyonuna benzer d�zeyde tan�ml�yor.
 

FramePack sahneye ��k�yor: Bu yenilik�i mimari, video karelerini �nem s�ras�na g�re i�leyip s�k��t�rarak, hepsini sabit uzunlukta bir ba�lam i�inde topluyor. Bu sayede, GPU belle�i �zerindeki y�k ciddi oranda hafifletiliyor. Belirlenen ba�lam uzunlu�una ula�mak i�in t�m karelerin bu s�k��t�rma s�recinden ge�mesi gerekiyor. Ara�t�rmac�lar, bu y�ntemin hesaplama a��s�ndan g�rsel dif�zyon modelleriyle benzer seviyede oldu�unu belirtiyor.









 

FramePack, videonun s�resi uzad�k�a kalite kayb� (drifting) ya�anmas�n� �nlemeye y�nelik tekniklerle birlikte �al��arak, g�r�nt� kalitesinden ciddi �d�n vermeden daha uzun videolar �retebilmeyi m�mk�n k�l�yor. �u an i�in FramePack’in �al��mas�, FP16 ve BF16 veri formatlar�n� destekleyen RTX 30/40/50 serisi ekran kartlar�n� gerektiriyor. Turing ve daha eski NVIDIA mimarileriyle uyumlulu�u hen�z do�rulanmam��, ayr�ca AMD ya da Intel grafik donan�mlar�na dair bir bilgi de payla��lm�� de�il. Linux, desteklenen i�letim sistemleri aras�nda yer al�yor.
 

RTX 3050 4GB modeli d���nda, g�n�m�zdeki �o�u RTX ekran kart� 6 GB VRAM e�i�ini kar��l�yor ya da a��yor. Performans a��s�ndan, �rne�in bir RTX 4090, optimizasyon arac� “teacache” ile saniyede yakla��k 0.6 kare �retebiliyor. Tabii bu de�er kullan�lan donan�ma g�re de�i�ebilir. �te yandan, her kare olu�turuldu�u anda ekrana yans�t�l�yor, yani anl�k g�rsel geri bildirim sa�lan�yor.
 

Kullan�lan modelin 30 FPS s�n�r�na sahip oldu�u tahmin ediliyor, bu da baz� kullan�c�lar i�in k�s�tlay�c� olabilir. Yine de FramePack, pahal� d�� hizmetlere ihtiya� duymadan yapay zek� ile video �retimini s�radan kullan�c�lar i�in eri�ilebilir hale getirmeyi hedefliyor. ��erik �reticisi olmasan�z bile, GIF, meme veya e�lencelik k�sa videolar yapmak i�in harika bir ara�. A��k�as�, bo� zamanlar�mda ben de kesinlikle deneyece�im.