Meta-Öğrenme Araştırma Sistemi Yüksek Lisans Tezi · Devam Ediyor¶
Python FastAPI Celery PostgreSQL Redis Qdrant MLflow Docker QLoRA Qwen3 Unsloth Svelte Prometheus Grafana OpenTelemetry HuggingFace
Problem¶
Yeni AI/ML projelerine başlayan araştırmacılar tekrarlayan bir zorlukla karşılaşır: yeni bir problem için hangi model mimarisi, hiperparametreler ve eğitim stratejisi kullanılmalıdır? Mevcut literatür çok geniştir ve manuel olarak araştırmak yavaş ve hataya açıktır. Benzer problemlerde işe yarayan konfigürasyonları sistematik olarak çıkarıp yeniden kullanmanın bir yolu yoktur.
Yaklaşım¶
Bu sistem, AI/ML araştırma makalelerinden yapılandırılmış metadata çıkarmayı ve yeni problemler için optimal model konfigürasyonları önermeyi otomatikleştirir. Birkaç tekniği tutarlı bir pipeline'da birleştirir:
Çoklu-LLM Anotasyon Pipeline'ı¶
Birden fazla büyük dil modeli makaleleri paralel olarak anotasyonlar, veri setleri, model mimarileri, hiperparametreler ve bildirilen sonuçlar hakkında yapılandırılmış bilgi çıkarır. LLM çıktıları arasındaki çapraz doğrulama, anotasyon kalitesini artırır.
QLoRA İnce Ayar¶
Sistem, anotasyonlanmış korpus üzerinde QLoRA (Unsloth aracılığıyla) kullanarak Qwen3-8B'yi ince ayarlar, ML araştırma makalelerinin yapısını anlayan ve yüksek doğrulukla konfigürasyon çıkarabilen özelleştirilmiş bir model oluşturur.
Kalibre Aktif Öğrenme¶
Her makaleyi eşit şekilde anotasyonlamak yerine, sistem hangi makalelerin en fazla bilgi değeri sağlayacağını belirler ve bunlara öncelik verir — kapsama alanını maksimize ederken anotasyon maliyetlerini azaltır.
Vektör Arama ve Öneri¶
Çıkarılan konfigürasyonlar Qdrant'ta vektör gömmeleri olarak saklanır. Yeni bir problem açıklaması verildiğinde, sistem en ilgili mevcut konfigürasyonları bulmak için anlamsal arama yapar ve başlangıç noktaları önerir.
Temel Özellikler¶
- Uçtan uca pipeline — ham PDF makalelerden uygulanabilir model önerilerine
- QLoRA ince ayar ile Qwen3-8B/Unsloth ile verimli alan adaptasyonu
- Kalibre aktif öğrenme ile anotasyon çabasını minimize etme
- Çoklu-LLM uzlaşısı ile güçlü metadata çıkarımı
- Svelte doğrulama arayüzü ile insan-döngüsünde doğrulama
- Ölçeklenebilir altyapı — FastAPI + Celery işçileri, PostgreSQL metadata için, Qdrant vektörler için, Redis görev kuyruğu için, MLflow deney takibi için
Mimari¶
graph LR
A[PDF Makaleler] --> B[Çoklu-LLM Anotasyoncu]
B --> C[Aktif Öğrenme Seçici]
C --> D[QLoRA İnce Ayar]
D --> E[Metadata Çıkarımı]
E --> F[(PostgreSQL)]
E --> G[(Qdrant Vektörler)]
H[Yeni Problem] --> G
G --> I[Konfigürasyon Önerileri]
Teknoloji Yığını¶
| Bileşen | Teknoloji |
|---|---|
| API | FastAPI + Uvicorn |
| Görev Kuyruğu | Celery + Redis + Flower |
| Veritabanı | PostgreSQL + pgvector + SQLAlchemy + Alembic |
| Vektör Deposu | Qdrant |
| Deney Takibi | MLflow |
| İnce Ayar | QLoRA, Qwen3-8B, Unsloth, PEFT, TRL |
| LLM Anotasyonu | Anthropic API (Claude) |
| Gözlemlenebilirlik | Prometheus + Grafana + OpenTelemetry |
| Ön Yüz | Svelte |
| Dağıtım | Docker Compose |