Skip to content

Meta-Öğrenme Araştırma Sistemi Yüksek Lisans Tezi · Devam Ediyor

Python FastAPI Celery PostgreSQL Redis Qdrant MLflow Docker QLoRA Qwen3 Unsloth Svelte Prometheus Grafana OpenTelemetry HuggingFace

GitHub


Problem

Yeni AI/ML projelerine başlayan araştırmacılar tekrarlayan bir zorlukla karşılaşır: yeni bir problem için hangi model mimarisi, hiperparametreler ve eğitim stratejisi kullanılmalıdır? Mevcut literatür çok geniştir ve manuel olarak araştırmak yavaş ve hataya açıktır. Benzer problemlerde işe yarayan konfigürasyonları sistematik olarak çıkarıp yeniden kullanmanın bir yolu yoktur.

Yaklaşım

Bu sistem, AI/ML araştırma makalelerinden yapılandırılmış metadata çıkarmayı ve yeni problemler için optimal model konfigürasyonları önermeyi otomatikleştirir. Birkaç tekniği tutarlı bir pipeline'da birleştirir:

Çoklu-LLM Anotasyon Pipeline'ı

Birden fazla büyük dil modeli makaleleri paralel olarak anotasyonlar, veri setleri, model mimarileri, hiperparametreler ve bildirilen sonuçlar hakkında yapılandırılmış bilgi çıkarır. LLM çıktıları arasındaki çapraz doğrulama, anotasyon kalitesini artırır.

QLoRA İnce Ayar

Sistem, anotasyonlanmış korpus üzerinde QLoRA (Unsloth aracılığıyla) kullanarak Qwen3-8B'yi ince ayarlar, ML araştırma makalelerinin yapısını anlayan ve yüksek doğrulukla konfigürasyon çıkarabilen özelleştirilmiş bir model oluşturur.

Kalibre Aktif Öğrenme

Her makaleyi eşit şekilde anotasyonlamak yerine, sistem hangi makalelerin en fazla bilgi değeri sağlayacağını belirler ve bunlara öncelik verir — kapsama alanını maksimize ederken anotasyon maliyetlerini azaltır.

Vektör Arama ve Öneri

Çıkarılan konfigürasyonlar Qdrant'ta vektör gömmeleri olarak saklanır. Yeni bir problem açıklaması verildiğinde, sistem en ilgili mevcut konfigürasyonları bulmak için anlamsal arama yapar ve başlangıç noktaları önerir.

Temel Özellikler

  • Uçtan uca pipeline — ham PDF makalelerden uygulanabilir model önerilerine
  • QLoRA ince ayar ile Qwen3-8B/Unsloth ile verimli alan adaptasyonu
  • Kalibre aktif öğrenme ile anotasyon çabasını minimize etme
  • Çoklu-LLM uzlaşısı ile güçlü metadata çıkarımı
  • Svelte doğrulama arayüzü ile insan-döngüsünde doğrulama
  • Ölçeklenebilir altyapı — FastAPI + Celery işçileri, PostgreSQL metadata için, Qdrant vektörler için, Redis görev kuyruğu için, MLflow deney takibi için

Mimari

graph LR
    A[PDF Makaleler] --> B[Çoklu-LLM Anotasyoncu]
    B --> C[Aktif Öğrenme Seçici]
    C --> D[QLoRA İnce Ayar]
    D --> E[Metadata Çıkarımı]
    E --> F[(PostgreSQL)]
    E --> G[(Qdrant Vektörler)]
    H[Yeni Problem] --> G
    G --> I[Konfigürasyon Önerileri]

Teknoloji Yığını

Bileşen Teknoloji
API FastAPI + Uvicorn
Görev Kuyruğu Celery + Redis + Flower
Veritabanı PostgreSQL + pgvector + SQLAlchemy + Alembic
Vektör Deposu Qdrant
Deney Takibi MLflow
İnce Ayar QLoRA, Qwen3-8B, Unsloth, PEFT, TRL
LLM Anotasyonu Anthropic API (Claude)
Gözlemlenebilirlik Prometheus + Grafana + OpenTelemetry
Ön Yüz Svelte
Dağıtım Docker Compose