Spec, Domain ve Disposable Code
Hiçbir LLM Şirketinizi Tanımıyor: Ontology'den Harness'a, Modeli Şirketinizle Tanıştırmak
Hiçbir LLM Şirketinizi Tanımıyor; Tanıştırın: Ontology'den Harness'a
Genel amaçlı LLM'ler şirketinizi tanımaz; şirket bilgisini bir ontology ve semantic layer ile yapılandırıp bunu tool, context ve eval'den oluşan bir harness ile modele bağlamak gerekir. 2026'da bu iki katman ayrı disiplinler olarak standartlaştı.
Kurumsal AI'ın açığı model zekâsı değil bağlam: şirket bilgisi ontology ile yapılandırılıp harness ile modele bağlanmadıkça daha büyük model doğru cevap vermez.
OpenAI, Thoughtworks ve Anthropic harness'ı ayrı bir disiplin olarak tarif ediyor; semantik katman standardı ise henüz erken ve ürün desteği zayıf.
Zihinsel model
Model zeki bir yeni çalışan gibidir: ona şirket sözlüğünü, yetki kartını ve kontrol listesini vermezsen tahminle çalışır.
Neden
- Şirkete özgü tanım ve kurallar hiçbir eğitim setinde yok; model boşluğu genel kalıplarla doldurup akıcı ama yanlış cevap verir.
- Semantik katmandaki tanımlı metriği çağıran model kolon tahmin etmez; text-to-SQL hatasının ana kaynağı ortadan kalkar.
- Kural prompt'ta değil araçta, linter'da ve izinde yaşarsa model yanlış niyetle çağırsa bile eylem gerçekleşmez.
Kanıt
Depo düzeyindeki bağlam dosyaları görev başarısını genel olarak artırmadı, çıkarım maliyetini ise %20'den fazla yükseltti.
ETH Zürih, Evaluating AGENTS.md, 2026Codex ekibi başarıyı modele değil ortama bağladı: kısa bir AGENTS.md haritası, mimariyi zorlayan linter'lar ve düzeltme talimatı taşıyan hata mesajları.
OpenAI, Harness engineering, 2026Metrik tanımlarını araçlar arasında taşınabilir kılan açık semantik katman spesifikasyonu, 50'yi aşkın kuruluşun çalışma grubuyla ilk sürümüne ulaştı.
Snowflake, Open Semantic Interchange, 2026Karşı görüş
Context window büyüdükçe ham doküman ve RAG pek çok soruyu ontology olmadan da cevaplıyor. Sahipsiz bir ontology ise kısa sürede eskiyip modele yanlış bağlam veren bir yüke dönüşüyor.
Kavramlar
Pratikte
- En sık sorulan soruların geçtiği iş kavramlarını tanım, örnek ve yaygın yanlışla tek dosyada topla.
- Modele ham tablo yerine semantik katmandaki tanımlı metrikleri çağıran araçlar ver.
- İzinleri araca koy; gerçek kullanıcı sorularından eval seti kurup her değişiklikte yeniden koş.
Kurumsal AI projelerinin en sık takıldığı nokta şu: model dili ve genel dünyayı biliyor ama sizin müşteri tanımınızı, ürün hiyerarşinizi, onay kurallarınızı bilmiyor. Bu açığı kapatmanın iki katmanı var. Ontology, şirket bilgisini nesneler, ilişkiler ve eylemler olarak modelleyen yapılandırılmış temsil; harness ise modeli bu bilgiye araçlar, bağlam yönetimi, izinler ve değerlendirme döngüleriyle bağlayan iskelet. 2026'da iki taraf da somutlaştı: OpenAI'ın Şubat 2026'daki yazısıyla “harness engineering” bir disiplin adı oldu ve Thoughtworks'te Birgitta Böckeler bunu “Agent = Model + Harness” çerçevesiyle tarif etti; semantik katman tarafında Open Semantic Interchange spesifikasyonu Ocak 2026'da ilk sürümüne ulaştı ve Temmuz 2026'da Apache Ossie adıyla Apache Incubator'a girdi. Tartışma “hangi model” sorusundan “model etrafında ne kurduk” sorusuna kaydı.
Çıkarımlar
- Daha büyük model, şirkete özgü bilgi eksikliğini kapatmaz; eksik olan bağlamdır.
- Ontology'ye büyük bir platformla değil, en kritik 10-15 iş kavramının tanımıyla başlanabilir.
- Metrik tanımlarını semantik katmanda tekleştirmek text-to-SQL hatalarını en hızlı azaltan adım; Apache Ossie bu tanımları araçlar arasında taşınabilir kılmayı hedefliyor ama ürün desteği henüz erken.
- Harness'ta kurallar uzun prompt'larda değil, araçlarda, linter'larda ve izinlerde yaşamalı; 2026 araştırması uzun bağlam dosyalarının tek başına başarıyı artırmadığını gösterdi.
- Şirkete özgü 50-200 soruluk bir eval seti olmadan “model şirketimizi tanıyor” denemez.
Alt başlıklar
Model neden şirketinizi tanımıyor
Bir LLM, eğitim verisinde gördüğü genel kalıpları biliyor: “müşteri”, “sipariş”, “iade” kavramlarının ortalama anlamını. Sizin şirketinizde ise “aktif müşteri” son 90 günde ödeme yapmış hesap olabilir, “iade” ise yalnızca 14 gün içinde ve kargo firması onayıyla açılabilir. Bu kurallar hiçbir eğitim setinde yok ve çoğu zaman şirket içinde de tek bir yerde yazılı değil.
Sonuç tanıdık bir hata türü: model akıcı, kendinden emin ve yanlış cevap veriyor. Bir satış ekibi asistana “geçen çeyrek en çok büyüyen segment hangisi” diye sorduğunda, model tablo isimlerinden tahmin yürütüp yanlış kolonları topluyor. Burada sorun modelin zekâsı değil, bağlamın yokluğu. Daha büyük modele geçmek bu açığı kapatmıyor; açığı kapatan şey şirket bilgisini modelin okuyabileceği, sorgulayabileceği bir yapıya dönüştürmek.
Ekim 2026 itibarıyla durum
Son 12 ayda konunun iki ayağı da isim ve standart kazandı. Harness tarafında OpenAI 11 Şubat 2026'da “Harness engineering” yazısını yayımladı; Birgitta Böckeler 2 Nisan 2026'da martinfowler.com'da feedforward rehberler ve feedback sensörlerinden oluşan bir çerçeve önerdi; Anthropic da uzun süreli agent'lar için harness tasarımı ve eval üzerine rehberler yayımladı. ETH Zürih'in Şubat 2026'da yayımlanıp Eylül'de güncellenen çalışması, depo düzeyindeki bağlam dosyalarının başarıyı genel olarak artırmadığını ve maliyeti yüzde 20'den fazla yükselttiğini gösterdi; yani “daha uzun talimat” değil, denetlenebilir kural gerekiyor.
Ontology ve semantik katman tarafında Open Semantic Interchange spesifikasyonu 27 Ocak 2026'da ilk sürümüne ulaştı; çalışma grubunda Snowflake, dbt Labs, Databricks, Salesforce ve ThoughtSpot gibi 50'yi aşkın kuruluş var. Proje Temmuz 2026'da Apache Ossie adıyla Apache Incubator'a girdi. Bağlantı katmanında MCP 28 Temmuz 2026 sürümüyle durumsuz hale geldi, Tasks ve Skills over MCP resmi uzantı oldu; dbt Semantic Layer gibi araçlar yönetilen metrikleri MCP sunucusu üzerinden AI istemcilerine açıyor.
Ontology: şirket bilgisinin yapılandırılmış modeli
Ontology burada akademik anlamından çok pratik bir anlamda kullanılıyor: şirketin dünyasını nesne tipleri (Müşteri, Sipariş, Depo), bunların özellikleri, aralarındaki ilişkiler (Sipariş bir Müşteriye aittir) ve izin verilen eylemler (Siparişi iptal et) olarak tanımlayan model. Palantir'in Foundry platformu bu yaklaşımı popülerleştirdi; dokümantasyonunda nesne ve bağlantıları verinin, eylemleri ise işletmenin “fiilleri” olarak tanımlıyor.
Veritabanı şemasından farkı anlam katmanı taşıması. Şemada orders.status = 3 yazar; ontology'de bunun “kargoya verildi” anlamına geldiği ve bu durumdaki siparişin artık iptal edilemeyeceği yazar. Başlangıç için büyük bir platform gerekmiyor: en kritik 10-15 iş kavramını, tanımlarını ve ilişkilerini tek bir YAML veya JSON Schema dosyasında toplamak bile modele verilen bağlamın kalitesini belirgin şekilde değiştirir. Her kavram için bir cümlelik tanım, bir örnek kayıt ve sık yapılan bir yanlış anlama yazmak iyi bir şablon.
Semantik katman ve metrik tanımları
Ontology'nin en hızlı geri dönüş veren parçası metrik tanımları. Bir şirkette “gelir” kelimesi finans ekibi için KDV hariç tahsil edilen tutar, satış ekibi için imzalanan sözleşme bedeli olabilir. Model bu iki tanımı ayırt edemezse her soruya farklı bir sayı döner ve kullanıcı güveni ilk haftada kaybolur.
Semantik katman (semantic layer), metrikleri SQL'den bağımsız, tek kaynaktan tanımlayan katman: “aylık tekrarlayan gelir = aktif aboneliklerin aylık bedel toplamı, deneme hesapları hariç”. dbt Semantic Layer (MetricFlow), Cube, Snowflake Semantic Views ve Databricks Metric Views gibi araçlar bu işi yapıyor; dbt artık AI araçlarının yönetilen metriklere bir MCP sunucusu üzerinden bağlanmasını da destekliyor. Taşınabilirlik tarafında Open Semantic Interchange (OSI) spesifikasyonu Ocak 2026'da ilk sürümüne ulaştı ve Temmuz 2026'da Apache Ossie adıyla Apache Incubator'a girdi; Temmuz 2026 itibarıyla dbt, GoodData, Salesforce ve Polaris için referans dönüştürücüler var, ama yaygın bir ürün içi destek henüz yok. LLM'e ham tablo yerine bu katmanı sorgulayan bir araç vermek text-to-SQL hatalarının önemli bir kısmını ortadan kaldırıyor, çünkü model artık kolon tahmin etmiyor, tanımlı bir metriği çağırıyor. Anti-pattern: modelden doğrudan üretim veritabanında serbest SQL yazmasını beklemek.
Harness: model etrafındaki iskelet
Harness, modeli bir işe koşan her şeyin toplamı: sistem talimatları, hangi araçlara erişebildiği, bağlama hangi bilginin ne zaman girdiği, izin sınırları, hata durumunda ne olduğu ve çıktının nasıl değerlendirildiği. Aynı model iki farklı harness içinde bambaşka sonuç verebilir. Böckeler'in Nisan 2026 tarihli yazısı bunu iki tür kontrolle tarif ediyor: ajanı işe başlamadan yönlendiren feedforward rehberler ve hatayı sonradan yakalayan feedback sensörleri.
OpenAI'ın 11 Şubat 2026'da yayımladığı “harness engineering” yazısı bunun somut bir örneği. Ekip, yaklaşık beş ayda elle tek satır yazmadan bir milyon satır civarında kod üreten bir Codex kurulumunu anlatıyor. Başarıyı modele değil ortama bağlıyorlar: kısa bir AGENTS.md dosyası ayrıntılı docs klasörüne harita görevi görüyor, özel linter'lar mimari kuralları zorluyor ve hata mesajlarına düzeltme talimatı yazılıyor. Bu dersi ETH Zürih'in 2026 çalışması da destekliyor: depo düzeyindeki bağlam dosyaları görev başarısını genel olarak artırmıyor, çıkarım maliyetini ise ortalama yüzde 20'den fazla yükseltiyor. Yani talimatı uzatmak yerine kuralları makinenin denetleyebileceği hale getirmek gerekiyor.
Ontology'yi harness'a bağlamak: araçlar ve bağlam
Ontology tek başına bir dokümandır; harness'a bağlandığında işe yarar hale gelir. Bağlantının en yaygın yolu araç (tool) tanımları. Model “müşteri ara”, “siparişin durumunu getir”, “iade talebi oluştur” gibi ontology'deki nesne ve eylemlere karşılık gelen araçları çağırır. MCP (Model Context Protocol) bu araçları farklı istemcilere standart bir şekilde sunmanın yaygın yolu oldu; 28 Temmuz 2026 sürümüyle protokol durumsuz (stateless) hale geldi ve Skills over MCP gibi resmi uzantılar eklendi. Araç tasarımında Anthropic'in önerisi az sayıda, amacı net, kısa ve anlamlı sonuç döndüren araçlar yazmak.
İkinci yol bağlam mühendisliği: her istekte tüm ontology'yi değil, soruyla ilgili nesne tanımlarını ve ilişkilerini bağlama koymak. Bir lojistik senaryosunda “İzmir deposundaki geciken sevkiyatlar” sorusu için Depo, Sevkiyat ve Gecikme tanımları yeter; İK nesneleri gereksiz gürültü. Eylemler tarafında ontology izinleri taşımalı: “siparişi iptal et” aracı yalnızca belirli rollerde ve belirli durumlardaki siparişler için çağrılabilir olmalı. İzin kuralı prompt'ta değil, aracın kendisinde yaşamalı. Böylece model yanlış niyetle de çağırsa eylem gerçekleşmez.
Değerlendirme: tanıştırdığınızı nasıl anlarsınız
Modeli şirketinizle tanıştırıp tanıştırmadığınızı ölçmenin yolu, şirkete özgü bir değerlendirme seti (eval) kurmak. Genel benchmark'lar burada hiçbir şey söylemez. Gerekli olan, gerçek kullanıcı sorularından derlenmiş 50-200 soruluk bir set ve her biri için beklenen cevap ya da beklenen araç çağrısı. Anthropic'in Ocak 2026 tarihli eval rehberi bunu otomatik değerlendiricilerle insan incelemesini birleştirmek, aynı görevi birden çok kez koşup tutarlılığı ölçmek ve transkriptleri okuyup testin gerçekten doğru şeyi ölçtüğünü doğrulamak olarak çerçeveliyor.
Örnek: “Ankara bölgesinde geçen ay iptal edilen sipariş sayısı” sorusunun doğru cevabı belli bir sayı ve doğru yol “sipariş_say” aracını bölge ve durum filtresiyle çağırmak. Her ontology veya prompt değişikliğinden sonra set yeniden çalıştırılır; doğru cevap oranı, doğru araç seçimi oranı ve gereksiz araç çağrısı sayısı izlenir. Anti-pattern: birkaç demo sorusunda iyi çalıştığını görüp üretime almak. Kullanıcılar ilk hafta demo setinde olmayan soruları soracaktır. Gerçek kullanıcı loglarından her hafta beş yeni soru eklemek, seti canlı tutmanın basit bir yolu.
Son gelişmeler
Ekim 2026 itibarıyla
Önce kendi cevabını düşün, sonra aç.
RAG ile şirket dokümanlarını vektör veritabanına koymak yetmiyor mu?
Dokümanlarda yazan bilgiyi bulmak için işe yarar, ama ilişki ve kural gerektiren sorularda zayıf kalır. “Bu müşterinin açık siparişlerinden hangileri iptal edilebilir” sorusu metin aramasıyla değil, nesneler arası ilişki ve durum kurallarıyla cevaplanır. Çoğu üretim sistemi ikisini birlikte kullanıyor.
Ontology kurmak aylar sürmez mi?
Kurumsal ölçekte tam bir ontology sürebilir, ama değer ilk 10-15 kavramla başlıyor. En sık sorulan soruları listeleyip bu sorularda geçen nesneleri tanımlamak birkaç haftalık iş. Sonra kullanım verisine göre genişletilir.
Harness mühendisliği prompt mühendisliğinin yeni adı değil mi?
Prompt harness'ın bir parçası, ama harness araçları, izinleri, bağlam seçimini, hata kurtarmayı ve değerlendirmeyi de kapsıyor. 2026'da terim yerleşti: OpenAI örneğinde kritik olan prompt değil, kuralları denetleyen linter'lar ve dokümanı güncel tutan arka plan ajanlarıydı. ETH Zürih çalışması da uzun bağlam dosyalarının tek başına başarıyı artırmadığını gösterdi.
Fine-tuning ile modeli şirkete özel hale getirmek daha kolay değil mi?
Fine-tuning üslup ve format öğretmekte iyi, sık değişen gerçekleri öğretmekte kötü. Fiyat listesi ya da organizasyon yapısı değiştiğinde modeli yeniden eğitmek gerekir. Değişken bilgi araçlardan ve bağlamdan gelmeli.
Modelin yanlış eylem yapmasını nasıl engellersiniz?
İzni prompt'a değil araca koyarak. Araç, çağıranın rolünü ve nesnenin durumunu kontrol eder, uymuyorsa reddeder. Geri alınamaz eylemler için insan onayı adımı eklenir.
Semantik katman tanımlarımızı bir araca kilitlemeden yazabilir miyiz?
Hedef bu yönde. Open Semantic Interchange Ocak 2026'da ilk sürümüne ulaştı ve Temmuz 2026'da Apache Ossie adıyla Apache Incubator'a girdi. Şimdilik dbt, GoodData, Salesforce ve Polaris için referans dönüştürücüler var; yaygın ürün desteği henüz yok. Şimdilik pratik yol, tanımları sürüm kontrolündeki YAML dosyalarında tutup kullandığınız semantik katman aracına oradan aktarmak.
Notun kaynakları
- Harness engineering: leveraging Codex in an agent-first world (OpenAI)
- Palantir Foundry platform overview
- Model Context Protocol dokümantasyonu
- Harness engineering for coding agent users (Birgitta Böckeler, martinfowler.com)
- Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents? (arXiv 2602.11988)
- Open Semantic Interchange (OSI) Specification Finalized (Snowflake)
- Semantic Layer Tools in 2026: Complete List + OSI (Apache Ossie) Status (Datus)
- Demystifying evals for AI agents (Anthropic)
- MCP 2026-07-28 spesifikasyon değişiklik listesi
Sunum stili
12 slayt. Tıklarsan sunum o slayttan başlar.
Slayt notları
Açılış sorusu: AI asistanınıza “geçen çeyrek en çok büyüyen segment hangisi” diye sorsanız doğru cevap alır mısınız?
Daha büyük modele geçmek bu açığı kapatmaz. Eksik olan zekâ değil, şirkete özgü bilgi.
Bu kuralların hiçbiri eğitim setinde yok, çoğu şirket içinde de tek bir yerde yazılı değil.
Konunun haritası bu. Aşağıdan yukarı çıkacağız; her katman bir öncekini modelin kullanabileceği hale getiriyor.
Şemada status=3 yazar; ontology'de bunun ne anlama geldiği ve hangi eylemlere izin verdiği yazar. Başlangıç: en kritik 10-15 kavram, tek bir YAML dosyası.
Finansın geliri ile satışın geliri farklıysa model her seferinde başka sayı söyler. dbt Semantic Layer artık MCP üzerinden AI araçlarına açılıyor; Apache Ossie tanımları taşınabilir yapmayı hedefliyor. Anti-pattern: modelden üretim veritabanında serbest SQL beklemek.
“Bu müşterinin hangi siparişleri iptal edilebilir” bir metin araması değil. Üretim sistemlerinin çoğu RAG ile ontology'yi birlikte kullanıyor.
Agent = Model + Harness. OpenAI Şubat 2026: kısa AGENTS.md harita, kurallar linter'da. ETH Zürih 2026: uzun bağlam dosyası başarıyı artırmıyor, maliyeti %20+ yükseltiyor. Makine denetleyebiliyorsa kural gerçekten kuraldır.
“Siparişi iptal et” tool'u rolü ve nesnenin durumunu kendisi kontrol eder. Model yanlış niyetle çağırsa da eylem gerçekleşmez; geri alınamaz eylemde insan onayı.
50-200 soruluk şirkete özgü set. Doğru cevap oranı, doğru tool seçimi ve gereksiz Tool Call sayısını izle. Demo setinde iyi çalışması üretime hazır olduğu anlamına gelmez.
Küçük başlangıç hâlâ geçerli: en sık soruları topla, 10-15 kavramı YAML'a yaz, Tool olarak aç, eval ile ölç. Standartlar bu dosyayı ileride taşınabilir kılacak.
Şirketinizi bir dosyaya yazın, o dosyayı tool'lara bağlayın, sonucu ölçün. Teşekkür et.