Tahmin Etme Sanatı ve Bilimi – "Superforecasting" Temel İçgörüleri ve Önemli Alıntılar

Bilgilendirme Dokümanı: Tahmin Etme Sanatı ve Bilimi – "Superforecasting" Temel İçgörüleri ve Önemli Alıntılar

Özet

Bu bilgilendirme dokümanı, Philip E. Tetlock ve Dan Gardner tarafından kaleme alınan Superforecasting: The Art and Science of Prediction başlıklı çalışmadan elde edilen temel bulguları, istatistiksel verileri ve kuramsal yaklaşımları sentezlemektedir. Çalışma, geleceği öngörme becerisinin doğuştan gelen mistik bir yetenek olmadığını; doğru düşünme alışkanlıkları, metodolojik disiplin ve sürekli öz-eleştiri ile geliştirilebilen bir beceri olduğunu kanıtlamaktadır.

Temel Çıkarımlar:

• Uzman Yanılsaması ve "Ok Atan Şempanze" Sonucu: Tetlock'ın 1984-2004 yılları arasında yürüttüğü 20 yıllık Uzman Politik Yargı (EPJ) araştırması, ortalama bir uzmanın uzun vadeli geleceğe dair tahminlerinin, rastgele seçim yapan ("ok atan bir şempanze") seviyesinde kaldığını ortaya koymuştur.
• Tilki ve Kirpi Düşünce Modelleri: Isaiah Berlin'in kategorizasyonundan esinlenen araştırmada, olayları tek bir "Büyük Fikir" üzerinden açıklayan ideolojik "kirpiler" (örneğin Larry Kudlow) tahmin doğruluğunda başarısız olurken; farklı perspektifleri sentezleyen, esnek ve eklektik "tilkiler" sistematik olarak daha yüksek öngörü başarısı göstermiştir.
• IARPA Turnuvası ve Süper Tahminciler: ABD İstihbarat İleri Araştırma Projeleri Faaliyeti (IARPA) tarafından 2011-2015 yılları arasında düzenlenen tahmine dayalı turnuvada, Tetlock ve Barbara Mellers'ın yönettiği Good Judgment Project (GJP), kontrol gruplarını ilk yılda %60, ikinci yılda %78 oranında geride bırakmıştır. Dahası, gizli bilgilere erişimi olmayan sıradan vatandaşlardan oluşan "süper tahminciler" (Doug Lorch, Bill Flack vb.), gizli verilerle çalışan profesyonel istihbarat analistlerini yaklaşık %30 oranında geride bırakmıştır.
• Ölçüm ve Brier Skoru: Öngörü yeteneğinin geliştirilememesinin ana sebebi, tıp tarihinde de uzun süre görülen şüphe ve ölçüm eksikliğidir ("Tanrı kompleksi"). Glenn W. Brier tarafından 1950'de geliştirilen Brier Skoru; kalibrasyon (gerçekleşme oranı ile verilen olasılık uyumu) ve çözünürlüğü (kesinlik derecesi) ölçerek öngörü kalitesini matematiğe döker.
• Zeka ve Fermi Yöntemi: Süper tahminciler aşırı yüksek IQ'lu dahiler (top %1) değildir; zeka ve bilgi testi sonuçları ortalamanın üzerinde (%80'lik dilim) olmakla birlikte asıl farkı düşünme yöntemleri yaratır. Enrico Fermi'nin karmaşık soruları bilinen ve bilinmeyen parçalara bölme yöntemi ("Fermi-izing") ve "yusufçuk gözü" (dragonfly eye) gibi çoklu perspektif toplama teknikleri başarının anahtarıdır.

1. Tahminleme Paradoksu ve Uzman Yanılsaması

Öngörülebilirliğin Sınırları: Saatler ve Bulutlar

Gerçeklik, mükemmel bir biçimde öngörülebilen deterministik "saatler" ile tamamen kaotik olan "bulutlar" arasında karmaşık bir etkileşimden oluşur.

• Laplace’ın Şeytanı (1814): Pierre-Simon Laplace, evrendeki tüm kuvvetleri ve konumları bilen tek bir zekanın (Laplace’ın Şeytanı), geleceği geçmiş kadar net görebileceğini öne sürmüştür.
• Lorenzian Bulutlar ve Kelebek Etkisi (1972): Meteorolog Edward Lorenz, doğrusal olmayan (non-linear) sistemlerde başlangıç koşullarındaki mikro düzeydeki sapmaların (örneğin Brezilya'da kanat çırpan bir kelebeğin Teksas'ta kasırgaya yol açması) uzun vadeli tahminleri imkansız kıldığını göstermiştir.
• Toplumsal Örneği (Arap Baharı): 17 Aralık 2010 tarihinde Tunus'un Sidi Bouzid kentinde seyyar satıcı Mohamed Bouazizi'nin gördüğü kötü muamele sonrası kendisini yakması, Tunus diktatörü Ben Ali'nin 23 yıllık rejiminin yıkılmasına ve tüm Orta Doğu'yu sarsan protestolara yol açmıştır. Olayın ardından geriye dönük tutarlı bir anlatı kurmak (Tom Friedman gibi uzmanların yaptığı gibi) kolay olsa da, olayın gerçekleştiği sabah bu kelebek etkisini öngörmek imkansızdır.

[Mundane Öngörülebilirlik (Saatler)] <--------------------------> [Doğrusal Olmayan Kaos (Bulutlar)]
  - Gün doğumu/batımı saatleri                                      - Uzun vadeli hava durumu (>7 gün)
  - Mesai saati trafik yoğunluğu                                    - Devrimler ve siyasi kırılmalar
  - Aktüeryal ölüm oranları (Kansas City Life)                      - Hisse senedi piyasaları

"Ok Atan Şempanze" Araştırması (EPJ: Expert Political Judgment)

Tetlock'ın 1984-2004 yılları arasında 284 profesyonel uzmanla (akademisyenler, hükümet yetkilileri, ekonomistler) yürüttüğ0,02ü ve 28.000 tahmini kapsayan araştırmasının sonuçları 2005 yılında yayımlanmıştır:

• Ortalama Başarı: Ortalama uzmanın başarısı, olasılıkları rastgele seçen "ok atan bir şempanze" seviyesinden neredeyse farksız çıkmıştır.
• Zaman Ufku: 1 yılı aşmayan kısa vadeli tahminlerde şans faktörü az da olsa yenilebilirken, 3 ila 5 yıllık zaman ufkunda uzmanların doğruluğu tamamen şempanze seviyesine düşmektedir.
• Medya ve Şöhret Ters Orantısı: Araştırma, uzmanın medyatikliği ve şöhreti ile öngörü isabeti arasında ters bir korelasyon olduğunu kanıtlamıştır. Medya, karmaşık ve kuşkucu analistleri değil; tek bir "Büyük Fikir" üzerinden kendinden emin konuşan ideologları tercih etmektedir.

Tıp Tarihinden Alınan Dersler ve "Tanrı Kompleksi"

Tıp tarihi, deneysel kontrol ve şüphenin bulunmadığı alanlarda cehalet ile özgüvenin yüzyıllarca nasıl bir arada var olabildiğini göstermektedir:

• Galen ve Katı İnanç: 2. yüzyıl hekimi Galen, kendi tedavilerinin mükemmelliğine inanmış ve "Tüm hastalar iyileşir, iyileşmeyenler ise zaten tedavi edilemez vakalardır" diyerek doğrulama önyargısının (confirmation bias) uç bir örneğini sergilemiştir. George Washington 1799'da aşırı kan alma (bloodletting) ve cıva tedavileri sonucu hayatını kaybetmiştir.
• Kontrollü Deneylerin Doğuşu: James Lind’in 1747’de skorbüt hastası denizciler üzerinde yaptığı ilk kontrollü deney ve Austin Bradford Hill’in 1921’de ortaya koyduğu Rastgele Kontrollü Deney (RCT) metodolojisi tıpta devrim yaratmıştır.
• Archie Cochrane ve Şüphe: Epidemiyolog Archie Cochrane, hekimlerin kendi sezgilerine duyduğu aşırı güveni "Tanrı Kompleksi" olarak nitelendirmiş ve tıbbi müdahalelerin rastgele kontrollü deneylerle test edilmesi gerektiğini savunmuştur. Cochrane, 1956 yılında kendisine konulan yanlış ölümcül kanser teşhisini sorgulamadan kabullenmiş; bu kişisel tecrübesi bile uzman otoritesine duyulan sorgusuz güvenin insan psikolojisindeki derinliğini göz önüne sermiştir.

2. Düşünme Biçimleri ve Bilişsel Mekanizmalar

Çift Sistemli Düşünce Modeli (System 1 vs. System 2)

Daniel Kahneman ve Amos Tversky tarafından kavramsallaştırılan karar alma süreçleri iki temel mekanizmaya dayanır:

• Sistem 1 (Hızlı, Otomatik, Sezgisel): Anında yanıt üretir. Çaba gerektirmez. Ancak evrimsel olarak tehlikelerden kaçınmak üzere tasarlandığı için kanıtın kalitesine duyarsızdır. Kahneman bu durumu WYSIATI (What You See Is All There Is / Gördüğün Şey Tek Var Olandır) olarak tanımlar.
• Sistem 2 (Yavaş, Bilinçli, Analitik): Kanıtları sorgular, hesaplama yapar ve zihinsel çaba harcar. Tembeldir; Sistem 1'in getirdiği ilk cevabı onaylama eğilimindedir.

Bilişsel Yansıma Testi (CRT) Örneği: "Bir sopa ve bir topun toplam fiyatı 1.10 dolar. Sopa, toptan 1.00 dolar daha pahalı. Topun fiyatı ne kadardır?" Sistem 1 Yanıtı: 10 sent (Hızlı, sezgisel, fakat yanlış). Sistem 2 Yanıtı: 5 sent (Analitik doğrulama sonucu doğru).

Konfabülasyon ve Konfirmasyon Önyargısı

İnsan beyni tutarlılık ve düzen arar. Michael Gazzaniga'nın ayrık beyin (split-brain) hastaları üzerinde yaptığı deneyler, sol beynin sağ beynin yaptığı eylemlere anında mantıklı görünen uydurma hikayeler ("konfabülasyon") ürettiğini göstermiştir.

2011 Oslo patlaması sonrasında, fail Anders Breivik (aşırı sağcı bir Norveçli) henüz yakalanmamışken, medyanın ve kamuoyunun geçmiş 10 yılın kalıplarına dayanarak olayı derhal "İslamcı teröristlere" bağlaması, doğrulama önyargısı (confirmation bias) ve bulunabilirlik sezgiseli (availability heuristic) için somut bir örnektir.

"Blink" mi "Think" mi? (Sezgi ve Analiz Uyumu)

Gary Klein'ın yangın amirleri üzerindeki araştırmaları, uzman sezgilerinin (pattern recognition / desen tanıma) hayat kurtarabileceğini göstermiştir. Ancak Kahneman ve Klein (2009) ortak çalışmalarında sezginin güvenilirliği için iki şart koşmuştur:

1. Ortamın düzenli ve öngörülebilir işaretler (cues) içermesi (örneğin satranç veya yangın anı).
2. Uygulayıcının bu işaretleri öğrenmek için yeterli deneyim ve geri bildirime sahip olması.

Hisse senedi piyasaları veya jeopolitik gelişmeler gibi geçerli işaretlerin bulunmadığı veya gürültülü olduğu alanlarda uzman sezgisine (örneğin Peggy Noonan'ın 2012 seçimlerinde Romney'nin kazanacağını "titreşimlerden/vibrations" hissetmesi) güvenmek illüzyondan ibarettir.

Tilkiler ve Kirpiler (Foxes vs. Hedgehogs)

Tetlock, antik Yunan şairi Archilochus'un "Tilki çok şey bilir, ama kirpi tek bir büyük şeyi bilir" dizesinden hareketle uzmanları iki ana düşünce stiline ayırmıştır:

Özellik	Kirpiler (Hedgehogs)	Tilkiler (Foxes)
Düşünce Çerçevesi	Tek bir "Büyük Fikir" / İdeolojik şablon (Örn: Arz yönlü ekonomi, Çevresel kıyamet)	Eklektik, çoklu teoriler ve pragmatik araçlar
Konuşma Dili	"Kesinlikle", "İmkansız", "Ayrıca", "Dahası"	"Ancak", "Fakat", "Olasılıkla", "Diğer yandan"
Hata Karşısındaki Tutum	Tahmin tutmadığında: "Az kaldı, bekleyin" veya "Olaylar farklı gelişti"	Hataları hızla kabul eder, zihinsel modellerini günceller
Medya Uyumı	Yüksek (Net, basit ve özgüvenli hikayeler anlatırlar)	Düşük (Şüpheci ve gri alanlara odaklanan karmaşık anlatılar)
Tahmin Başarısı	Şans seviyesinin altında (Ok atan şempanzeden kötü)	Yüksek (Hem kalibrasyon hem çözünürlükte üstün)

Örnek Vaka: Larry Kudlow (CNBC yorumcusu), arz yönlü ekonomi "Büyük Fikrine" körü körüne bağlılığı nedeniyle, ABD ekonomisinin resesyona girdiği Aralık 2007'den 2008 sonbaharına kadar ısrarla "Resesyon yok, Bush ekonomik patlaması devam ediyor" tahmininde bulunmuş ve sürekli yanılmıştır.

Yusufçuk Gözü (Dragonfly Eye) ve Kümeleme

Tilkiler, tıpkı binlerce mercekten gelen görüntüleri tek bir kusursuz görüşte birleştiren yusufçuk gözü gibi hareket ederler:

• Kolektif Zeka (Wisdom of Crowds): Francis Galton’ın 1906’da bir panayırda 700'den fazla kişinin bir öküzün ağırlığını tahmin etmesi üzerine yaptığı çalışma, bireysel tahminlerin ortalamasının (1.197 pound), gerçek ağırlığa (1.198 pound) neredeyse birebir eşit olduğunu göstermiştir.
• İçsel Kümeleme: Tilkiler, Galton'ın kalabalığının yaptığı bilgi birleştirme işlemini tek bir kafatasının içinde gerçekleştirirler. Farklı açıları (örneğin Financial Times 1997 yarışmasında olduğu gibi hem rasyonel oyun teorisi / Spock hem de insan psikolojisi / McCoy perspektifini) bir araya getirerek sentez (Captain Kirk) yaparlar.
• Poker Perspektifi: Profesyonel poker oyuncusu Annie Duke'ün belirttiği gibi, amatörler rakibin bahsi artırmasını doğrudan "güçlü el" olarak yorumlar (WYSIATI). İyi oyuncular ise masaya rakibin gözünden bakarak (perspective-taking) potu büyütme veya blöf stratejilerini hesaba katar.

3. Tahminlerin Derecelendirilmesi ve Ölçüm Standardı

Muğlak Dil ve Zaman Ufku Problemi

Doğru bir skorlama yapılabilmesi için tahminlerin net zaman ufuklarına ve tanımlanmış terimlere sahip olması gerekir.

• Steve Ballmer (2007): Microsoft CEO'su Ballmer'ın "iPhone'un kayda değer bir pazar payı alma şansı yok" tahmini; "kayda değer" ifadesinin ve hedef pazarın (küresel cep telefonu mu, akıllı telefon mu?) belirsizliği yüzünden hukuki olarak kesin bir şekilde "yanlış" ilan edilememektedir. (iPhone 2013 Q3 itibarıyla küresel cep telefonu pazarının %6'sını almıştır).
• Bernanke Açık Mektubu (2010): Niall Ferguson ve Amity Shlaes gibi isimlerin imzaladığı mektupta, Fed'in varlık alımlarının "enflasyon ve para biriminin değer kaybı riski" taşıdığı belirtilmiş ancak zaman ufku verilmediği için tahminciler "Henüz gerçekleşmedi ama gelecek" iddiasında bulunabilmektedir.

Sherman Kent ve Olasılıksal Dil Cetveli

CIA analisti Sherman Kent, 1951 tarihli NIE 29-51 raporunda geçen "ciddi olasılık" (serious possibility) ifadesinin analistler arasında çok farklı oranlara denk geldiğini keşfetmiştir (Biri %80, diğeri %20 olarak yorumlamıştır). Kent, kafa karışıklığını önlemek için kelimelerin sayısal karşılıklarını içeren bir standart önermiştir:

[100%] Kesin (Certain)
  │
  ├── [93% ± 6%] Neredeyse Kesin (Almost certain)
  ├── [75% ± 12%] Muhtemel (Probable)
  ├── [50% ± 10%] Şanslar Eşit (Chances about even)
  ├── [30% ± 10%] Muhtemelen Değil (Probably not)
  └── [7% ± 5%]  Neredeyse Kesinlikle Değil (Almost certainly not)
  │
[0%] İmkansız (Impossible)

Sayısal tahmin zorunluluğu, tahmincinin kendi düşünce süreçlerini incelemesini (metabiliş / metacognition) sağlar.

Brier Skoru, Kalibrasyon ve Çözünürlük

Glenn W. Brier (1950) tarafından geliştirilen Brier Skoru, tahmin edilen olasılık ile gerçekleşen gerçeklik arasındaki farkı ölçer (Golf skoru gibidir; düşük skor daha iyidir):

• 0.0: Mükemmel öngörü (Tanrısal bilgi).
• 0.5: Rastgele tahmin / %50-%50 yazı-tura düzeyi.
• 2.0: Tamamen yanlış (Her defasında %100 emin olunup tersinin gerçekleşmesi).

         Brier Skoru Ölçeği
<-- Daha İyi (Düşük)      Daha Kötü (Yüksek) -->
0.0 ───────────────── 0.5 ───────────────── 2.0
Mükemmel           Şans Seviyesi        Tamamen Yanlış

Bir tahmincinin başarısı iki bileşenden oluşur:

1. Kalibrasyon (Calibration): Tahmincinin %70 olasılık verdiği olayların gerçekten %70 oranında gerçekleşmesidir.
2. Çözünürlük (Resolution): Tahmincinin %50 etrafında ("korkak") dolaşmayıp, gerçekleşecek olaylara yüksek (%90), gerçekleşmeyeceklere düşük (%10) olasılıklar atayabilme cesaretidir ("cesur ve kalibre").

4. Süper Tahminciler ve IARPA Turnuvası

2002 Irak WMD İstihbarat Başarısızlığı

ABD İstihbarat Topluluğu (IC), yıllık 50 milyar dolarlık bütçesi ve 20.000 analistine rağmen 2002 tarihli NIE 2002-16HC raporunda Irak'ın kitle imha silahlarına (WMD) sahip olduğunu "Bağdat sahiptir..." şeklinde kesin bir dille duyurmuştur. Robert Jervis'in analizine göre bu birBulgu eksikliği değil, analitik süreç hatasıdır; karşıt hipotezler (Red Team / Şeytanın Avukatı) hiç değerlendirilmemiştir.

IARPA Turnuvası ve Good Judgment Project (GJP)

IARPA, 2011 yılında 5 üniversite ekibinin yarıştığı 4 yıllık bir tahmin turnuvası başlatmıştır. Her gün saat 09.00'da jeopolitik ve ekonomik sorulara sayısal tahminler girilmiştir.

Philip Tetlock ve Barbara Mellers'ın kurduğu Good Judgment Project (GJP):

• 1. Yılda kontrol grubunu %60 geride bırakmıştır.
• 2. Yılda kontrol grubunu %78 geride bırakmıştır.
• MIT ve Michigan Üniversitesi gibi rakiplerini %30-%70 farkla yenmiştir.
• David Ignatius'un (Washington Post) aktardığına göre GJP süper tahmincileri, gizli belgelere erişimi olan profesyonel IC analistlerini %30 oranında geride bırakmıştır.

Süper Tahmincilerin Profili: Doug Lorch ve Bill Flack

Süper tahminciler (en üst %2'lik dilim), sıradan insanlardır:

• Doug Lorch: IBM'den emekli bir bilgisayar programcısı. 1. yılda Brier skoru 0.22, 2. yılda 0.14 olmuştur. Tek başına IARPA'nın 4 yıllık hedef seviyesini aşmıştır.
• Bill Flack: Nebraska'dan emekli bir Tarım Bakanlığı çalışanı ve kuş gözlemcisi.
• Süreç Becerisi: Süper tahminciler 300 gün sonrasını, sıradan tahmincilerin 100 gün sonrasını gördüğü netlikte öngörebilmektedir (İki katından fazla zaman ufku derinliği).

Şans, Beceri ve Ortalamaya Dönüş (Regression to the Mean)

Michael Mauboussin'in The Success Equation modeline göre, sonuçların şansa dayalı olduğu alanlarda yılla arasında hızlı bir ortalamaya dönüş (regression to the mean) görülür.

Fiziksel Boy Korelasyonu (Baba/Oğul): ~0.50
Süper Tahmincilerin Yıllık Başarı Korelasyonu: ~0.65
Yazı-Tura Oyunu Yıllık Korelasyonu: 0.00

Süper tahmincilerin yıldan yıla gösterdiği %0.65'lik yüksek korelasyon ve %70'inin ertesi yıl da "süper" statüsünü koruması, elde edilen başarının rastlantısal değil, beceriye dayalı olduğunu kanıtlamaktadır. Takım çalışması ve sürekli geri bildirim, istatistiksel çekim kuvvetini (ortalamaya dönüşü) engellemiştir.

5. Zeka, Metodoloji ve Fermi Yöntemi

Süper Tahminciler Dahi mi?

Sandy Sillman (Brown, MIT ve Harvard dereceli, MS hastası eski atmosfer bilimcisi) gibi üstün akademik geçmişe sahip süper tahminciler olsa da, yapılan psikometrik testler şu sonuçları vermiştir:

• Sıvı Zeka (Raven Matrisleri) ve Kristalize Zeka (Genel Kültür): Sıradan tahminciler genel nüfusun %70'inden; süper tahminciler ise %80'inden daha yüksek puan almıştır.
• Eşik Etkisi: Belirli bir zeka ve genel kültür threshold'undan (yaklaşık 120 IQ civarı, New York Times okuru seviyesi) sonra ek zekanın öngörü başarısına katkısı marjinalleşmektedir. Asıl farkı zekanın nasıl kullanıldığı yaratmaktadır.

Fermi Yöntemi ("Fermi-izing")

İtalyan fizikçi Enrico Fermi'nin geliştirdiği bu yöntem, tamamen bilinmeyen bir soruyu, bilinen ve tahmin edilebilir alt sorulara bölerek "kara kutudan" çıkarmayı amaçlar.

Örnek Soru: "Şikago'da kaç tane piyano akortçusu vardır?"

1. Şikago Nüfusu: ~2.5 milyon insan (LA'den küçük, tahmini güven aralığı: 1.5 - 3.5 milyon).
2. Piyano Sahipliği: 100 kişide 1 ev + kurumlar (okullar, barlar) = Toplam ~50.000 piyano.
3. Akort Sıklığı: Yılda 1 kez. Toplam iş: Yılda 50.000 akort.
4. Bir Akort Süresi: 2 saat. Toplam gerekli süre: 100.000 saat/yıl.
5. Bir Akortçunun Çalışma Süresi: Yılda 50 hafta x 40 saat = 2.000 saat. Yol süresi düşülürse (~%20) = 1.600 saat/yıl.
6. Sonuç: 100.000 / 1.600 = 62.5 piyano akortçusu (Sarı sayfalardaki gerçek sayı ~83'tür; tahmin şaşırtıcı derecede isabetlidir).

Yasser Arafat'ın 2004'teki ölümünün ardından 2012'de başlatılan polonium incelemesi sorusunda da süper tahminciler; "İsrail yaptı mı?" (Sistem 1 bait-and-switch) sorusu yerine, Fransız ve İsviçreli laboratuvarların teknik bulgu raporlama olasılıklarını Fermi yöntemiyle parçalara ayırarak hesaplamışlardır.

6. Temel Alıntılar Tablosu

İncelemeye konu olan metinlerde yer alan en kritik değerlendirmeler ve alıntılar aşağıda derlenmiştir:

Konuşmacı / Yazar	Kurum / Unvan	Alıntı / Özeti
Adam Grant	New York Times Bestseller Yazarı	"Superforecasting, sizi daha akıllı ve bilge kılacak nadir kitaplardan biridir. Davranışsal bilimin devlerinden biri geleceği tahmin etmeyi nasıl geliştireceğimizi açıklıyor."
Stewart Brand	The Long Now Foundation Başkanı	"İyi yargı ve iyi tahmin nadirdir, ancak bunların öğretilebilir becerilerden oluştuğu ortaya çıkmıştır."
John Horgan	Stevens Institute of Technology	"Philip Tetlock, çoğu uzmanın seçimleri, savaşları ve ekonomik krizleri tahmin etmede 'ok atan şempanzelerden' daha iyi olmadığını göstermesiyle ünlüdür."
Aaron Brown	AQR Capital Management Risk Yöneticisi	"Dünya çapında bir poker oyuncusu ile amatörler arasındaki fark, ağır sıkletlerin 60/40’lık bir bahis ile 40/60’lık bir bahis arasındaki farkı bilmesidir."
Galen	2. Yüzyıl Roma Hekimi	"Bu tedaviden içen herkes kısa sürede iyileşir, iyileşmeyenler hariç; onlar ölür. Bu nedenle, ilacın yalnızca iyileştirilemez vakalarda başarısız olduğu açıktır."
Richard Feynman	Nobel Ödüllü Fizikçi	"Şüphe korkulacak bir şey değildir, aksine çok büyük değeri olan bir şeydir... Bilimin gelişme hızı, yalnızca gözlem yapma hızınız değil, test edecek yeni şeyler yaratma hızınızdır."
Sherman Kent	CIA Analiz Öncüsü / OE Başkanı	"Tahmin etmek, bilmediğiniz zaman yaptığınız şeydir... Bir goddamn şair olmaktansa bir bahisçi (bookie) olmayı tercih ederim."
Robert McNamara	ABD Savunma Bakanı (1961-1968)	"Karar alma sürecimizin temelleri vahim şekilde kusurluydu. Varsayımlarımızı ne o zaman ne de daha sonra eleştirel bir şekilde analiz edemedik."
David Ferrucci	IBM Watson Baş Mühendisi	"İnsan zihni harikadır çünkü görev sarsıcı derecede zordur... İstediğim şey, insanın bilişsel sınırlamalarını ve önyargılarını aşmak için bir bilgisayarla eşleştirilmiş insan uzmandır."
Bill Gates	Gates Foundation Kurucusu	"Ölçümün insan durumunu iyileştirmek için ne kadar önemli olduğu beni her zaman şaşırtmıştır. Net bir hedef koyar ve ilerlemeyi sağlayacak bir ölçüt bulursanız inanılmaz bir ilerleme kaydedebilirsiniz."

Sonuç

Superforecasting araştırması, karmaşık bir dünyada geleceği %100 kesinlikle görmenin (Laplace'ın Şeytanı) imkansız olduğunu, ancak olası gelecekleri açık fikirli, analitik, çoklu perspektifli (yusufçuk gözü) ve şüpheci bir yaklaşımla değerlendirerek sistematik bir üstünlük elde edilebileceğini göstermektedir.

Gerek kurumların (örneğin ABD İstihbarat Topluluğu) gerekse bireylerin yapması gereken en kritik dönüşüm, dogmatik "kirpi" inançlarını ve belirsiz ifadeleri ("ciddi olasılık", "kayda değer pazar payı") bir kenara bırakarak; açık hedefler koymak, sayısal olasılıklar tanımlamak, Brier skoru gibi katı ölçüm standartları uygulamak ve sürekli geri bildirimle zihinsel modelleri güncellemektir (Perpetual Beta).