Daha iyi bir OKR ile risk nasıl ölçülür?

Onları ciddiye alan şirketlerde Amaç ve Anahtar Sonucu'nun (OKR) büyük bir hayranı oldum. OKR'ye uyan ve seçilen bir riskin azaltılmasını (veya arttırılmasını) ölçen, görüşlü bir yöntemi tarif edeceğim. Bu, bir ekibin ileriye dönük bu riski azaltmak için mühendislik çabalarını azaltma veya artırma kararını bildirecektir.

Bu yöntem, bir meteorologun havayı nasıl öngördüğüne benzer.

OKR’lere derinlemesine dalış yapmak için bunu okuyabilir, izleyebilir veya okuyabilirsiniz.

OKR’ler, bir motivasyon hedefini ifade etmenin ve bir grubu bu amaca doğru iten kısa bir ölçülebilir sonuç listesine karar vermenin basit bir yoludur. Bazen yönetici yönetiminden tüm çalışanlara kadar basamaklanırlar. OKR’ler teknoloji şirketleri ve birlikte çalıştığım birçok güvenlik ekibi arasında yaygın bir uygulamadır.

Mesela:

Amaç: Geliştirici dizüstü bilgisayarlarından üretime kimlik doğrulamasını iyileştirme.

Bu amaç fena değil, ancak birçok risk ölçüm fırsatı kaçırıldı.

Ölçülebilir bir yöntemle nadir, etkili bir riski azaltacağız.

Bu tür riskleri normal olarak ölçmek zordur.

Tarihsel veriler (hiç olmadı) geleceğimizi yeterince bilgilendirmiyor (olabilir mi?).

Tahmin ve tahmin yöntemleriyle, geçmişte bu senaryo için geçmiş verileri olmasa bile gelecekteki bir senaryonun ne kadar muhtemel olabileceğini ölçebiliriz. Bir grubun “belirsizliğini” risk için bir vekil olarak kullanıyoruz ve ölçeceğiz. Tahminlerle ilgili bilişsel önyargıları yöneteceğiz.

AMAÇ: “Risk senaryosunu” içeren bir amaç yazın.

Amacınız bir senaryoda ifade edilen riski azaltmaktır.

Aşağıda, riski azaltmak için yazılan daha önce bahsedilen amaç var. Geliştirilmesi için bazı oda ile yazılmıştır:

Amaç: Geliştirici dizüstü bilgisayarlarından üretime kimlik doğrulamasını iyileştirme.

Bu mutlaka kötü bir amaç değildir, ancak senaryo olarak yeniden yazılarak geliştirilebilir.

Amaç: “Bir rakip üçüncü çeyrekte bir geliştirici dizüstü bilgisayardan üretime erişmiştir” riskini azaltmak.

Benzer görünüyorlar, değil mi?

  • En büyük fark, bir senaryonun olasılıklı olmasıdır. Olasılık cümleciklerine karşı tahmin edilebilir. Tahminler iyi araştırılmış, yaygın olarak anlaşılmış (ör: hava durumu), niceldir ve belirsizliğinizi ölçer.

Belirsizlik, beyninizdeki bir dizi seçeneğe omuz silkmenizi veya bunlardan birini şiddetle hissetmenizi sağlayan şeydir. Görünüşe göre, bir grubun belirsizliği basit bir şekilde ölçülebilir. Uzmanların belirsizliğini, ölçüm hedefimiz için bir vekil haline getireceğiz.

  • Küçük fark, senaryonun bir mühendisin yaratıcılığını ödüllendirmesidir.

Örneğin, üretim bilgileri gerektiren geliştiricilerin miktarını azaltmak kimlik doğrulamasını iyileştirir mi? Hayır, bu biraz ulaşıyor. Ancak riski azaltacaktır ve kilit sonuç değiştirilen hedefle daha uyumludur.

Bir “risk senaryosu” hedefi bir çözüm öngörmemektedir. Sadece temiz bir tahmin oluşturur. Bir senaryo, kaçınılması gereken gelecekteki bir olay olarak riski tanımlayan daha iyi bir iş yapabilir.

Tahmin edilebilir iyi bir senaryo, bir tehdidin, bir vektörün, bir varlığın veya bir etkinin düşünceli bir karışımını içerir. Daraltma veya genişletme özgüllüğü ekleyerek, belirli bir kapsam veya riske yaratıcı bir şekilde karar verebilirsiniz. Bir tahmin somut bir zaman diliminde karar vermelidir.

ANAHTAR SONUÇLAR: Dönüm noktalarını veya metrikleri seçin ve bir tahminde bulunun.

İlk olarak, kolay şeyler. Temel Sonuçlar ölçülebilir olmalıdır. Google’ın ilk günlerinde Marisa Meyer şöyle dedi:

“Numarası olmadığı sürece önemli bir sonuç değil.”

Basit bir ölçüm şekli ikili başarılardır: 1 için yapılır, 0 yapılmazsa. Örneğin: “XYZ iş uygulamasını Single Sign On platformumuza ekledik”. Eğer yaptıysanız, “1” alırsınız!

Bir diğeri, “X hatalarını düzeltme” ya da “X olaylarını azaltma” ya da “N mühendislerini işe alma” gibi nicel bir ölçüm yapmaktır. Bunlar gerekli, ortaktır ve proje hedeflerini ve operasyonel ölçümleri temsil eder. Muhtemelen bunlara alışkınsın. Onlar da güzel önemli sonuçlar verebilir.

Bununla birlikte, senaryomuzla ilişkili bir risk azalmasını gerçekten ölçmemektedir. Aksine, yapılan işin gecikmeli bir göstergesidir. Bu çalışma bir riski azaltmada değer yarattı, ancak henüz bir riskin azalmasını ölçmediniz. Çabalarınız nedeniyle riskin azaldığını varsayıyorsunuz.

Ama ne kadar? Ya gerçekten arttıysa?

Bir güvenlik ölçüsünün bir kesinlik ölçüsü ile karşılaştırılması

Geleneksel güvenlik ölçümleri, bilgilendirici değerleri için çok kullanışlıdır. Bir risk konusundaki belirsizliğimizi bilgilendirirler, ancak riskin olasılıksal doğasını temsil etmezler ve genellikle belirli bir senaryo hakkında sahip olabileceğimiz büyük belirsizlikleri ifade etmezler.

Örneğin, geçmiş bir güvenlik açığı sayısının ya da gerileme sıklığının doğrudan bir riski ifade etmediğine inanıyorum, ancak bu verilerin sonucu olarak ilişkili bir senaryo olup olmayacağına dair belirsizliğimi bildirmeye kesinlikle yardımcı oluyor.

Bunun nedeni, bireysel bir metriğe atadığımız değerin sürekli akı içinde olmasıdır.

Herhangi bir özel ölçüm, bir şey değiştirinceye kadar en bilgilendirici veri noktam olabilir. Kararım, eski veriler karşısında “oh bok” diye çığlık atan yeni bilgileri veya bu konuda oluşturmaya çalıştığımız kırılgan bir modeli duyduktan hemen sonra eski verileri kullanımdan kaldırır.

Şimdi "zor kısım" ya geçelim. Bunu OKR yapalım.

Bu gerçekten onu asmak için çok kolay.

Ölçülmek üzere tasarlanmış bir örnek OKR:

Bahsedildiği gibi, bu OKR'yi yapacağız, bu nedenle risk tahmini için tahmin ve tahmin teknikleri ile uyumludur.

Küçük bir AWS güvenlik ekibi için örnek bir OKR:

Amaç:

“Bir üretim AWS kimlik belgesi, üçüncü çeyrekte halka maruz kaldı” olasılığını azaltın.

Anahtar Sonuçlar:

  1. AWS_SECRET_KEY'den bahseden Komisyon #security bolgesinde ortaya çıktı.
  2. Photobackup boru hattı AWS rolüne taşınacaktır.
  3. Arama sırasında tespit edilmemize yönelik olarak Security Monkey alarm hattını tamamlayın.
  4. Tahmin öncesi ve sonrası ve CloudTrail avını tamamlayın.

İlk önemli sonuçlar (1–3) tartışma gerektirmez. Bunlar sadece değirmen mühendisliği işi ve istediğini seçebilirsin. Son Anahtar Sonucu (# 4), ilerlemeye odaklanacağımız şeydir.

Bu risk senaryosunu ölçmek için bir tahmin paneli kullanacağız. Bu, OKR’nin altında yatan risk senaryosunu muhtemel bir şekilde ölçme yeteneğimizi güçlendirecektir.

1. Çalışmaya başlamadan önce: “Temel” tahmin.

Bunun yılın üçüncü çeyreği için bir OKR olduğunu varsayalım. Haziran ayının başlarında, OKR'ye aşina olan birkaç farklı ve eğitimli birey, senaryo olasılığını olasılıksal terimlerle tahmin edecektir (Yüzde inanç).

Katılımcılarımız Maymun (), Unicorn (), İnek () ve Penguen (). Olasılıksal terimlerle düşünmeleri için onları kısaca kalibre ediyoruz (çevrimiçi eğitim). Hangi metriklere, modellere, post-postlara, danışman denetimine veya mevcut altyapı şemalarına erişebilirler. Hepsi faydalıdır ve tahminlerini bildirir.

Yukarıdaki tahmin, CloudTrail avının olayı açığa çıkarmayacağından% 78 kesinlikte. Bir olayın tespit edilebileceği% 14 kesinliği ve başımızın büyük belada olacağı% 6 kesinliği var.

Şimdi, her kategori için panelden gelen% 33'lük bir cevabın, kelimenin tam anlamıyla herhangi bir bilgiye veya görüşe sahip değiller gibi, tam bir belirsizlik gösterdiğini düşünün. Örneğin, senaryo başka bir dilde yazılmış olabilir. Buradaki durum böyle değil, katılımcılar her seçeneğin diğerine eşit olduğuna inanmıyor. Çevre ve olası tehditler hakkındaki bilgileri göz önüne alındığında, hiçbir olay yaşanmayacağının çok olası olduğunu düşünüyorlar.

Bu nedenle, bu panel olasılık açısından o zaman diliminde bir olay olmayacağının muhtemel olduğu görüşünü dile getiriyor. Ancak, keşfedilen bir olay tamamen söz konusu değil. Diğer birçok şirkette olur. Olabilecek küçük bir ihtimal olduğuna inanmalılar.

Aslında, bir panelist (Maymun ) bir şey bulunacağından daha kesin görünüyor.

Tamam, Monkey grubundan farklı bir düşünceye sahip. Bunu sonra tartışacağız - panelin aynı fikirde olmasına gerek yok!

2. Şimdi işinizi yapın, her zamanki gibi ilerleyin.

Çeyreğin ortasında amaçlarınızı her zamanki gibi yerine getirmeye odaklanın. Sadece iş yap.

Hedeflerimizin belirttiği gibi, ekip uyarıları oluşturuyor, AWS rollerini kullanmak için bir uygulamayı yeniden değerlendiriyor ve Güvenlik Maymununu dağıtıyor. Umarım iyiler ve hepsini bitirirler!

Bu yöntemin, yaptığınız günlük işleri üzerinde hiçbir etkisi yoktur. Basitçe, ölçülebilir bir sonuca doğru çalışmaları yönlendirir. Normalde yaptığınız gibi riske saldırmak.

3. EOQ. İlerleme kaydettik! Şimdi temel çizgiyle karşılaştırıyoruz.

Çeyrek sonunda iki şey yapmaya karar verdik.

Öncelikle, CloudTrail günlüklerini inceleme yaparak avlamak için çaba sarf ediyoruz ve P0 olaylarını soruşturma çabalarımızdan mahrum edip edemeyeceğimizi görüyoruz.

İkinci olarak, panel önümüzdeki çeyrek dönemdeki belirsizliğimiz dışında tekrar ölçmektedir (4. Çeyrek).

Panelimiz yeni bilgilerle donanmıştır. Bu çeyreğin ilerlemesi ve CloudTrail avının sonucu, bu senaryo hakkındaki düşüncelerimizi büyük ölçüde değiştirecek.

Takımın diğer Anahtar Sonuçlarında başarılı olduğunu varsayalım ve ihlal değerlendirmesi tekrar netleşti.

Tekrar tahmin ediyoruz. Sonuçlar burada.

Şimdi, panelin çabalarına dayanarak ne kadar kesinti veya kaybettiğini görebiliyoruz. Bu örnekte, inançlarımız kesinliğe (hatta% 33'den uzak) doğru daha da olumlu bir şekilde yöneldi. Çalışmalarımız panelimizin kesinliğini etkiledi mi? Bu panel buna inanıyor.

Bu durumda, bu riski çevreleyen kesinliğimizi geliştirdik. Doğru yönde% 5 kantitatif bir iyileşme var.

4. Verilerin rehberliğinde liderlik kararı verin.

Artık etkili karar vermek için silahlısın.

Bu, her on çeyreğin birinde bir ihlal öngörüyor gibi görünüyor.

  • Bu yeterince iyi mi?
  • Bunu daha da geliştirmek istiyor muyuz, yoksa başka riskler de var mı?
  • Kabul edilebilir eşiğimiz nedir?
  • Bunu aşmak için ne kadar çaba ve kaynağa ihtiyacımız var?

Neden bu yaklaşım?

İnsanlar farklı bilgi kaynaklarını işlemek için kurulur ve karar vermek için yeni bilgileri hızla emerler.

Çeyrek boyunca, kuşkusuz, seçtiğimiz risklerle ilgili kesinliğimizi değiştiren bilgiler elde edeceğiz.

Bu bilgiler pek çok yerden geliyor: Uygulamalı çalışmaların kendisi, endüstri eğilimleri, ihlaller, belki de diğer altyapı alanlarındaki güvenlik açığı raporları, kendi sömürü araştırmamız, bomba açıklaması açıklama tweet'i, vb.

Ancak, bu bilgi kaynaklarına olan güvenimiz dinamiktir. Riskimizi göstermek için bireysel, statik ölçümlere güvenemeyiz çünkü karar verme değerleri hızla değişiyor. Ölçülebilen, yoğun olarak araştırılan ve risk ölçüm aracı olarak tahmin yöntemlerini iyileştirme konusunda artan rehberlik ile bu riskler için kendi kesinliğimizi vekil olarak kullanabiliriz.

Aslında, uzmanlık çıkarma, Nükleer, Havacılık ve Çevre gibi diğer endüstrilerdeki Olasılıksal Risk Değerlendirmelerinde önemli bir faktördür.

Yeni değil, sadece bizim için yeni.

Önyargı risklerine karşı yalıtım.

Tahmin, titizlikle yaklaşılmadığında tehlikelidir. Bilişsel önyargı iyi araştırılmış ve bu bulguların sık sık tekrarlanması gerekiyor. Kötü tahmin riskleri için çeşitli hafifletmeler vardır.

Araştırmalar şu durumlarda tahminlerin geliştirilebileceğini savunuyor:

  1. Panelistler olasılıksal ve önyargı hakkında düşünmek için eğitildiler.
  2. Panelistler, önyargının etkisini birleştirmek ve düzeltmek için bir araya getirildi. Perspektifte çeşitlilik anahtarıdır!
  3. Panelistler sürekli olarak tahminlerinin sonucuyla karşı karşıya kalıyor (Kalibrasyon). (Çevrimiçi Eğitim, İyi Yargı Açık, Güven Kalibrasyonu)
  4. Panelistler, bir senaryoyu daha ayrıntılı parçalara ayırmaya teşvik edilir ve onları anlamak için ihtiyaç duydukları mevcut verilere şeffaf erişim sağlanır.
  5. Gerçek “Kara Kuğu” hakkında sağlam bir anlayış. Tahmincileri kandırıyorlar.
  6. Her riski tahmin etmeye ve azaltmaya çalışmayın, kaçınılmaz bir başarısızlığa hazır olun.
  7. Çalışan performans yönetiminde zaten bir sorun olan kum torbalamalarını önlemek için terfi ve maaşları OKR'den ayırın ve sonuçları tahmin edin.

Panelistlerden sadece “hızlı düşün!” Tahminlerini sormak kesinlikle size kötü sonuçlar verecektir. Titiz bir yaklaşım daha yüksek bir ölçüm maliyetine (toplantılara) sahiptir, ancak çirkin risk matrisi tablolarına sahip yöntemlerden çok daha kolaydır.

Ama… Ben her zaman “ihlali kabul ediyorum”, bu yüzden işe yaramaz!

İhlal edildiğini varsaymak tamamen geçerli. Herhangi bir kuruluşa, herhangi bir ciddiyetle, bir yerde sahip oldukları bir sistemde bir tür ters faaliyet gösterme ihtimaline (% 99) çok yüksek bir olasılık veririm. “İhlal varsaymak” benim için ne anlama geliyor?

Ancak, her sistemin her bileşeninin, her zaman her düşman tarafından tehlikeye girdiğine inanmak sağlıksız. Akılcı insanlar, hatta FUD askerleri bile, bu kadar derinlere gitmiyorlar.

Rasyonel olan derin karamsar bir akıl, şüphesiz diğerlerinden daha az ya da çok kuşkuya yer bırakmaz. Bireylerin çabalarının riskleri iyileştireceğine inanıyorsanız, belirsizliğin azaldığını olası terimlerle ölçebilirsiniz. Bir karamsar, kesinlikle işlerinin, işleri daha da kötüleştirdiğine inanmıyor.

Kısacası, karamsar bir temel bile geliştirilebilir ve panelde birkaç karamsar olması aslında çok çok iyi bir şeydir.

Risk tahmini ve tahmininin geleceği

Çeyrek dönem boyunca, olasılıksal bir yöntemi daha da güçlendirebiliriz. Tahminlerimizi yönlendirmek için Kırmızı Takımlar, Brier Skorları ve sektör örneklemesini sunabiliriz. Verilerin değeri üzerinde anlaşabilir ve bunun dalgalanma gösterdiğini görebiliriz. “Chatham House” veya eş güvenlik ekipleriyle paylaşma tahminlerini anonimleştirebiliriz.

Tahmini sonuçları Monte Carlo simülasyonlarına aktarabiliriz, NASA, Nükleer Lisanslama ve aşırı riskleri anlamada siber güvenlikten daha uzak olan diğer alanlardan dersler ve uzmanlık almamızı sağlar.

Kuruluşların risk tahmin uygulamasını benimsemeleri için birçok fırsat vardır. İyi sonuçlar elde etmek için muazzam enerji gerekli değildir. Riske dayalı OKR'ler gibi küçükten başlamak, kuruluşunuzun riskini gözle görülür şekilde azaltabilir ve kuruluşunuzu nicel riske doğru bir yola sokabilir.

Sonuç

OKR'ler bir mühendislik ekibine rehberlik etmenin yaygın bir yoludur. Tahmin ve tahmin teknikleriyle uyumlu OKR'ler oluşturmak, risk azaltmadaki ilerlemeyi daha iyi ölçmemize olanak sağlayabilir.

Bu yöntemler bir ekibin çalışmalarını “nasıl” yapmasını engellemez, sonuç olarak “ne kadar” değişebileceğini ölçer. Şu anda riski ölçmek için hiçbir yönteminiz yoksa, o zaman herhangi bir nicel yöntem sahip olduğunuzdan daha iyi ücret almalıdır. Bu stratejinin mühendislik uygulamaları üzerinde en az etkisi olurken, ekibi ölçülebilir bir risk azaltma oranına doğru uyarlar.

Daha fazla okuma

Risk Tahmini: Bu yöntem hakkında yüksek düzeyde bir sunum.

Basit Risk Analizi: Tahmini riske ilişkin derin bir dalış.

Küçük Tavukların Öldürülmesi: Risk tahminlerinin sınırlarını ve fırsatlarını araştırmak

Güvenlik Riskini Senaryolara Ayrıştırma: Riskleri, geniş kapsamlılardan daha ayrıntılı senaryolara kadar bir senaryo hiyerarşisine indirgemek.

Hızlı ve Yavaş Düşünmek: Nobel, bilişin insan hataları üzerine, çoğunlukla önyargılar biçiminde kazandığı araştırmaları ödüllendirdi.

Süper tahmin: Biliş hatalarının etkili tahmin ekiplerinde nasıl hafifletilebileceğini ve silahlandırılabileceğini araştırın.

Siber Güvenlik Riskinde Her Şey Nasıl Ölçülür: Bir ölçüm yöntemi olarak tahmin savunmasında mükemmel bir kaynaktır. Karar vermede ölçümün rolünü teşvik eden güçlü tartışma.

Ryan McGeehan Medium'da güvenlik hakkında yazıyor.