在未經檢測的構想，上投資使得剩下的投資計劃徒勞無功，因爲它假設構想是有效的，儘管我們知道大部分投資構想都是毫無意義的，它們僅僅代表了一時的脫軌失常。
在某種意義上，提問就是一種檢測的方式。不幸的是，我們不能將這個比喻擴展得太遠，因爲最終答案還未出現。不管我們收集了多少數據，所得結果總有僥倖的可能性。儘管如此，如果有強有力的證據表明一個給定的投資是有效的，那麼基於該構想的投資就是合理的(參見第八章)。
有些答案比其他的更容易找到，但我們最不感興趣的答案總是最容易找到。更確切地說，證明一個理論是錯誤的比證明它是正確的要簡單得多，這也是我們爲什麼從不缺少批評的原因之一。
例如，如果“成長股”指過去四年平均回報與淨收益的比率至少是X%，單位銷售量增長率至少是Y%，我們或許有興趣知道“成長股”是否比標準普爾500指數的平均總回報更大。一方面，在一段較長的具有代表性的時間段內，成長股回報小於或等於標準普爾500指數的平均總回報，我們能通過這個方法相對簡單地說明成長股沒有產生更大的總回報。另一方面，說明成長股的總回報比標準普爾指數更高就要難得多。在某一較長的具有代表性的時間段內，成長股的回報比標準普爾500指數要高並不能證明我們所認爲的原因，即股票的淨收益和單位銷售的增長率很高。很有可能是由於我們選取的用於研究的股票恰巧是可獲利的。很有可能銷售和淨收益不重要，而股票的資本化卻很重要。一般來講，低資本化的股票利潤較大，高資本化的股票利潤較小，而我們的研究偶然納入了許多小盤股的公司。
不同的原因相重疊，究竟是什麼帶來了驚人的利潤就是一個學術問題。在上述的例子中，只要低資本化股票是成長股，該問題也是學術問題。但是它們在上述研究中相相一致並不能證明它們自此以後就會一直這樣。更有可能的情況是，當投資者有更多的資金投入系統時，未來某一點上原因就會分開。
這是一個很常見的問題。事實上，每個可能的現象都有多種解釋。如果說可能的解釋的數量不是無限的，它也接近於無限。它甚至不限於調查者的想象。當且僅當我們能證明沒有其他原因時，我們纔可能證明成長股能產生更大的回報。這很難做到。很有可能是因爲它不可能達到。
儘管如此，問題看上去仍比它本身要難。事實上，甚至被完全證實的理論也可能是錯誤的，這一點適用於不僅僅是投資研究的所有研究類型。這一問題並沒有阻礙其他類型的研究變得有價值、有利潤，比如醫藥研發。但是其他領域成功的研究者至少有兩件投資研究者不做的事情。
第一，也是最重要的，成功的研究者是誠實的。科學的歷史就是人們勇於承認錯誤的歷史。例如，愛因斯坦在其早期的靜態宇宙模型中引入了“宇宙常數”這一概念，即粒子間的互斥力。宇宙常數使得引力無法毀滅宇宙。之後，當人們發現宇宙處於膨脹狀態時，愛因斯坦捨棄了宇宙常數，稱它爲“我一生中的首要大錯”。戈特洛布·弗雷格(GottlobFrege)一生的著作就是《基本算數運算法則》，書中他將數學作爲集合論堅實而符合邏輯的基礎，這個工作比看上去更有趣，也更重要。當弗雷格著作的第二卷即將付印時，他收到了一封來自邏輯學家伯特蘭·羅素(BertrandRussell)的信。羅素描述了說謊者悖論，這正中集合論的核心。弗雷格僅有時間在書中插入附錄。附錄開頭寫道：“沒有比在著作完成時發現理論基礎倒塌更讓一個科學家討厭的事情了。我就因爲一封來自伯特蘭·羅素先生的信而陷人了這個境地。”或許這是我的想象，但是我確實聽見了文字背後的哭泣。更重要的是，我懷疑多數投資研究者根本不會這麼做，他們不會試圖去明白那些證明他們錯誤的證據。相比之下，上述的故事卻絕對是科學研究的典型事件。
當然，科學家不總是誠實的。他們也是人。當很難保持誠實時，他們將構造自己的研究，使得個人的問題不會影響研究。研究是封閉隔離(即“盲”)的。例如，在單盲醫藥測試中，我們將一種可能有效的藥給一組病人，將安慰劑給另一組病人。病人不知道自己屬於哪一組。然後比較結果。注意，病人偏差不再起作用。
當然，也存在其它方面的偏差。在雙盲測試中，我們將一種可能有效的藥給一組病人，將安慰劑給另一組病人。病人和發藥的醫生都不知道自己屬於哪一組。在三盲測試中，病人、醫生、比較結果的分析員都不知道誰服哪種藥。分析員只是比較A藥和B藥的結果，不知道哪個是可能有效的藥，哪個是安慰劑。
很明顯投資研究中存在和單盲、雙盲、三盲測試相類似的例子。例如，真實的投資結果可以比作隨機結果。更重要的是，研究院可以在不知道哪個結果代表真實數據的情況下比較結果。的確，考慮到交易員需要得到正的研究結果，不這麼做會很危險。
第二，成功的研究者試圖儘量清除其他“可能”的原因和“不那麼可能”的原因。當然，什麼是可能的原因或者不那麼可能的原因取決於該領域理論的現狀。一個理論如果內部一致，有強有力的證據支持，不存在嚴重的競爭者，那麼我們就假定該理論正確。
當然，假定一個理論是正確的不代表它就是正確的，也不意味着我們不能質疑該理論。假定一個理論是正確的無非表示未來的所有研究都以這個理論爲基礎，尋找證據的擔子就落在了挑戰該理論的人身上。
只要我們明白沒有最終答案，談談就數據提出問題就沒有壞處。的確，這類內容關注了它本該關注的地方，即分析員的工作和責任，因此也很有幫助。答案並不是被“發現”的，研究不是被動的活動。研究是收集越來越多數據，直到答案自己揭曉。當然答案有時很明顯。更多時候，答案並不明顯。因此，分析員的工作就是以這樣的方式提問，即不論數據擁有什麼答案，答案都能自我顯現。這不是個容易的任務。
研究不是隻提出一個問題。只有單個問題是不正確的。或者如果這個問題正確，我們也不清楚這個問題是什麼。更多時候，如果說可用的證據揭示了什麼，它們也含混不清。正因爲這樣，研究是個不斷嘗試不斷出錯的過程，是一個接一個提問的過程，直到揭示出某些重要的東西。
這個問題僅有三種解決辦法。
第一種就是隻問一個問題。最老的統計技巧，比如T檢驗，就是爲此而設計的。例如，如果知道義投資方法的平均年利潤是否大於0很重要，我們就能使用該方法。一般來講，很少有研究者只想問一個問題。
第二種解決辦法就是在一個問題後再向一個，出現某個結果看上去有價值，就在新的不同數據中再檢驗一次。例如，一個想發展趨勢跟蹤方法的投資者可以在道瓊斯平均指數上檢測這些方法。如果他/她發現一個方法有某些價值，就可以在現金銀價上檢驗該方法。如果在銀價上有效，在真實貨幣中就可能有效。如果無效，投資者就要回去在道瓊斯平均指數上繼續檢測，直到發現另一種有價值的方法。然後再將新方法在銀價上檢驗。
但即便如此也存在欺騙自己的可能性。一個沒有價值的方法會偶然地通過兩次測試。如果多次使用第二組數據，那麼必須要有第三組不同的數據，例如英國股票市場指數中的《金融時報》普通股票指數。必須有一組僅使用一次的數據。
第三種解決辦法就是仔細地構建提問過程，使得現代統計學的強大方法能夠派上用場。如果研究者的技巧足夠，可以同時提向幾個問題。交易員可以使用統計技巧中的方差分析。例如，該技巧可以幫助研究者決定趨勢跟蹤方法的利潤是否在某些年份真的比其他年份多，或者在某些投資中比其它投資多。
蒙特卡洛技巧可以幫助那些僅對一筆投資感興趣的投資者來應對一個接一個提問的情況。試想，交易員僅對金價感興趣。他可以就現金金價數據測試幾種方法。如果方法都被可操作地定義，如果測試的順序已知，如果從一個測試到另一個測試的規則明確，我們就有可能確定所得結果在多大可能性上是偶然得到的。
對幾乎所有投資者而言，第二種方法最好。不管使用哪種方法，越審慎小心越好。
從邏輯上講，似乎是先驗證再優化。除非你知道自己做的哪些事情是有實際價值的，不然知道最佳途徑也沒有意義。然而，這不是說我們必須先檢驗投資方法再優化它，儘管這是個可能的路徑。不幸的是，所有方法對這種路徑而言都太複雜了。除非方法極其簡單，很容易將方法分爲逐個部分，檢驗每一部分的有效性再依次優化。當然這種漸進方法存在危險。我們很容易將某些未經檢測的災難性特點引入一個有效的方法中。因此，我們最好先檢驗一個研究項目，再從整體上優化它。