我想通过对股票进行反向测试来制定一种趋势跟踪策略；比方说纽约证券交易所或标普；P500股票。我今天问这个问题是因为我不确定如何处理大量历史价格数据的存储/组织。
经过几个小时的研究，我来到这里，询问您的经验和认识。我非常感谢你能分享关于这个话题的任何信息/意识
个人经历背景：
-我知道如何编码。是电气工程专业，而不是计算机科学专业。
-我知道如何将个人股票行情的股票数据提取到excel中。熟悉在ThinkOrSwim上使用过滤和自定义研究。
应用上下文：从1995年到今天，让我们在相对强度/动量的基础上评估表现最好的股票。我们将通过比较许多技术特征来制定战略。关键是要有一系列股票的数据，我们可以使用python、C#、R或任何其他编码语言对其进行回溯测试。然后，我们可以通过评估技术驱动的进入和退出的回报率、ω比率、超额回报中值和詹森α(每周测量)来确定可能的策略。
我很难弄清楚下一步是什么：
-正在加载所有S&将P500公司整合到一个excel工作簿中是行不通的。我觉得excel处理的数据太多了。每个股票行情器将有多MB的价格数据。
-获取并存储宇宙中每个股票行情器的价格数据的最佳方式是什么？我们在这里查看类似SQL或Microsoft访问的内容吗？我不知道；我对处理大量这样的数据没有足够的认识。你在想什么？
过去一段时间内，我曾使用ToS根据真/假参数过滤股票；然而ToS的能力是有限的。我想要一个更灵活的后台测试引擎，比如用python或C#编写的代码。不确定Rscript是否有用。-也许，有一些图书馆是我没有意识到的，会让这一切成为可能？如果有，请告诉我。
我知道Quantopia和其他基于网络的Quant平台就在附近。这些是我进行回溯测试的最佳选择吗？有什么想法吗？
我是不是把这件事搞得太复杂了？在excel、ToS甚至Tradingview中，对单个股票或多只股票的策略进行回溯测试都不是问题。但是，由于有大量数据，我不确定存储这些数据，然后使用python脚本或其他东西执行回测的最佳选择是什么。
随机最终想法：-最终希望探索一些基于参数创建的优化策略的人工智能辅助。我知道这是一件事，但不知道从哪里了解更多。如果你这样做，请告诉我。
谢谢大家。我希望这不是太多。如果你能分享任何知识来提高我对这个话题的认识，我将非常感激
推特：@b_gumm
EXCEL或CALC的数据量太多。即使你只想从S&P 500，您将获得220万行(约220天/年*20年*500只股票)。对于这种数量的数据，您应该使用类似MySQL的SQL数据库。它的性能足以处理这么多数据。但你必须找到一种更新的方法。如果你每天获取完整的时间序列并将其存储到数据库中，这个过程可能需要大约1个小时。您也可以使用delta下载，但要注意公司行为(例如拆分)。
我不知道Quantopia，但我知道一个类似的后台测试服务，去年我在那里创建了一个python后台测试脚本。结果与我预想的大不相同。研究结果是，由于数据错误，回溯测试服务计算出了错误的结果。所以要对结果保持谨慎。