FoxPro 6.0 错误消息 - 临时文件太大 - FoxPro 6.0 error message

这是我的FoxPro程序。Select 子句导致错误。

PROCEDURE IFRS_Split_Cashflows_2_v7_4_CSV
PARAMETERS model_dir, cube2_output_path, output_path, scenario, version
temp_dir = GETENV("TEMP")
**** Load up utility function and Create an output folder ****
SET PROCEDURE TO model_dir + "CUBE2_" + version + "PRGSUtilities_" + version + ".prg"
lcTextFile = cube2_output_path + "IFRS_Split_Cashflows_2run_" + scenario + ".csv"
Do delete_file WITH lcTextFile
Do create_folder WITH cube2_output_path + "IFRS_Split_Cashflows_2"
**** Assign variables to the input files ****
moses_output_file = output_path + "annuities~main10.dbf"
SELECT 0
Use (moses_output_file) ALIAS cube_output1
moses_output_file = output_path + "annuities~main10~reinsured.dbf"
SELECT 0
Use (moses_output_file) ALIAS cube_output2
moses_output_file = output_path + "annuities~main10~reinsurance_premium.dbf"
SELECT 0
Use (moses_output_file) ALIAS cube_output3
**** Split the group string and select relevant data ****
SELECT ;
c1.t_from AS t_from, ;
c1.cal_mth as calendar_month, ;
c1.cal_yr as calendar_year, ;
substr(c1.group,1,3) AS BUS_LINE, ;
padr( IIF( isnumeric( strextract(c1.group, "|", "|", 1, 1), ""), ;
substr(c1.group,1,4) + strextract(c1.group, "|", "|", 1, 1), ;
strextract( c1.group,"|", "|",1, 1)), 10) AS reinsurance_book,;
padr( strextract(c1.group, "|","|", 3,1),10) AS Esc_Index,;
padr( IIF( left(c1.group,3) = "LRT", ;
strextract(c1.group, "|", "|",5,1), ;
strextract(c1.group,"|","|",4,1)) ,10) AS MAP_ELIG,;
padr( IIF( left(c1.group,3) = "LRT", ;
strextract( trim(c1.group - "|"),"|","|", 6, 1), ;
strextract( trim(c1.group - "|"),"|","|", 5,1)), 10) AS MAP_STAT,;
SUM(c1.ann_ben_if) AS ann_ben_if, ;
SUM(c2.dth_out) AS c2death_outgo, ;
SUM(c3.dth_out) AS c3death_outgo;
FROM ;
cube_output1 c1, ;
cube_output2 c2, ;
cube_output3 c3; 
INTO ;
CURSOR temp READWRITE;
WHERE ;
c1.t_from = 0 ;
AND (   ( c1.t_from = c2.t_from AND c1.group = c2.group) ;
OR ( c1.t_from = c3.t_from AND c1.group = c3.group)) ;
group by ;
c1.t_from, ;
c1.cal_mth, ;
c1.cal_yr, ;
BUS_LINE, ;
reinsurance_book, ;
Esc_Index, ;
MAP_ELIG, ;
MAP_STAT 

**** Copy to a CSV file ****
COPY TO cube2_output_path + "IFRS_Split_Cashflows_2run_" + scenario + ".csv" TYPE CSV

它生成错误"文件 c：\users\jc\appdata\local\temp\00002jo9000h.tmp太大。其他任务失败。

我实际上从 select 语句中删除了几个与 c2 和 c3 相关的字段。我还把where子句的第一部分从c1.t_from > 0改为c1.t_from = 0，以减少观察。

错误仍然出现。我知道临时文件的文件大小上限为 2GB。大小方面，输入文件如下：c1 为 275MB，C2 为 275MB，c3 为 191MB。鉴于此，我很惊讶临时文件太大。为什么太大了？有什么方法可以改进上面的 Select 语句以正确返回请求的字段吗？

我认为您在查询中得到了笛卡尔结果，这正在杀死您。

查询不使用 C2 和 C3 别名引用中的任何实际列值，只是确保在 C2 或 C3 表中找到给定的T_From和组。

为了消除临时文件崩溃，我会确保你在每个 C2 和 C3 表上都有一个基于T_From和组的索引，例如

moses_output_file = output_path + "annuities~main10~reinsured.dbf"
Use (moses_output_file) ALIAS cube_output2 EXCLUSIVE
index on str( T_From ) + Group tag TFromGroup
moses_output_file = output_path + "annuities~main10~reinsurance_premium.dbf"
SELECT 0
Use (moses_output_file) ALIAS cube_output3 EXCLUSIVE
index on str( T_From ) + Group tag TFromGroup

索引可以在此函数之外创建一次，并且将始终保持可用。然后，如果索引尚不存在，则可以在此处使用该索引。

现在，查询修复。将 FROM/WHERE 子句更改为以下内容。我正在做的是从您的 C1 表到子查询结果的 SQL-JOIN。由于您只关心提取在其他任何一个表中都有记录的记录，因此我正在执行 PreCheck 查询以找到不同的T_From/组记录。然后只拉取那些 T_From = 0 的 C1 记录。

请注意，PreCheck 查询还在 T_From = 0 上应用 where 子句，所以我不能只加入那些找到它的组，T_From = 0。您将完全消除任何可能的笛卡尔结果，因为内部查询只会生成不同的"组"记录。

选择(所有其他字段相同...最后一个字段添加逗号)

C2Sum.C2Death_Outgo,;
C3Sum.C3Death_Outgo;
FROM ;
cube_output1 c1;
LEFT JOIN ( select c2.Group,;
SUM(c2.dth_out) AS c2death_outgo ;
FROM cube_output2 c2;
WHERE c2.t_from = 0;
GROUP BY c2.Group ) C2Sum ;
on c1.t_group = C2Sum.Group; ;
LEFT JOIN ( select c3.Group, ;
SUM(c3.dth_out) AS c3death_outgo;
FROM cube_output3 c3 ;
WHERE c3.t_from = 0 ;
GROUP BY c3.Group ) C3Sum ;
ON c1.t_group = C3Sum.group;
WHERE ;
c1.t_from = 0 ;
AND ( NOT ISNULL( c2Sum.Group )  OR NOT ISNULL( c3Sum.Group ))

我在这里做的是为每个单独的表分组，以防止它们之间出现笛卡尔。我正在对它们进行 LEFT-JOIN，因为不知道您的数据，每个 C2/C3 表中可能有一条记录，并且不想扭曲总和。

通过完成 where 子句，我正在寻找 ONE LEFT JOIN 为不为 NULL，这意味着给定组有一条记录。同样，任何一方或双方都可以有记录，因此它将为连接计算一次，不会导致重复。

现在，由于分组依据的金额仅在组级别，并且您的 OUTER 查询按公交线路、保险账簿、索引等的更多部分进行分组，因此无论它们属于哪个子分类，GROUP 金额都会显示相同的所有金额，这可能不是您要查找的。

最后，您的大量解析、填充、字符串提取似乎不是对事物进行分类的好方法，但使用单个列可能会更有效......只是一个想法。

正如Drapp所说，你得到了一个笛卡尔(不是真的，但接近它)的结果，因此你的临时文件变得很大。如果你做一个小模型：

立方体1

t_from cal_mth cal_yr ann_be_if group
------ ------- ------ --------- -----
0      1      2016   100        1
0      2      2016   800        2
1      3      2016   500        3

立方体2

t_from fieldX group
------ ------ -----
0      1      1
0      2      1
0      3      1

立方体3

t_from fieldY group
------ ------ -----
0      1      2
0      2      2
0      3      2
0      4      2

使用您的 SQL，这将导致从 cube1 中选择 2 行 3*4 次(您的条件与 cube2 中的 3 行和 cube3 中的 4 行匹配)，这将是 24 行。由于您重复选择相同的行 3*4 次，因此您还重复了 3*4 次ann_be_if的值，将它们相加为 (800+100)*12 = 10800。这不太可能是你想要的。

当您有联接时，不应执行聚合(隐式或显式)与其他表(除非您确定不会有这种重复 - 即加入样本客户，订单，订单项目表不会显示此重复项)。

再次读取您的 SQL，这些第 2 和第 3 个表对结果没有任何作用，除了您只对它们进行"存在"检查。因此，您可以将代码重写为：

**** Assign variables to the input files ****
*!* moses_output_file = output_path + "annuities~main10.dbf"
*!* SELECT 0
*!* Use (moses_output_file) ALIAS cube_output1
*!* moses_output_file = output_path + "annuities~main10~reinsured.dbf"
*!* SELECT 0
*!* Use (moses_output_file) ALIAS cube_output2
*!* moses_output_file = output_path + "annuities~main10~reinsurance_premium.dbf"
*!* SELECT 0
*!* Use (moses_output_file) ALIAS cube_output3
cube_output1 = m.output_path + "annuities~main10.dbf"
cube_output2 = m.output_path + "annuities~main10~reinsured.dbf"
cube_output3 = m.output_path + "annuities~main10~reinsurance_premium.dbf"
Select t_from, ;
cal_mth As calendar_month, ;
cal_yr As calendar_year, ;
substr(c1.Group,1,3) As BUS_LINE, ;
padr(Iif(isnumeric(Strextract(c1.Group,"|","|",1,1),""), ;
substr(c1.Group,1,4) + Strextract(c1.Group,"|","|",1,1), ;
strextract(c1.Group,"|","|",1,1)),10) As reinsurance_book, ;
padr(Strextract(c1.Group,"|","|",3,1),10) As Esc_Index, ;
padr(Iif(Left(c1.Group,3)="LRT",;
strextract(c1.Group,"|","|",5,1),;
strextract(c1.Group,"|","|",4,1)),10) As MAP_ELIG, ;
padr(Iif(Left(c1.Group,3)="LRT",;
strextract(Trim(c1.Group - "|"),"|","|",6,1), ;
strextract(Trim(c1.Group - "|"),"|","|",5,1)),10) As MAP_STAT, ;
SUM(ann_ben_if) As ann_ben_if ;
FROM (m.cube_output1) c1 ;
WHERE c1.t_from = 0 And ;
exists ( Select * From (m.cube_output2) c2 ;
Where c2.t_from = 0 And c1.Group = c2.Group ) ;
OR ;
exists ( Select * From (m.cube_output3) c3 ;
Where c3.t_from = 0 And c1.Group = c3.Group ) ;
group By t_from, calendar_month, calendar_year, ;
BUS_LINE, reinsurance_book, Esc_Index, MAP_ELIG, MAP_STAT ;
Into Cursor temp ;
Readwrite

**** Copy to a CSV file ****
COPY TO (m.cube2_output_path + "IFRS_Split_Cashflows_2run_" + m.scenario + ".csv") TYPE CSV

FoxPro 6.0 错误消息 - 临时文件太大

相关内容

最新更新

热门标签：