Doris数据导入错误 :the length of input is too larger than schema
可能原因:varchar长度设置过短
Doris表字段乱序
导入palo表中的csv本身无schema信息,csv与palo表字段顺序必须一致,否则会错乱
Doris数据文件中字段比表字段多 :actual column number is more than schema column number.actual number
可能原因:字符串等存在特殊字符,与分隔符重复
解决方法 :palo导入前替换制表符等特殊字符
检测方法 :利用sublime搜索制表符
Reason: actual column number is more than schema column number.actual number: 40, column separator: [ ], line delimiter: [
], schema number: 39; . src line [20230821 2023-08-21 all 12746105196 8.21 五期破风生鲜99-19 all all 1985001 盛亚福源牛肉店 20157304372 上脑肉4斤清真黄牛肉牛外脊可以做烤肉、炒菜、牛排 all 新 13 13 247.0 1547.0 1794.0 119.0 9.9 9.9 147.9 572.9 9.9 9.9 147.9 572.9 1 1 2 5 1 1 2 4 0.07692307692307693 0.07692307692307693 0.15384615384615385 0.3076923076923077];
Reason: actual column number is more than schema column number.actual number: 40, column separator: [ ], line delimiter: [
], schema number: 39; . src line [20230821 2023-08-21 all all 8.21 五期破风生鲜99-19 生鲜 水产肉类/新鲜蔬果/熟食 1985001 盛亚福源牛肉店 20157304372 all 短小融合 老 8 8 152.0 952.0 1104.0 119.0 239.8 239.8 274.70000000000005 629.2 307.8 307.8 374.70000000000005 794.2 3 3 4 9 3 3 3 5 0.375 0.375 0.375 0.625];
Reason: actual column number is more than schema column number.actual number: 40, column separator: [ ], line delimiter: [
], schema number: 39; . src line [20230821 2023-08-21 all all 8.21 五期破风生鲜99-19 all all 42172036 柒天商贸经销部 all 【30-40活虾速冻】巨无霸规格新鲜食用海捕3斤15-18包邮 all 新 13 13 247.0 1040.0 1287.0 80.0 0.0 197.0 197.0 266.9 0.0 207.0 207.0 276.9 0 2 2 3 0 1 1 2 0.0 0.07692307692307693 0.07692307692307693 0.15384615384615385];
解决方法,在前序逻辑加工时处理,如在hive侧进行处理 :
regexp_replace(budget_id_all,'\\n|\\r|\\t',' ') as batch_id_all, --平台券id
参考文章 :hive替换数据中的制表符和换行符_hive 替换换行符-CSDN博客