当前位置 博文首页 > 文章内容

    load data infile的用法

    作者: 栏目:未分类 时间:2020-08-11 14:00:33

    本站于2023年9月4日。收到“大连君*****咨询有限公司”通知
    说我们IIS7站长博客,有一篇博文用了他们的图片。
    要求我们给他们一张图片6000元。要不然法院告我们

    为避免不必要的麻烦,IIS7站长博客,全站内容图片下架、并积极应诉
    博文内容全部不再显示,请需要相关资讯的站长朋友到必应搜索。谢谢!

    另祝:版权碰瓷诈骗团伙,早日弃暗投明。

    相关新闻:借版权之名、行诈骗之实,周某因犯诈骗罪被判处有期徒刑十一年六个月

    叹!百花齐放的时代,渐行渐远!



    简单来两个例子

    创建要插入的表

    use database bastion;

    create table tmp(
    id int,
    data varchar(40)
    );

    插入data2.txt的数据,默认字段分隔符为tab字符
    load data infile '/tmp/data2.txt' into table tmp;
    插入data.txt的数据,分割符为“,”
    load data infile '/tmp/data.txt' into table tmp fields terminated by ',';

     

    data2.txt

    1       test1
    2       test2
    3       test3
    

     

    data.txt

    4,test4
    5,test5
    6,test6
    

     

     

    --------------------------------------------------------------------------------------------------------------------------

    --------------------------------------------------------------------------------------------------------------------------

    --------------------------------------------------------------------------------------------------------------------------

    下面为基础知识

    有时需要将大量数据批量写入数据库,直接使用程序语言和Sql写入往往很耗时间,其中有一种方案就是使用mysql load data infile导入文件的形式导入数据,这样可大大缩短数据导入时间。

    LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中。文件名必须是一个文字字符串

    1、首先查询,Mysql服务是否正在运行,且local_infile功能是否开启
    netstat   -tulpn|grep    mysql
    mysql -uroot -p -e "show variables like '%infile%';"

    可在配置文件中永久开启或设置变量临时开启或使用mysql程序使用响应选项

    2、当读取位于服务器上的文本文件时,文本文件必须处于数据库目录或可被mysql用户读取或可被所有人读取


    基本语法:
    load   data    [low_priority]   [local]   infile   'file_name txt'      [replace | ignore]   into   table tbl_name
    [fields
    [terminated by '\t']                 #字段的分隔符(即指定文本文件中列之间的分隔符),默认情况下是一个tab字符(\t)
    [OPTIONALLY] enclosed by '']            #字段括起字符,即字段的引用字符
    [escaped by'\' ]                  #转义字符,默认的是反斜杠(backslash\)
    ]

    [lines 
    [terminated by '\n']                  #每条记录的分隔符,默认为'\n'即为换行符
    [ignore number lines]
    [(col_name, )]
    ]

     

    1   如果你指定关键词low_priority,那么MySQL将会等到没有其他人读这个表的时候,才把插入数据
         可以使用如下的命令: 
         load    data     low_priority   infile  "/home/mark/data.sql"   into table    test.Orders;          #test是库名,Orders是表名

    2   如果指定local关键词,则表明从其他客户主机读文件;如果local没指定,文件必须位于mysql服务器上(当从本机读取文件时也可以带上local关键词)

    3   replace和ignore关键词控制对现有的唯一键记录的重复的处理

    • ·    如果你指定replace,新行将代替有相同的唯一键值的现有行(文本文件中的记录将会覆盖当前表中的同名记录)。
    • ·    如果你指定ignore,跳过有唯一键的现有行的重复行的输入(文本文件中的记录将会被忽略,不会覆盖当前表中的同名记录)。
    • ·    如果你不指定任何一个选项,当找到重复键时,出现一个错误,并且文本文件的余下部分被忽略

    例如:
    load  data  low_priority infile "/home/mark/data sql" replace into table test.Orders;

     

    4 分隔符
    (1) fields关键字指定了文本文件中字段的分割格式,如果使用这个关键字,MySQL剖析器希望看到至少有下面的一个选项: 

    • terminated by 字段的分隔符,默认情况下是一个tab字符(\t)
    • enclosed by 字段括起字符,即字段的引用字符
    • escaped by 转义字符,默认的是反斜杠(backslash:\ )

    例如:load data infile "/home/mark/Orders txt" replace into table test.Orders  fields   terminated by','  enclosed by '"';


    (2)lines 关键字指定了每条记录的分隔符,默认为'\n'即为换行符

    如果两个字段都指定了那fields必须在lines之前
    如果不指定fields关键字,则默认使用:              fields   terminated by'\t'   enclosed by'"'    escaped by'\'
    如果不指定一个lines子句,则moren默认使用:  lines   terminated by'\n'

    例如:
    load data infile "/jiaoben/load.txt" replace into table test.Orders    fields terminated by ','    lines terminated by '/n';


    5 load data infile 可以按指定的列把文件导入到数据库中(即只导入文本文件中的某些列而不是全部),当我们要把数据的一部分内容导入的时候,需要加入一些栏目(列/字段/field)到MySQL数据库中,以适应一些额外的需要。
    比方说,我们要从Access数据库升级到MySQL数据库的时候 

    下面的例子显示了如何向表中指定的字段(field)中导入数据: 
    load   data    infile "/home/Order txt"  into   table   test.Orders(Order_Number, Order_Date, Customer_ID);


    6 当在mysql服务器主机上寻找文件时,服务器使用下列规则: 
    (1)如果给出一个绝对路径名,服务器使用该路径名。 
    (2)如果给出一个有一个或多个前置部件的相对路径名,服务器相对服务器的数据目录搜索文件。
    (3)如果给出一个没有前置部件的一个文件名,服务器在当前数据库的数据库目录寻找文件。 
    例如: /myfile txt”给出的文件是从服务器的数据目录读取,而作为“myfile txt”给出的一个文件是从当前数据库的数据库目录下读取。


    注意:文本文件中字段中的空值用\N表示

     

    可能会遇到的问题:

    1.local_infile OFF问题

    mysql> show variables like 'local_infile';  
    +---------------+-------+  
    | Variable_name | Value |  
    +---------------+-------+  
    | local_infile  | OFF   |  
    +---------------+-------+  
    1 row in set (0.00 sec)  
      
    mysql> load data local infile 'D:\\ATMP\\mysql_repl\\5.6_local\\data.txt' into table test.t fields terminated by ',' OPTIONALLY ENCLOSED BY '\'' lines terminated by '\r\n';  
    ERROR 1148 (42000): The used command is not allowed with this MySQL version  
    mysql> set global local_infile=ON;  
    Query OK, 0 rows affected (0.00 sec)  
    

     

    2.secure-file-priv 选项禁止导入导出问题

     

    MYSQL导入CSV格式文件数据执行提示错误(ERROR 1290):

    The MySQL server is running with the --secure-file-priv option so it cannot execute this statement.

    【1】分析原因

    其实原因很简单,因为在安装MySQL的时候限制了导入与导出的目录权限。只允许在规定的目录下才能导入。

    可以通过以下命令查看secure-file-priv当前的值是什么

    SHOW VARIABLES LIKE "secure_file_priv";

    结果:

    可以看到,本地value的值为NULL。NULL代表什么意思呢?经查资料:

    (1)NULL,表示禁止。

    (2)如果value值有文件夹目录,则表示只允许该目录下文件(PS:测试子目录也不行)。

    (3)如果为空,则表示不限制目录。

    【2】解决方案

    问题原因找到了,解决方案因业务需求而定。

    (1)方案一:

    把导入文件放入secure-file-priv目前的value值对应路径即可。

    (2)方案二:

    把secure-file-priv的value值修改为准备导入文件的放置路径。

    (3)方案三:修改配置

    去掉导入的目录限制。可修改mysql配置文件(Windows下为my.ini, Linux下的my.cnf),在[mysqld]下面,查看是否有:

    secure_file_priv = 

    如上这样一行内容,如果没有,则手动添加。如果存在如下行:

    secure_file_priv = /home 

    这样一行内容,表示限制为/home文件夹。而如下行: 

    secure_file_priv = 

    这样一行内容,表示不限制目录,等号一定要有,否则mysql无法启动。

    修改完配置文件后,重启mysql生效。

    重启后:

    关闭:service mysqld stop

    启动:service mysqld start

    再查询结果:

    经验证,导入文件正常。

     

    Good Good Study, Day Day Up.

    顺序 选择 循环 总结

     

    3.No database selected最常见的问题,没有选择数据库

     

    --------------------------------------------------------------------------------------------------------------------------

    --------------------------------------------------------------------------------------------------------------------------

    --------------------------------------------------------------------------------------------------------------------------

     

    参考文章:

    基础知识:https://www.cnblogs.com/wyzhou/p/9765977.html

    secure-file-priv问题:https://www.cnblogs.com/Braveliu/p/10728162.html

    local_infile OFF问题:https://blog.csdn.net/mingjinlai/article/details/52797822