mysql两个大表格的数据比对
MySQL如何快速插入大量数据？
MySQL如何快速插入大量数据？
这个导入是分几种情况的，不同的情况，方法不同，导数据的效率也会大大不同。
如果是整个数据库的搬迁，最快的方法肯定是直接复制data文件夹中的文件。
如果是sql导入的话，可以使用insert select，会比直接使用insert 要快。
如果实在是没有办法，智能使用insert语句的话，使用INNOB引擎会比较快，记得修改中的autocommit 可以等于0，或者等于2。否则插入的速度是以秒为单位的。当然，如果你是在web应用中，使用百万级数据插入的话，由于关系型数据库的局限，时间瓶颈是肯定解决不了的。
解决方法可以是先插入nosql数据库，在使用队列，将其中的数据从后台慢慢导入数据库。
为什么MySQL在数据库较大的时候分页查询很慢，如何优化？
问题
我们有一个 SQL，用于找到没有主键 / 唯一键的表，但是在 MySQL 5.7 上运行特别慢，怎么办?
实验
我们搭建一个 MySQL 5.7 的环境，此处省略搭建步骤。
写个简单的脚本，制造一批带主键和不带主键的表：
执行一下脚本：
现在执行以下 SQL 看看效果：
...
执行了 16.80s，感觉是非常慢了。
现在用一下 DBA 三板斧，看看执行计划：
感觉有点惨，由于 information_ 是元数据表，没有必要的统计信息。
那我们来 show warnings 看看 MySQL 改写后的 SQL：
我们格式化一下 SQL：
可以看到 MySQL 将
select from A where A.x not in (select x from B) //非关联子查询
转换成了
select from A where not exists (select 1 from B where B.x a.x) //关联子查询
如果我们自己是 MySQL，在执行非关联子查询时，可以使用很简单的策略：
select from A where A.x not in (select x from B where ...) //非关联子查询:1. 扫描 B 表中的所有记录，找到满足条件的记录，存放在临时表 C 中，建好索引2. 扫描 A 表中的记录，与临时表 C 中的记录进行比对，直接在索引里比对，
而关联子查询就需要循环迭代：
select from A where not exists (select 1 from B where B.x a.x and ...) //关联子查询扫描 A 表的每一条记录 rA： 扫描 B 表，找到其中的第一条满足 rA 条件的记录。
显然，关联子查询的扫描成本会高于非关联子查询。
我们希望 MySQL 能先缓存子查询的结果（缓存这一步叫物化，MATERIALIZATION），但MySQL 认为不缓存更快，我们就需要给予 MySQL 一定指导。
...
可以看到执行时间变成了 0.67s。
整理
我们诊断的关键点如下：
1. 对于 information_schema 中的元数据表，执行计划不能提供有效信息。
2. 通过查看 MySQL 改写后的 SQL，我们猜测了优化器发生了误判。
3. 我们增加了 hint，指导 MySQL 正确进行优化判断。
但目前我们的实验仅限于猜测，猜中了万事大吉，猜不中就无法做出好的诊断。