有人能解释一下，为何USB拷贝海量数据容易出错？

armok · 发表于 2015-2-12 10:17:01

提示: 作者被禁止或删除内容自动屏蔽

阿莫论坛20周年了！感谢大家的支持与爱护！！

为众人抱薪者，不可使其冻毙于风雪。阿莫呼吁大家支持谭秦东医生！订单留言里面请备注：阿莫电子论坛，支持谭医生！

月入3000的是反美的。收入3万是亲美的。收入30万是移民美国的。收入300万是取得绿卡后回国，教唆那些3000来反美的！

bg6agf · 发表于 2015-2-12 10:24:54

抢老大的沙发试试!

jacky_yhy · 发表于 2015-2-12 10:33:06

普通硬盘加杂牌硬盘盒，没出现过这样的情况

tim · 发表于 2015-2-12 10:33:38

赶脚不一定是USB的事情，我经常用U盘拷电影没有出过错，而我前一台电脑分区之间拷大文件都常出错，搞得我每次拷东西都用MD5校验一遍，后来换了主板就没事了

chenyg · 发表于 2015-2-12 10:36:56

我昨天刚刚从计算机拷贝了400G的数据到移动硬盘，数据是下载的无损音乐，拷贝速度约20M/秒，移动硬盘是西数的1T移动硬盘（passport），中间没有出错，一次成功。

sdxjgby · 发表于 2015-2-12 10:36:57

经常usb移动硬盘一次拷贝1T以上的电影数据从没出过错。

tim · 发表于 2015-2-12 10:38:56

chenyg 发表于 2015-2-12 10:36
我昨天刚刚从计算机拷贝了400G的数据到移动硬盘，数据是下载的无损音乐，拷贝速度约20M/秒，移动硬盘是西数 ...

中间不报出错，不一定拷的文件没有问题

zgxcom123 · 发表于 2015-2-12 10:40:39

换移动盘的时候，考了几百G的数据，没啥问题就是有点慢，因为是2.0接口

chenyg · 发表于 2015-2-12 10:45:13

tim 发表于 2015-2-12 10:38
中间不报出错，不一定拷的文件没有问题

那倒是，因为文件很多，大约有11000个文件，说不定那个就有问题了。

onair · 发表于 2015-2-12 10:46:31

拷电影，k歌歌库。没有问题。就是时间太长。足足一整天。木有usb3.0.

canspider · 发表于 2015-2-12 10:47:23

之前拷500g的电影
一次成功
中间速度可能会变慢，但数据不会出错

linyu0395 · 发表于 2015-2-12 10:47:26

我有碰到过这个问题把电脑收藏的图片拷贝到移动硬盘有20多g

后来在移动硬盘上打开居然发现有的图片只能打开半张后半部丢失了

ssaiwo · 发表于 2015-2-12 10:54:58

我也没出过错就是速度不稳定20-30M/S之间吧

dr2001 · 发表于 2015-2-12 10:56:17

硬盘盒，独立供电，USB 3.0，多次几百G数量级的数据搬运和校验，MD5一致，没遇到过问题。

2.5英寸、USB供电的硬盘盒，可靠性略差。潜在问题：线材质量不够好，USB 连接器松动导致的供电问题；硬盘盒散热不够好。

jk36125 · 发表于 2015-2-12 11:29:08

usb3.0拷贝100G以上数据没有出错过，速度大概为90M/s左右。

除了电脑主板和硬盘，传输线的质量也很有关系。

armok · 发表于 2015-2-12 11:30:34

提示: 作者被禁止或删除内容自动屏蔽

armok · 发表于 2015-2-12 11:31:04

提示: 作者被禁止或删除内容自动屏蔽

wajlh · 发表于 2015-2-12 11:50:44

一次性拷贝过一个硬盘，两三百G的数据吧，没有出错，拷贝的时候最好不要移动硬盘和电脑。主要是防止震动和接触不良，另外可以用一些拷贝工具拷贝，拷贝过程有校验，不会出现拷贝过去但是文件是损坏的问题。还有一点是，拷贝大量数据的时候可以把电脑启动到PE然后再拷贝，传输速度会明显的快。

haizaolan · 发表于 2015-2-12 11:52:35

我拷贝大数据时也会经常出错，有时候，想着出去之前开一个大数据，等回来就结束了，结果，回来发现在你出去十几分钟后已经出错停下来了。所以，我也觉得USB拷数据有的不靠谱

espflykite · 发表于 2015-2-12 12:18:27

我试过拷贝ISO文件
MSDN下载的
手贱去检查了下SHA1
发现拷贝到USB移动硬盘上很容易出现SHA1不符
但是文件用着似乎又没问题

Nuker · 发表于 2015-2-12 13:20:55

espflykite 发表于 2015-2-12 12:18
我试过拷贝ISO文件
MSDN下载的
手贱去检查了下SHA1

ISO里面的文件有可能是没有压缩的，破坏掉几个bit可能觉察不出来。
以前USB移动硬盘拷贝几个G的压缩文件后，经常会碰到解压报文件损坏的情况。
所以以后每次拷贝以后都要核对一下两个文件的MD5。

ylei12 · 发表于 2015-2-12 13:39:54

以前备份数据时拷贝大容量也经常出错，后来换成后面的USB插口就没问题了，我觉得可能是usb供电不足不稳造成的

DianziABC · 发表于 2015-2-12 13:41:54

USB应该没有拷贝数据量的限制吧，确实没有拷贝过1T的数据，但去年清理电脑，把一个盘里的视频一次剪切到移动硬盘没有问题，有一两百G，山寨的盒子西数的盘，

z123 · 发表于 2015-2-12 14:10:37

很多时候是遇到什么文件名或者路径名过长问题，报错的

makesoft · 发表于 2015-2-12 14:24:31

确有这种情况，可能是源硬盘或者目标硬盘确实存在缺陷，这个时候也许网络COPY也未必就是完全正确的。

twitter · 发表于 2015-2-12 14:39:39

一次对拷过同一硬盘座的2块2T西数绿盘，剩余空间几个G，主板是瑞萨的USB3.0，win7 64位，FastCopy，没有出现错误。

dykwai1 · 发表于 2015-2-12 14:53:37

记得以前买IDE硬盘盒的时候，根据所用USB存储芯片不同，会差上十几二十块的
排除硬盘原因，主要问题应该出在硬盘盒电源、USB芯片、主板、USB芯片驱动上
个人用USBcopy东西的时候，从来都是分批copy，不敢一下子copy太多数据
USB的可靠性对比以太网差的真不是一点半点的

祥子 · 发表于 2015-2-12 15:05:11

会不会是USB数据线的问题？

redroof · 发表于 2015-2-12 15:36:38

USB协议自带的CRC是CRC16，检错能力有限。如果底层传输错误率很高，早晚会碰上CRC正确但是数据错的时候。
对16位的CRC16校验码，所有数据全乱了至少也有1/65536的碰对的概率。
以太网是CRC32，检错能力高得多（它的长度是CRC16的平方，所以检不出数据错的概率也是CRC16的错误率的平方）。
加上以太网的数据层还有TCP的一个校验和（16位的累加和），虽然累加比CRC的检错能力低，但至少也能多检出一些错误。
这样，以太网的错误率就比USB要低很多倍了。

redroof · 发表于 2015-2-12 15:57:45

dr2001 发表于 2015-2-12 10:56
硬盘盒，独立供电，USB 3.0，多次几百G数量级的数据搬运和校验，MD5一致，没遇到过问题。

2.5英寸、USB供 ...

跟数据线/USB控制器都有很大关系。
最终的数据错误率是：物理层错误率*CRC检不出错误的概率
如果数据线和控制器都做的很好，物理层错误率很低，那么总的错误率还是很低的。
而且所有CRC保证100%检出奇数bit个错误，保证检出不超过自身长度位的单个突发错误。
也就是说，对CRC16，如果每一帧数据只错奇数个bit，保证检出；只错连在一起的不超过16bit，保证检出。
其它错误就碰运气了（1/65535的检不出概率）。
好一点的数据线加上控制器只要不弄出太多的超出CRC检错能力的错误，可以100%检出。
如果物理层错误率太高，那么总有一天要错。

374533905 · 发表于 2015-2-12 16:01:19

不懂就是想来涨涨姿势

armok · 发表于 2015-2-12 16:01:47

提示: 作者被禁止或删除内容自动屏蔽

redroof · 发表于 2015-2-12 16:14:03

dr2001 发表于 2015-2-12 10:56
硬盘盒，独立供电，USB 3.0，多次几百G数量级的数据搬运和校验，MD5一致，没遇到过问题。

2.5英寸、USB供 ...

我刚才查了USB3.0的校验长度，终于发现原因了

USB3.0变成CRC32了！
USB2.0的buck数据包最长是512，校验码是CRC16；
USB3.0的数据包最长是1024，校验码是CRC32；
以太网是1500的包长，校验码也是CRC32；
也就是说，USB3.0检不出错误的概率跟以太网的物理层是差不多的，都远远低于USB2.0的错误率（1/6.5万与1/40亿）。这就是区别了
当然以太网更好，因为多了一层TCP的16位累加和。虽然16位累加和检不出错误的概率比CRC16高很多，就算只有1/1000，至少错误率也变成1/1000* 1/40亿，结果相差太远了。。。

wxws · 发表于 2015-2-12 16:17:03

FASTCOPY,用下试试

sonna · 发表于 2015-2-12 18:44:01

armok 发表于 2015-2-12 16:01
我用的是西数或希捷的原装数据线。

西数自带的数据线比较垃圾，没用多久只要拷贝大量的数据（20G以上）就经常掉线。

我的2个西数移动盘都是如此，还有一个换了2次线，干脆连接口都挂了。

gzhuli · 发表于 2015-2-12 19:00:01

USB通讯可靠性和插头关系很大，直接焊线可靠性要高得多。

2005n2005 · 发表于 2015-2-12 19:04:50

网络如果是用UDP也是不可靠的,TCP才可靠。

armok · 发表于 2015-2-12 19:37:49

提示: 作者被禁止或删除内容自动屏蔽

zhangsusu · 发表于 2015-2-12 22:05:54

可能是windows 的问题如果用totalCMD usb 拷贝的成功的概率就会高很多

bh3mid · 发表于 2015-2-12 23:15:00

ylei12 发表于 2015-2-12 13:39
以前备份数据时拷贝大容量也经常出错，后来换成后面的USB插口就没问题了，我觉得可能是usb供电不足不稳造成 ...

供电是根本问题。USB前置的接口经过了杜邦线。一般台式机有半米长。而现今的厂家又偷工减料，连线不可能是铜足线。外加上前置USB接口质量再差点，主板USB前置输出最后的结果都很悲剧。所以有的USB移动硬盘是一头是双头，这个双头有个头是没有接数据的，仅仅单独接了供电。为的就是获取足够的电流来完成任务。BTW，USB线材也不是什么靠谱的事。总之，USB没啥问题，问题是中国特色。

gzhuli · 发表于 2015-2-13 00:10:10

bh3mid 发表于 2015-2-12 23:15
供电是根本问题。USB前置的接口经过了杜邦线。一般台式机有半米长。而现今的厂家又偷工减料，连线不可能 ...

不止是供电问题，排线阻抗也不对，USB规范是90欧屏蔽双绞线，我的机箱前面板就是屏蔽双绞线，跑高速一点问题都没有。

armok · 发表于 2015-2-13 03:40:22

提示: 作者被禁止或删除内容自动屏蔽

dou_yuyu · 发表于 2015-2-13 06:35:49

遇到过pc前置接口向移动硬盘拷贝文件出错问题（出错n次），一次拷贝量接近1T多（素材，各种文件大小都有），最后发现是移动硬盘的接口长期拔插不好了，换了个移动硬盘接口好了，就没出过问题了。现在拷贝东西用esata多。居然从没出国问题。

atl0402 · 发表于 2015-2-13 08:43:00

是不是有个坏道,连接到电脑扫描一下,以前有个u盘,拷贝到某个地方的文件总是打不开,拷贝是没说有问题,后来量产下好了,没有拷贝过那么大的文件只是猜测

dengkong · 发表于 2015-2-13 08:43:31

每每吃饭去的时候，挂着移动硬盘拷东西，回来时正常完成的概率要看运气

huangxiaolpbany · 发表于 2015-2-13 08:51:12

sonna 发表于 2015-2-12 18:44
西数自带的数据线比较垃圾，没用多久只要拷贝大量的数据（20G以上）就经常掉线。

我的2个西数移动盘都是 ...

同感。
我的西数的320G盘，拷东西的时候很容易掉线，特别是用笔记本的时候。所以现在基本不用了。
实在要用也不敢动电缆，一边凉快去。

armok · 发表于 2015-2-13 09:04:17

提示: 作者被禁止或删除内容自动屏蔽

redroof · 发表于 2015-2-13 09:18:48

USB2.0的CRC16校验在超大数据量的情况下根本就是不够的，如果物理层错误率稍微高一点，肯定有检不出来的，我前面已经算过了。我用差的USB线拷数据也有拷到一半报错过。
话说，有没有人用真正的USB3.0接口拷数据发现出错的？
从计算角度看，USB3.0的校验是足够的

ysu533 · 发表于 2015-2-13 09:35:50

因工作原因, 单文件最大178G, 普遍100G以上. 经常拷贝. 印象中没有出过错. 都是笔记本淘汰下的500G硬盘, 加买的硬盘盒. 印象深到就是拷哪个178G的, usb2.0的盒子, 好像拷了5-6个小时, 后面就买usb3.0的盒子了. 但是没出过错(压缩包解压正常). 但是没有很多个文件一块拷贝过.

d__xin · 发表于 2015-2-13 11:07:07

armok 发表于 2015-2-12 16:01
我用的是西数或希捷的原装数据线。

原装线也不一定不出问题。我之前就用过一块WD的原装盘，就因为数据线的问题，数据全毁了。
一直就用的原装线。这盘一共也才用了两三个月，备份数据用的，最多用了20-30次。

mangocity · 发表于 2015-2-13 13:33:58

从工程师的角度来看，这种情况下要检查usb差分线对的眼图，确认开度是否足够。

gzhuli · 发表于 2015-2-13 14:30:10

armok 发表于 2015-2-13 03:40
怎么扯到中国特色了。我用的全部是国际产品。

电脑我用的是昂贵的 thinkpad x1 手提。你不该认为它偷工减 ...

我觉得是USB Type-A/B接口的设计问题，因为早期设计只是跑12Mbps，后来一下跳到480Mbps，而接口为了向后兼容而没更改，估计机械结构设计得不好导致阻抗控制不够严格。
另外，USB采用了长距离差分传输不多见的源端匹配策略，而以太网、SATA/eSATA、HDMI等高速接口都是采用终端匹配甚至两端匹配的，阻抗匹配不良造成物理层误码率偏高，加上楼上说的CRC16校验，通讯就不可靠了。

wangrb · 发表于 2015-2-13 14:53:27

自己用的ssk2.5寸盘盒拷700G用2.0就出错，3.0没事，没有外接供电

redroof · 发表于 2015-2-13 14:59:07

wangrb 发表于 2015-2-13 14:53
自己用的ssk2.5寸盘盒拷700G用2.0就出错，3.0没事，没有外接供电

有没有试过拿USB2.0的线连接你的USB3.0硬盘，看看会不会错

或者到电脑主板bios里面禁用USB3.0控制器，强制它使用USB2.0模式，然后还是用你的3.0线和3.0的盘来拷一下
这样可以确认USB3.0比2.0可靠的主要原因是哪个

wangrb · 发表于 2015-2-13 15:17:04

redroof 发表于 2015-2-13 14:59
有没有试过拿USB2.0的线连接你的USB3.0硬盘，看看会不会错
或者到电脑主板bios里面禁用USB3.0控 ...

同一个盘盒，是扁的micro usb接口，左半边和2.0兼容，右半边多出5针是3.0的数据通道，插2.0的线右边就空出来
已经试了3.0线+电脑2.0接口，2.0线+2.0接口，2.0线+3.0接口，几百G就延缓写入失败（等得我真心塞）
3.0线+3.0口没问题，整盘750G写满都没什么事
测试的电脑是惠普DV6-6100tx win8.1
两条线 3.0的是盘盒原装，2.0是华为的手机线（这个线质量非常好，剪开过一根，里面的线芯镀银，特氟龙皮，有独立地线+麦拉铝箔+屏蔽网）
问题出在楼上提到的2.0和3.0的校验机制上？

redroof · 发表于 2015-2-13 16:25:37

wangrb 发表于 2015-2-13 15:17
同一个盘盒，是扁的micro usb接口，左半边和2.0兼容，右半边多出5针是3.0的数据通道，插2.0的线右边就空 ...

OK

相同的硬件，即使是很好的线，只要是用USB2.0模式，数据很多的时候肯定要错，用USB3.0模式就没事。
这就证明了我的猜测：确实是因为USB2.0的校验不够可靠。

gzhuli · 发表于 2015-2-13 16:28:16

本帖最后由 gzhuli 于 2015-2-13 16:30 编辑

redroof 发表于 2015-2-13 16:25
OK
相同的硬件，即使是很好的线，只要是用USB2.0模式，数据很多的时候肯定要错，用USB3.0模式就 ...

还有一点，USB 3.0 SS是走另外一对数据线的，而且是TX/RX分开的，可以说是全新的物理接口了，更重要的是这对新数据线改为终端匹配了……

redroof · 发表于 2015-2-13 16:35:36

gzhuli 发表于 2015-2-13 16:28
还有一点，USB 3.0 SS是走另外一对数据线的，而且是TX/RX分开的，可以说是全新的物理接口了，更重要的是 ...

呵呵，也是啊～
USB3.0模式其实跟之前的USB在物理层上已经没关系了，各走各的。
那就是说USB3.0的物理层加上它的CRC32提供的校验能力已经足够可靠了，正常使用基本上见不到错误了，应该跟网线的可靠性一样了。
至于USB3.0控制器附带的USB2.0，还是老样子，受限于它的物理层设计和校验能力，即使做得再好，数据量很大的时候也很难完全不错
看来我应该尽快把移动硬盘改成USB3.0了

gzhuli · 发表于 2015-2-13 16:43:25

redroof 发表于 2015-2-13 16:35
呵呵，也是啊～
USB3.0模式其实跟之前的USB在物理层上已经没关系了，各走各的。
那就是说USB3.0的物理层 ...

反正据我测试，USB 2.0硬盘不走插座直接焊双绞线，另一端插到主板2.54排针上，通讯可靠性会高很多，可以满足作为Linux系统盘使用（Windows没试过）。

redroof · 发表于 2015-2-13 16:57:21

gzhuli 发表于 2015-2-13 16:43
反正据我测试，USB 2.0硬盘不走插座直接焊双绞线，另一端插到主板2.54排针上，通讯可靠性会高很多，可以 ...

反正物理层总有一天会错，就看校验码的检错能力了。
如果你能让物理层的错误率始终低于校验码的检错能力，那么对上层来说就是完全无错的。
CRC16的特性我记不全了，简单来说，如果想办法让物理层的传输波形好一点，保证每一帧512字节（其实还要加上位填充等等）里面最多只能错一小段，这一小段不超过2个字节，那么可以100%被检出。这样就完全可靠了。
要是做不到这一点，就得碰运气了，碰1/65536的运气。这个概率还是有点大的

CRC32因为校验码很长，如果遇到不能100%检出的错误，要碰运气，因为它的运气是1/4G，一般来说你碰上的概率实在太低了

lhxr · 发表于 2015-2-13 18:39:08

前些日子刚转移了2个1T的硬盘数据到一个2T的里面
当然没满，每只硬盘大约800G左右
USB3.0+fastcopy，没出错。

norman33 · 发表于 2015-2-15 11:00:22

经常拷贝500G以上单个文件用USB供电确实会出现各种问题后来改用外部供电后就一直没有问题感觉移动硬盘的损坏率也降低了

mcucow · 发表于 2015-2-15 11:07:02

Nuker 发表于 2015-2-12 13:20
ISO里面的文件有可能是没有压缩的，破坏掉几个bit可能觉察不出来。
以前USB移动硬盘拷贝几个G的压缩文件 ...

所以以后每次拷贝以后都要核对一下两个文件的MD5--

请问MD5 check 都是用手工完成吗？有没有自动来做？

Nuker · 发表于 2015-2-15 12:58:34

mcucow 发表于 2015-2-15 11:07
所以以后每次拷贝以后都要核对一下两个文件的MD5--

请问MD5 check 都是用手工完成吗？有没有自动来做？ ...

纯手工，命令行运行的md5sum.exe

mlhorizon · 发表于 2015-2-15 16:29:06

1T比较少拷贝，几百G到时经常拷，有出错过，但是总体成功率还是大于80%的。

armok · 发表于 2015-2-15 16:55:29

提示: 作者被禁止或删除内容自动屏蔽

lkm_unication · 发表于 2015-2-17 14:03:31

涨姿势了.

dz20062008 · 发表于 2015-2-19 11:09:50

源文件系统有错乱的文件拷贝失败很正常

xidao · 发表于 2015-2-19 16:33:25

usb在实际使用中确实有bug，拷多个的文件速度中间会变到很低，如果一个个拷就没这个问题。联系到楼主的问题，我推测在拷多个文件中间时，会计算一些文件的属性信息，这个浪费了不少效率。影响拷贝速度和稳定性。

wmm20031015 · 发表于 2015-2-21 20:37:28

可以用ＦＬＡＳＨ　ＦＸＰ做复制，速度会稍低，可靠性有保证

TERMINATOR · 发表于 2015-2-22 10:17:25

我以前用USB转IDE，SATA拷贝大容量，有时候也会出错，我也纳闷原因在哪里，难道是这个转换器对容量有要求。估计是～～