哎,生命在于折腾。。。
新加一块儿ssd,单独用来装linux系统,几天来专门装这个环境,反复装有几十回,终于把环境装个靠谱能的训练的环境出来。不记录一下对不起这些天的辛苦。
两个大方面:
一、装linux系统
装linux系统碰到如下几个问题:
1、bios设置如何配置。
主板是华硕Z390P,此主板很不靠谱,不推荐使用。
此主板官网文档不支持linux系统,但是通过一些方法可以安装ubuntu18.04或ubuntu19.04。centos8不能安装,唉。
其中一个关碍就是bios配置,就z390p这块板子,要改csm兼容模式,disable=>enable,相对于默认设置仅此一处更改,千万别乱改,什么快速启动之类的都不用改。
2、ssd配置
ssd是nvme协议的,本身linux支持起来就不太正常,需要做如下处理:
分三个区:
- 先分一个1G的出来,刷成fat32格式,不选挂在,安装系统时默认装引导(此分区极其重要,必不可少)
- 再分一个60G左右的空间,ext4文件格式,挂在为/。
- 剩下空间一个区,ext4文件格式,挂在为/home。
3、安装ubuntu时配置。
拔网线!按界面操作步骤该设什么设什么,一定要拔网线。
4、进了系统后,拔这个界面全部取消选定。
下一篇,将会把第二篇中的模型用tensorflow2.0.0API重写一遍,体会一下两个版本api的区别,检测一下性能提升,当前性能18s训练100step,captcha模型训练出来需要10-12小时,不知2.0能提升多少。
华为电脑管家是华为公司自行研发的一款管家软件,提供系统检测、驱动管理、客户服务、手机连接等多个功能。它将帮助您排除计算机故障、优化系统设置,使您的设备始终处于最佳运行状态;它还可以连接您的手机,在计算机端轻松操作手机应用和文件,多设备协同,让您轻松办公。
不同型号的计算机支持的功能有所不同,请以实际功能界面为准。
非华为品牌计算机暂不支持下载安装华为电脑管家。
您可以通过以下方法下载华为电脑管家。
方法一:
打开华为电脑管家官网(电脑管家官网),点击立即下载。下载完成后,解压并安装即可。
Ubuntu安装tensorflow。
先安装python-dev,再安装tensorflow就好了。
$ sudo apt-get install python-dev。
$ pip install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl。
错误
AttributeError: ‘module’ object has no attribute ‘ceil’
解决方法:
参考链接
tensorflow2.3+keras2.4.3。
2.错误
NotImplementedError: Cannot convert a symbolic Tensor (conv12_offset/meshgrid/Size:0) to a numpy array. This error may indicate that you’re trying to pass a Tensor to a NumPy call, which is not supported。
解决方法:
参考链接
更换numpy版本为:numpy1.19.2。
3.错误
仍然报错:
解决方法:
tensorflow1.15+keras2.3.1+numpy1.16.0。
注意:安装完以后,检测tensorflow为2.0版本,所以重新卸载安装!!!
通过如下方式安装(但是下载速度很慢)
conda install tensorflow-gpu==1.15。
复制
仍然报错:
解决方法:
tensorflow1.15+keras2.3.1+numpy1.16.0。
4.错误
显存不足,添加如下(参考链接:tensorflow.python.framework.errors_impl.InternalError: Blas GEMM launch failed问题解决思路之一)
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)。
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))。
复制
然后重启,但还是没用!!!!
还是一样的错误,在添加另外一种(参考链接:ubuntu18 下 tensoflow-gpu 2.0 卷积报错:Failed to get convolution algorithm.),如下。
physical_devices = tf.config.experimental.list_physical_devices('GPU')。
assert len(physical_devices) > 0, "Not enough GPU hardware devices available"。
tf.config.experimental.set_memory_growth(physical_devices[0], True)。
复制
注意:不要认为到这里就结束了,这是一个漫长的等待过程,需要等10分钟左右!!!
等待之后,继续运行…
又是等待的过程,大致15分钟左右!!!
还是报错
然后我把原先的bach-size=2改称bach-size=1(参考链接:data数据集上模型刚启动就报错【Successfully opened dynamic library lib cublas.so.11 Killed】),再次实验,可以往下运行。
接着,又有错误
AttributeError: 'bytes' object has no attribute 'encode'。
复制
解决方法:
将
original_keras_version = f.attrs['keras_version'].encode('utf-8').decode('utf-8') 。
复制
改为
original_keras_version = f.attrs['keras_version'].decode('utf-8') 。
复制
再重新运行…
又报错,再修改
再重新运行…没有报错
5.错误
将bach-size=1再改为bach-size=2,则出现报错,
解决方法:
参考链接: TensorFlow:Blas GEMM启动失败。
安装完python2.7的虚拟环境后,tensorflow-gpu==1.15.0安装失败;
所以,又换种方法,
第一种,将saving.py文件中报错的地方的decode('utf8')前加encode('utf8'),
... ...
original_keras_version = f.attrs['keras_version'].decode('utf8')。
... ...
original_backend = f.attrs['backend'].decode('utf8')。
... ...
复制
改成
... ...
original_keras_version = f.attrs['keras_version'].encode('utf8').decode('utf8')。
... ...
original_backend = f.attrs['backend'].encode('utf8').decode('utf8')。
... ...
复制
但是实验失败,
第二种,将saving.py文件中报错的地方的decode('utf8')删除,
... ...
original_keras_version = f.attrs['keras_version'].decode('utf8')。
... ...
original_backend = f.attrs['backend'].decode('utf8')。
... ...
复制
改成
... ...
original_keras_version = f.attrs['keras_version']。
... ...
original_backend = f.attrs['backend']。
... ...
复制
实验成功,没有报错。
但是如果还是把batch-size=1换成batch-size=2,还是报错,所以暂时先用batch-size=1。
pytorch
python
深度学习
高清播放机,图片大全,点击查看详情!
精选推荐
广告

tf-deformable-conv-layer:可变形卷积层的TensorFlow实现。
8下载·0评论
2021年5月6日
Tensorflow2.4.1:fit_generator训练时内存升高导致训练进程结束。
1548阅读·1评论·1点赞
2022年4月16日
解决NotImplementedError: Cannot convert a symbolic Tensor to a numpy array.问题。
683阅读·0评论·2点赞
2022年10月9日
Tensorflow卷积实现原理+手写python代码实现卷积。
1.5W阅读·9评论·21点赞。
2018年1月21日
Pytorch 训练与测试时爆显存(out of memory)的一个解决方案。
6.1W阅读·44评论·55点赞。
2018年11月23日
解决Cannot convert a symbolic Tensor to a numpy array.。
2.9W阅读·7评论·2点赞
2020年2月25日
棕榈油批发

精选推荐
广告
Deformable convolutional networks(可变形卷积)使用keras/tensorflow主要代码及注释。
3427阅读·3评论·2点赞
2020年2月29日
rknn-toolkit测试示例报错AttributeError: module 'tensorflow' has no attribute 'ceil'。
1945阅读·0评论·0点赞
2019年12月24日
可变形卷积:Deformable ConvNets。
4621阅读·0评论·3点赞
2020年11月30日
deformable convolution(可变形卷积)算法解析及代码分析。
2.0W阅读·49评论·44点赞。
2017年8月31日
NotImplementedError: Cannot convert a symbolic Tensor (yolo_boxes_0/meshgrid/Size_1:0) to a numpy ar。
2041阅读·0评论·3点赞
2022年2月13日
Tensorflow2.4GPU版安装指南。
1715阅读·1评论·5点赞
2021年12月1日
NotImplementedError: Cannot convert a symbolic Tensor报错与解决。
2.4W阅读·42评论·48点赞。
2021年3月14日
【报错解决】Cannot convert a symbolic Tensor to a numpy array.。
1.6W阅读·12评论·9点赞。
2021年3月10日
Tensorflow不能调用GPU。
733阅读·0评论·0点赞
2021年10月27日
Cannot convert a symbolic Tensor to a numpy array错误的解决。