一、Linux常用命令

(1)文件处理命令

常用命令--文件处理
1ls

ls -a

ls --all:完整

ls /home/

ls -h:显示目录和文件数据

ls -d:只看目录本身,不看文件数据

ls -i:查询ID

2makir

makir /home/name :创建新目录

makir -p /home/name:可以递归创建目录,即同时创建子目录和根目录

3cd

cd /home/name:切换到目录

cd ..:返回上一级目录

4pwdpwd :显示当前目录
5rmdir

rmdir /home/name :删除空目录

6cp

cp [原文件目录][目标目录]:复制文件到目录

cp -r [原目录目录][目标目录]:复制目录到目录

cp -p:复制保存文件属性

7mv

mv [原文件目录或文件][目标目录] :剪切目录或文件

mv [原文件目录或文件][目标目录/newname] :剪切目录或文件的同时改名

mv [name][newname] :当前目录下移动,即改名

8rm

rm name:删除,有提示是否删除

rm -f name:强制删除,无提示

rm -rf /home/home1:删除目录,无提示,若为-r则回以此提示目录下每个文件

rm

9touch

touch name:创建空文件在当前目录下

touch home/name:在绝对路径下创建空文件

touch "name1 name2":创建带空格文件名的空文件

10cat

cat /home/name:查看文件

cat -n /home/name:带行号查看文件

tac :倒着显示(不常用)

11more

more /home/name:分页查看文件,回车换行,空格换页

less /home/name:more的进阶,可以按pageup向上翻页,上箭头向上换行,可以查找关键词

head -n 20 /home/name:查看文件前几行

tail -n 20 /home/name:查看文件末尾几行

tail -f:动态显示

12ln

ln -s [原文件路径和文件名][新文件的路径和文件名]:创建软连接,相当于快捷方式,三个权限都是rwx(lrwxrwxrwx)

ln  [原文件路径和文件名][新文件的路径和文件名]:创建硬链接,类似于保存属性的拷贝,并且会和原文件同步更新,原文件删除,硬链接依然可以访问

13wget

wget http://www.minjieren/wordpress-3.1-zh_CN.zip

14解压

.tar格式:tar xvf FileName.tar

.gz格式:gunzip FileName.gz
        gzip -d FileName.gz

.tar.gz 和 .tgz格式:tar zxvf FileName.tar.gz

.zip格式:unzip FileName.zip

.rar格式:rar x FileName.rar

(2)Vim

由于排版问题,下面两个表格消失了。。。。不过没有影响~~

常用工具--Vim

1     chmod

        可以编辑、显示、查看文本文件,是一个文本编辑器

2    3种模式

        命令模式(默认):vi filename 进入

        插入模式:         i(插入模式),esc(回到命令模式)

        编辑模式:        :(编辑模式),执行完自动回到命令模式

3 其余详细介绍见→

          Linux vi/vim | 菜鸟教程

(3)权限管理

常用命令--权限管理(只有所有者或管理员有权更改权限)

1 chmod

        chmod [{ugoa}{+-=}{rwx}][文件或目录]

        [{ugoa}{+-=}{rwx}][文件或目录]

        r---4  w---2  x---1  用数字表示

        rwxrw-r--  等价于  764

        例:chmod 777 home/yzh

2 chown          chown [用户][文件或目录]:改变所有者(只有管理员可以操作)

3 chgrp           chgrp [用户组][文件或目录]:改变所属组

二、深度学习配置指令

1.Anaconda安装

https://www.anaconda/products/individual在官网下载安装包,手动上传Linux服务器或使用wget下载。

执行

sh Anaconda3-2021.05-Linux-x86_64.sh

默认安装目录为 /home/<user>/anaconda<2 or 3>

Do you wish the installer to initialize Anaconda3 by running conda init?

输入 yes

初次使用anconda时,应执行 conda init来初始化anaconda的用户环境变量。(如果shell使用的zsh,请执行 conda init zsh

2.修改镜像源

        为了提高包下载速度,需要修改镜像源,目前最好用的是北外的,下面是操作方法:

修改用户目录下的 .condarc 文件为:

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.bfsu.edu/anaconda/pkgs/main
  - https://mirrors.bfsu.edu/anaconda/pkgs/r
  - https://mirrors.bfsu.edu/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.bfsu.edu/anaconda/cloud
  msys2: https://mirrors.bfsu.edu/anaconda/cloud
  bioconda: https://mirrors.bfsu.edu/anaconda/cloud
  menpo: https://mirrors.bfsu.edu/anaconda/cloud
  pytorch: https://mirrors.bfsu.edu/anaconda/cloud
  simpleitk: https://mirrors.bfsu.edu/anaconda/cloud

有部分朋友安装好conda后目录里没有.condarc文件,解决办法为输入以下指令,即可在/home/user目录下出现该文件:

conda config --add channels r

接下来进入虚拟环境 pip config set global.index-url https://mirrors.bfsu.edu/pypi/web/simple 即可。

完整的开源镜像站文档参考北京外国语大学开源软件镜像站 | BFSU Open Source Mirror

3.Pytorch安装

        pytorch的版本要适应CUDA(NVIDIA显卡接口)版本,首先到pytorch官网Previous PyTorch Versions | PyTorch寻找对应的版本。

(1)查看CUDA版本的方法

        通过查看/usr/local目录:

$ ls /usr/local -all
total 44K
drwxr-xr-x  2 root root 4.0K 6月  24 22:36 bin
lrwxrwxrwx  1 root root   21 6月  23 14:38 cuda -> /usr/local/cuda-11.1/
drwxr-xr-x 15 root root 4.0K 8月  16 21:58 cuda-10.1
drwxr-xr-x 14 root root 4.0K 6月  23 14:39 cuda-11.1
drwxr-xr-x 18 root root 4.0K 8月  16 15:20 cuda-9.0

(2)目前的pytorch和CUDA匹配情况

 (3)在官网找到指令下载pytorch

可使用conda或pip下载,例如:

conda install pytorch==1.8.0 torchvision==0.9.0 cudatoolkit=11.1 -c pytorch -c conda-forge
pip install torch==1.8.0+cu111 torchvision==0.9.0+cu111 -f https://download.pytorch/whl/torch_stable.html

(4)如何调用GPU训练

1)、查看GUP状态的方法:

$ gpustat
ServerE1                    Wed Aug 18 14:45:01 2021  470.57.02
[0] NVIDIA GeForce RTX 3090 | 51'C,   0 % |     0 / 24268 MB |
[1] NVIDIA GeForce RTX 3090 | 66'C,  93 % | 22539 / 24268 MB | fsr(22537M)

2)、调用GPU的方法:

在程序开始时配置环境变量:

import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ['CUDA_VISIBLE_DEVICES'] = "0,1" #单卡os.environ['CUDA_VISIBLE_DEVICES'] = "0"

或直接执行:

export CUDA_DEVICE_ORDER=PCI_BUS_ID
export CUDA_VISIBLE_DEVICES=0,1

或以此将每个数据和模型送入GPU:

#实例device
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
#将变量或模型送入GPU
x = torch.rand([500, 1]).to(device)
my_linear = my_linear.to(device)
#此处my_linear为nn.Module里面基本线性模型类的实例

4.可视化训练方法

        目前主流可视化方法有两个,分别是TensorBoard和VisualDL,两者都是独立的Python包,不依赖于特定的深度学习框架,且用法类似。二者的参考文档分别是torch.utils.tensorboard — PyTorch 1.9.0 documentation和VisualDL 工具简介-使用文档-PaddlePaddle深度学习平台。后者是百度开发的,示例相对前者很丰富,并且是中文的,推荐后者。

VisualDL使用方法如下:

(1)安装这个包

pip install --upgrade --pre visualdl

未完……

更多推荐

Linux常用命令、深度学习Anaconda+Pytorch、训练可视化方法