안녕하세요. 일본서버, 미국서버 호스팅 전문 지구 IDC 기술팀입니다.
Windows 10에서 원격 데스크톱(RDP) 접속 시 내부 오류가 발생했습니다 또는 영문 환경에서 An internal error has occurred 메시지가 표시되는 경우, 단순한 비밀번호 오류보다는 RDP 네트워크 경로, 원격 데스크톱 서비스, TCP·UDP 전송, TLS 보안 협상, RDP 자체 서명 인증서 문제를 확인해야 합니다.
가장 먼저 원격 호스트의 RDP 포트까지 TCP 연결이 가능한지 확인하고, 포트가 정상이라면 원격 컴퓨터의 TermService와 RDP 수신기 상태를 점검합니다. 이후 특정 네트워크에서만 문제가 발생한다면 클라이언트의 RDP UDP 사용을 일시적으로 끄고 TCP만 사용해 비교할 수 있습니다. 계속 실패한다면 이벤트 로그와 RDP 인증서·보안 협상 설정을 확인해야 합니다.
참고: 일반 Windows 10 지원은 2025년 10월 14일 종료되었습니다. 기존 시스템의 장애 진단에는 아래 절차를 사용할 수 있지만, 장기 운영 환경은 Windows 11 또는 현재 지원되는 Windows 버전으로 이전하는 것이 좋습니다.
적용 환경과 오류 특징
| 항목 | 내용 |
|---|---|
| 클라이언트 | Windows 10 원격 데스크톱 연결(mstsc.exe) |
| 대상 | Windows 10 Pro/Enterprise 또는 Windows Server 등 RDP 호스트 |
| 대표 오류 | 내부 오류가 발생했습니다 / An internal error has occurred |
| 기본 RDP 포트 | TCP 3389, 환경에 따라 UDP도 사용 |
목차
- 가장 먼저 RDP 포트 연결 확인
- 네트워크 문제와 원격 호스트 문제 구분
- RDP 서비스와 수신기 상태 확인
- RDP UDP 문제 확인
- Windows 업데이트와 재부팅 상태 확인
- 이벤트 로그로 실패 단계 확인
- RDP 자체 서명 인증서 문제 해결
- 암호화·보안 협상 문제 진단
- 증상별 원인 정리
- 원상복구 방법
- 관련 기술자료와 공식 참고자료
- 자주 묻는 질문
1. 가장 먼저 RDP 포트 연결을 확인합니다
오류 문구만 보고 곧바로 레지스트리나 NLA 설정을 변경하지 말고, 먼저 Windows 10 클라이언트에서 원격 컴퓨터의 RDP 포트까지 TCP 연결이 되는지 확인합니다. 다음 예시의 203.0.113.10은 실제 원격 서버 IP로 변경하십시오.
Test-NetConnection 203.0.113.10 -Port 3389
정상적으로 TCP 연결이 가능하면 결과에서 다음 값이 표시됩니다.
TcpTestSucceeded : True
False라면 RDP 내부 처리보다 먼저 네트워크 경로, Windows Defender 방화벽, 공유기 포트포워딩, IDC·클라우드 방화벽, 변경된 RDP 포트 여부를 확인해야 합니다.
핵심: TcpTestSucceeded : False인 상태에서는 RDP 인증서나 NLA를 먼저 수정해도 문제 해결 가능성이 낮습니다. 먼저 원격 포트까지 연결 가능한 상태를 만들어야 합니다.
2. 네트워크 문제와 원격 호스트 문제를 구분합니다
원격 컴퓨터에 콘솔, KVM, Hyper-V 콘솔 또는 IDC 원격 관리 화면으로 접속할 수 있다면 원격 컴퓨터 내부에서 mstsc를 실행하고 대상에 localhost를 입력해 접속을 테스트할 수 있습니다. Microsoft의 An internal error has occurred 문제 해결 문서도 이 방법으로 네트워크 경로 문제와 대상 컴퓨터 내부 문제를 구분하도록 안내합니다.
mstsc
- localhost 접속은 정상: 대상 PC의 RDP 엔진은 동작할 가능성이 높으므로 클라이언트와 서버 사이의 방화벽, NAT, VPN, UDP 전송 등을 확인합니다.
- localhost에서도 동일 오류: 원격 호스트의 RDP 서비스, 수신기, 인증서, TLS·보안 협상 문제를 우선 확인합니다.
중요: 이후 단계에서 RDP 서비스를 재시작하거나 보안 설정을 변경하면 현재 원격 세션이 끊길 수 있습니다. 서버가 원격지에 있다면 KVM, IPMI, iDRAC, iLO, 하이퍼바이저 콘솔 등 별도 접속 수단을 확보한 뒤 진행하십시오.
3. 원격 데스크톱 서비스와 RDP 수신기를 확인합니다
원격 컴퓨터의 PowerShell에서 원격 데스크톱 서비스 상태를 확인합니다.
Get-Service TermService, UmRdpService
TermService는 Remote Desktop Services이며, UmRdpService는 Remote Desktop Services UserMode Port Redirector입니다. Microsoft의 일반 RDP 문제 해결 문서에서는 두 서비스의 실행 상태를 확인하도록 안내합니다.
다음으로 RDP 수신기가 정상적으로 대기 중인지 확인합니다.
qwinsta
목록에 rdp-tcp가 있고 상태가 Listen이면 RDP 수신기가 동작하고 있는 것입니다.
기본 포트 3389가 실제로 수신 대기 중인지도 확인합니다.
netstat -ano | findstr ":3389"
RDP 포트를 변경한 환경이라면 3389가 아니라 실제 설정된 포트를 확인해야 합니다. LISTENING이 보이지 않는다면 방화벽보다 먼저 RDP 서비스와 수신기 구성을 점검하십시오.
서비스 재시작은 콘솔이 있을 때만 진행
서비스 상태가 비정상적이고 별도 콘솔 접속 수단이 있다면 관리자 PowerShell에서 다음과 같이 재시작할 수 있습니다.
Restart-Service TermService -Force
경고: TermService를 재시작하면 기존 RDP 세션이 끊길 수 있습니다. 현재 유일한 관리 경로가 RDP라면 실행하지 말고 콘솔 접속 수단부터 확보하십시오.
4. RDP UDP 전송 문제인지 확인합니다
RDP는 환경에 따라 TCP와 UDP를 함께 사용합니다. 네트워크 장비, VPN, 방화벽 또는 특정 구간에서 UDP 처리가 불안정하다면 연결 협상 중 내부 오류가 발생하거나 접속이 반복적으로 실패할 수 있습니다.
진단 목적으로 Windows 10 클라이언트에서 RDP를 TCP만 사용하도록 설정해 결과를 비교할 수 있습니다.
그룹 정책으로 UDP 끄기
Windows 10 Pro 이상에서 gpedit.msc를 실행한 뒤 다음 위치로 이동합니다.
컴퓨터 구성
└─ 관리 템플릿
└─ Windows 구성 요소
└─ 원격 데스크톱 서비스
└─ 원격 데스크톱 연결 클라이언트
└─ 클라이언트에서 UDP 끄기
해당 정책을 사용으로 설정하면 클라이언트의 RDP 트래픽이 TCP만 사용하도록 제한됩니다.
레지스트리로 동일 설정 적용
그룹 정책 편집기를 사용할 수 없는 경우 관리자 명령 프롬프트에서 다음 명령으로 같은 정책 값을 설정할 수 있습니다.
reg add "HKLM\SOFTWARE\Policies\Microsoft\Windows NT\Terminal Services\Client" /v fClientDisableUDP /t REG_DWORD /d 1 /f
정책 적용 후 Windows를 재시작하거나 로그오프·로그온한 뒤 RDP 연결을 다시 테스트합니다. TCP만 사용할 때 정상 접속된다면 UDP 경로 또는 관련 정책 문제를 의심할 수 있습니다.
권장: 이 설정을 무조건 영구 해결책으로 사용하기보다 네트워크 경로 문제를 구분하는 진단 수단으로 먼저 활용하십시오. 원인이 확인되지 않거나 UDP를 다시 사용하려면 정책을 구성되지 않음으로 되돌리거나 아래 원상복구 명령을 사용합니다.
5. 클라이언트와 원격 컴퓨터의 업데이트 상태를 확인합니다
RDP는 인증, TLS, CredSSP, 보안 프로토콜과 밀접하게 연결되어 있습니다. 클라이언트와 원격 컴퓨터의 누적 업데이트 수준이 크게 다르거나 업데이트 후 재부팅이 완료되지 않은 상태에서는 연결 협상 과정에서 문제가 발생할 수 있습니다.
현재 Windows 버전을 확인합니다.
winver
또는 명령 프롬프트에서 다음 정보를 확인할 수 있습니다.
systeminfo | findstr /B /C:"OS Name" /C:"OS Version"
원격 서버가 오래된 Windows Server라면 무작정 클라이언트 보안 정책을 낮추기보다 먼저 양쪽의 보안 업데이트와 재부팅 필요 여부를 확인하는 것이 안전합니다.
6. 이벤트 로그에서 실제 실패 단계를 확인합니다
내부 오류는 원인이 여러 가지이므로 접속 실패 시각과 이벤트 로그를 맞춰 보는 것이 중요합니다. 원격 컴퓨터에서는 다음 로그를 우선 확인합니다.
이벤트 뷰어
└─ 응용 프로그램 및 서비스 로그
└─ Microsoft
└─ Windows
├─ TerminalServices-LocalSessionManager
│ └─ Operational
├─ TerminalServices-RemoteConnectionManager
│ └─ Operational
└─ RemoteDesktopServices-RdpCoreTS
└─ Operational
클라이언트 PC에서는 다음 RDP 클라이언트 로그도 확인할 수 있습니다.
이벤트 뷰어
└─ 응용 프로그램 및 서비스 로그
└─ Microsoft
└─ Windows
└─ TerminalServices-RDPClient
└─ Operational
또한 Windows 로그 → 시스템에서 Schannel, Service Control Manager, TerminalServices-RemoteConnectionManager 관련 오류가 같은 시각에 기록되는지 확인합니다.
특히 RDP TLS 인증서 생성 실패가 있는 경우 Microsoft 문서에서는 Event ID 1057 또는 1058과 같은 RemoteConnectionManager 이벤트가 기록될 수 있다고 설명합니다.
7. RDP 자체 서명 인증서 문제를 확인합니다
TCP 포트와 RDP 서비스가 정상인데도 내부 오류가 발생했습니다가 계속된다면 RDP 자체 서명 인증서가 손상되었거나 갱신되지 않는 경우를 확인할 수 있습니다. Microsoft의 공식 내부 오류 문제 해결 문서에서도 암호화 협상 문제 이후 RDP 자체 서명 인증서를 점검하도록 안내합니다.
먼저 다음 명령으로 인증서 생성에 필요한 서비스 상태를 확인합니다.
Get-Service CertPropSvc, KeyIso, CryptSvc, SessionEnv, TermService
RDP 인증서를 다시 생성해야 한다면 certlm.msc를 실행하고 Remote Desktop → Certificates에서 현재 자체 서명 인증서를 확인합니다.
주의: 인증서 삭제와 TermService 재시작은 원격 접속에 직접 영향을 줍니다. 별도 콘솔 접속이 가능한 상태에서만 진행하십시오. 조직에서 별도의 RDP 인증서를 배포했거나 Remote Desktop Connection Broker를 사용하는 환경에서는 임의로 인증서를 삭제하지 마십시오.
일반적인 자체 서명 인증서 환경에서 Microsoft 절차에 따라 기존 RDP 인증서를 삭제한 후 Remote Desktop Services를 재시작하면 인증서가 다시 생성되는지 확인할 수 있습니다. 재생성되지 않는다면 C:\ProgramData\Microsoft\Crypto\RSA\MachineKeys 권한, CryptSvc, KeyIso, SessionEnv 등의 상태와 시스템 이벤트 로그를 추가로 확인해야 합니다.
8. 암호화 및 보안 협상 문제를 마지막 단계에서 진단합니다
Microsoft의 An internal error has occurred 문서는 소스와 대상 컴퓨터가 보안 프로토콜, 암호화 방식 또는 기타 암호화 구성을 협상할 때 문제가 발생할 수 있다고 설명합니다.
원격 대상이 Windows Server이고 콘솔 접속 수단이 확보되어 있다면, Microsoft가 제시하는 진단 절차로 SecurityLayer와 UserAuthentication을 일시적으로 낮춰 보안 협상 문제인지 확인할 수 있습니다.
보안 경고: 아래 설정은 보안 수준을 낮추므로 일반 해결책으로 사용하면 안 됩니다. Microsoft 공식 문서에서도 문제 진단 후 반드시 권장 값으로 복구하도록 안내합니다. 인터넷에 직접 노출된 서버에서는 특히 주의하십시오.
관리자 명령 프롬프트에서 진단용으로 다음 값을 설정합니다.
reg add "HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows NT\Terminal Services" /v SecurityLayer /t REG_DWORD /d 0 /f
reg add "HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows NT\Terminal Services" /v UserAuthentication /t REG_DWORD /d 0 /f
이 상태에서만 접속된다면 인증서 또는 TLS·보안 프로토콜 협상 문제를 추가 확인해야 합니다. 진단이 끝나면 즉시 Microsoft가 안내하는 권장 값으로 복구합니다.
reg add "HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows NT\Terminal Services" /v SecurityLayer /t REG_DWORD /d 2 /f
reg add "HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows NT\Terminal Services" /v UserAuthentication /t REG_DWORD /d 1 /f
또한 조직에서 SSL Cipher Suite Order, SCHANNEL, FIPS, TLS 버전을 별도 정책으로 강제하고 있다면 클라이언트와 서버가 공통으로 사용할 수 있는 보안 프로토콜과 암호군이 남아 있는지 확인합니다. 임의로 SCHANNEL 레지스트리를 다른 서버에서 복사하는 방식은 설정 손상 위험이 있으므로 일반 장애 처리 단계로 권장하지 않습니다.
증상별로 원인을 빠르게 구분하는 방법
| 증상 | 우선 의심할 항목 | 확인 방법 |
|---|---|---|
Test-NetConnection이 실패 |
방화벽, NAT, 라우팅, 잘못된 RDP 포트 | TCP 3389 또는 실제 RDP 포트 접근 확인 |
| localhost RDP는 정상, 외부만 실패 | 네트워크 경로, 방화벽, UDP 전송 | 다른 네트워크에서 비교, TCP-only 진단 |
| localhost도 같은 내부 오류 | RDP 서비스, 수신기, 인증서, 보안 협상 | Get-Service, qwinsta, 이벤트 로그 확인 |
| 첫 시도는 오래 멈춘 뒤 실패하고 두 번째는 성공 | 네트워크·UDP 또는 특정 리디렉션 기능 | TCP-only 비교, 이벤트 로그 확인 |
| 이벤트 1057·1058 또는 Schannel 오류 동반 | RDP 자체 서명 인증서 생성·갱신 또는 TLS | Remote Desktop 인증서, MachineKeys 권한, 관련 서비스 점검 |
| 보안 설정을 낮추면 접속 성공 | 인증서 또는 TLS·암호화 협상 | 정책·Schannel·인증서 문제를 해결하고 보안 설정 복구 |
원상복구 방법
클라이언트 UDP 차단 설정 복구
그룹 정책에서 클라이언트에서 UDP 끄기를 사용으로 변경했다면 테스트 후 구성되지 않음으로 되돌립니다. 레지스트리로 값을 만들었다면 다음 명령으로 정책 값을 삭제할 수 있습니다.
reg delete "HKLM\SOFTWARE\Policies\Microsoft\Windows NT\Terminal Services\Client" /v fClientDisableUDP /f
보안 협상 진단 설정 복구
진단을 위해 SecurityLayer=0, UserAuthentication=0으로 변경했다면 반드시 다음 권장 값으로 되돌립니다.
reg add "HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows NT\Terminal Services" /v SecurityLayer /t REG_DWORD /d 2 /f
reg add "HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows NT\Terminal Services" /v UserAuthentication /t REG_DWORD /d 1 /f
도메인 그룹 정책으로 관리되는 장비라면 로컬 레지스트리 값을 임의로 유지하지 말고 실제 적용되는 GPO를 확인해 조직 정책에 맞게 복구하십시오.
관련 지구 IDC 기술자료
공식 참고자료
| 기관 | 문서 | 확인 내용 |
|---|---|---|
| Microsoft | An internal error has occurred when connecting to a remote machine | 네트워크 구분, 암호화 협상, RDP 자체 서명 인증서, 보안 프로토콜 문제 해결 |
| Microsoft | 일반 원격 데스크톱 연결 문제 해결 | TermService·UmRdpService, RDP 수신기, 포트, 인증서와 방화벽 진단 |
| Microsoft | ADMX_TerminalServer Policy CSP | 클라이언트에서 UDP 끄기 정책과 fClientDisableUDP 레지스트리 매핑 |
| Microsoft | Test-NetConnection | 원격 TCP 포트 연결 테스트 방법 |
자주 묻는 질문
RDP 포트가 열려 있는데도 내부 오류가 발생할 수 있나요?
가능합니다. TCP 3389가 열려 있다는 것은 네트워크 레벨에서 해당 포트에 연결할 수 있다는 의미입니다. 그 이후 RDP 서비스, TLS 인증서, NLA, CredSSP, 보안 프로토콜 협상 단계에서 실패하면 내부 오류가 발생했습니다가 표시될 수 있습니다.
클라이언트에서 UDP를 끄는 것이 안전한가요?
보안 기능 자체를 비활성화하는 설정은 아니지만 RDP 전송 방식을 TCP로 제한합니다. 특정 네트워크의 UDP 문제를 진단하는 데 유용하지만 정상 환경에서는 RDP가 최적의 전송 방식을 선택하도록 기본 설정으로 복구하는 것이 좋습니다.
NLA를 끄면 접속되는데 그대로 사용해도 되나요?
권장하지 않습니다. NLA는 세션 생성 전에 인증을 수행하는 보안 기능입니다. NLA를 끈 상태에서만 접속된다면 인증서, 보안 프로토콜, CredSSP 또는 정책 문제를 확인하고 원인을 해결한 뒤 다시 활성화해야 합니다.
원격 데스크톱 서비스를 재시작하면 현재 접속도 끊기나요?
그럴 수 있습니다. TermService 재시작은 현재 RDP 세션을 끊을 수 있으므로 서버가 원격지에 있다면 별도의 콘솔 접속 수단을 확보한 상태에서 진행해야 합니다.
자격 증명 오류와 내부 오류는 같은 문제인가요?
같은 오류는 아닙니다. 자격 증명이 작동하지 않습니다는 계정·암호·로그온 권한 문제가 중심인 반면, 내부 오류가 발생했습니다는 네트워크 전송, RDP 서비스, 인증서, TLS·보안 협상까지 더 넓게 확인해야 합니다. 다만 인증 단계에서 내부 오류가 발생하는 경우도 있어 이벤트 로그를 함께 확인하는 것이 좋습니다.
마무리
Windows 10에서 원격 데스크톱 접속 시 내부 오류가 발생했습니다가 표시되면 먼저 Test-NetConnection으로 RDP 포트까지 접근 가능한지 확인하고, 다음으로 TermService와 rdp-tcp 수신기 상태를 점검하는 것이 효율적입니다. 네트워크 경로가 정상이라면 TCP-only 테스트로 UDP 문제를 구분하고, 이벤트 로그에서 인증서·Schannel·RDP 서비스 오류를 확인하십시오.
RDP 자체 서명 인증서를 다시 만들거나 NLA·SecurityLayer 같은 보안 설정을 낮추는 작업은 마지막 진단 단계에서만 진행해야 하며, 테스트가 끝난 뒤에는 원래의 보안 설정으로 반드시 복구하는 것이 중요합니다.
지구 IDC는 일본서버와 미국서버를 포함한 다양한 서버 호스팅 환경에서 안정적인 운영에 도움이 되는 기술정보를 지속적으로 제공하겠습니다.