오늘 뭐했지

1. HTTP 프로토콜이란?
2. HTTP와 HTTPS의 차이점은?
3. 대칭 암호화와 비대칭 암호화란?
4. HTTPS의 최초 연결에 대해
5. HTTP1과 HTTP2의 차이점은?
6. HTTP 메소드들과 각각이 쓰이는 
7. GET과 POST의 차이
8. POST PUT PATCH의 차이
9. REST란?
10. API란?
11. REST의 특징은?
12. REST API의 장단점은?
13. www.naver.com에 접속할 때 생기는 과정 (네트워크 관점에서)
14. TCP와 UDP의 차이
15. TCP 접속과 종료
16. OSI 7계층이란?
17. OSI 7계층과 TCP/IP 4계층 매핑
18. OSI 7계층과 TCP/IP의 차이점
19. 공인 IP와 사설 IP의 차이점
20. 로드 밸런싱이란?

HTTP 프로토콜이란 서버와 클라이언트가 데이터를 주고 받기 위한 프로토콜입니다. HTTP는 애플리케이션 레벨의 프로토콜로 TCP/IP 위에서 작동합니다. HTTP는 상태 정보를 저장하지 않는 stateless 특성과 클라이언트의 요청에 대한 응답을하면 연결을 끊는 connectionless 특성을 가지고있습니다. 하지만 그렇기 때문에 request가 도착할때마다 다시 인증을 해주어야한다는 단점이 있기에 이를 해결하기 위해 쿠키/세션 등을 활용합니다.

HTTP는 plaintext 데이터를 전송하는 프로토콜이기 때문에 제3자에 의해 조회될 수 있습니다. 이 문제를 해결하기 위해 HTTPS를 사용하는 것으로, HTTPS는 HTTP와 같이 바로 TCP와 통신하지 않고 대신, SSL을 통하여 TCP와 통신하는 방식입니다. HTTPS는 대칭키 암호화와 비대칭키 암호화를 동시에 이용하며 서버와 클라이언트가 최초로 연결할 때 대칭키를 주고받기 위해 비대칭키 암호화를 사용하고 그 이후로는 대칭키 암호화를 사용합니다.

대칭키 암호화는 하나의 키로 데이터의 암호화/복호화를 할 수 있는 암호화입니다. 클라이언트와 서버가 동일한 키를 가지고 있고 그 키로 주고 받은 데이터의 암호화/복호화를 진행하는 것을 의미합니다.

비대칭키 암호화란 한쌍의 키로 데이터의 암호화/복호화를 하는 암호화입니다. 비대칭키 암호화의 키는 공개키와 개인키로 이루어져있으며, 공개키로 암호화하여 데이터를 받는 사람을 보장할 수 있고 개인키로 암호화하여 데이터를 보내는 사람을 보장할 수 있습니다. 

HTTPS에서는 최초로 연결을 할때 세션키, 즉 대칭키,를 주고받기 위해 비대칭키 암호화를 사용합니다. 서버는 클라이언트에게 공개키, 즉 인증서,를 전송하고, 클라이언트는 인증서가 유효한지 검사 후 세션키를 생성고 서버에게서 받은 공개키로 암호화하여, 서버에게 이를 전송합니다. 공개키로 암호화된 데이터는 서버만이 가지고있는 개인키로만 복호화가 가능하기 때문에 이를 통해 서버와 클라이언트는 안전하게 세션키를 주고받을 수 있게됩니다.

HTTP1은 연결당 하나의 요청과 응답을 처리하고 이로인해 엔드 유저는 latency와 같은 성능 저하를 경험할 수 있습니다. 이를 개선하기 위해 HTTP2가 개발되었고 HTTP2는 하나의 연결로 다수의 요청과 응답을 처리할 수 있습니다.

HTTP 메소드는 클라이언트가 서버에게 요청의 목적을 알리는 수단으로 GET, POST, PUT, PATCH, DELETE등이 있습니다. GET은 데이터 조회, POST는 데이터 추가 또는 수정, PUT은 데이터 변경, PATCH는 데이터 일부 변경, DELETE는 데이터 삭제를 의미합니다.

GET은 데이터를 조회하기 위해 사용되는 메소드로 데이터가 URL에 노출되기 때문에 보안적으로 중요한 데이터는 GET을 사용해서는 안됩니다. POST는 데이터를 추가 또는 수장하기 위해 사용되는 메소드로 데이터를 바디에 추가하여 전송하기 때문에 GET보다는 안전합니다.

POST와 PUT 모두 메소드와 생성과 수정을 담당할 수 있으나 RESTful한 API는 자원에 대한 4가지 행위인 CRUD를 구현하기 위해 POST는 Create와, PUT은 Update와 매칭한 것입니다. 이 외에 POST는 멱등하지 않으나 PUT은 멱등하다는 차이점도 존재합니다.

PUT은 리소스의 모든 속성을 수정하기 위해, PATCH는 리소스의 일부만 수정하기 위해 사용됩니다.

멱등: 어떤 조작을 몇 번을 반복해도 결과가 동일한 것 

HTTP URI로 자원을 표현하고 HTTP Method로 그 자원에 대한 CRUD 연산을 진행하는 것을 의미합니다.

클라이언트와 웹 리소스 사이의 게이트웨이로, 데이터와 기능의 집합을 제공하여 서로 정보를 교환가능 하도록 합니다.

HTTP 인프라를 그대로 사용하기 때문에 HTTP와 비슷한 특징을 가지고 있습니다. REST는 상태 저장을 하지 않기에 stateless하고 캐시 처리가 가능합니다. 또한 REST는 서버와 클라이언트의 역할을 완전히 분리시키고 다중 계층 구조를 만들 수 있습니다.

REST API는 HTTP 인프라를 그대로 사용하기 때문에 추가 인프라를 구축하지 않아도 되며 메세지가 의도하는 바를 정확히 나타내 사용하기 쉽다는 장점이 있습니다. 그러나 행위가 네개밖에 존재하지 않고 표준이 존재하지 않다는 단점을 가지고있습니다.

1. 사용자가 브라우저에 URL을 입력합니다.
2. 브라우저는 local DNS → 루트 DNS 서버 → .com DNS 서버 → naver.com DNS 서버 순서대로 www.naver.com에 해당하는 IP주소를 찾습니다.
3. 찾아낸 IP 주소로 웹 서버에 TCP 3 handshake로 연결을 수립합니다.
4. 브라우저는 HTTP를 사용하여 HTTP 요청 메세지를 생성함니다.
5. TCP/IP 연결을 통해 HTTP요청이 서버로 전송됩니다.
6. 서버는 HTTP를 활용해 HTTP 응답 메세지를 생성합니다.
7. TCP/IP 연결을 통해 요청한 컴퓨터로 전송합니다.
8. 도착한 HTTP 응답 메세지는 웹페이지 데이터로 변환되고, 웹 브라우저에 의해 출력되어 사용자가 볼 수 있게 됩니다.

TCP는 연결형 서비스로 3-way-handshaking 과정을 통해 연결을 설정하기에 높은 신뢰성을 보이지만 속도는 느립니다. UDP는 비연결형 서비스로 신뢰성은 떨어지나 데이터 수신여부를 확인하지 않기 때문에 속도는 빠릅니다. TCP는 신뢰성이 중요한 파일 교환과 같은 경우에서 쓰이고 UDP는 속도가 중요한 실시간 스트리밍과 같은 경우에 쓰입니다.

TCP의 연결을 위해서는 3-way-handshaking이라는 과정을 사용합니다. 클라이언트가 연결을 원한다는 SYN 패킷을 보내고, 서버가 요청을 수락한다는 SYNACK 패킷을 보내고, 클라이언트는 이를 받았다는 ACK 패킷을 보내며 연결을 설정합니다.

TCP의 연결 해제를 위해서는 4-way-handshaking이라는 과정을 통합니다. 클라이언트가 접속 해제를 원한다는 FIN 패킷을 보내고, 서버가 이를 받았다는 ACK 패킷을 보낸 후, 남아있는 나머지 응답들을 모두 보낸 후 해제할 준비가 되었다는 FIN 패킷을 보낸 후, 클라이언트가 이를 받았다는 ACK 패킷을 보냅니다.

• 7 계층(응용 계층): 사용자와 직접 상호작용하는 응용 프로그램들이 포함된 계층
• 6 계층(표현 계층): 데이터의 형식(Format)을 정의하는 계층
• 5 계층(세션 계층): 컴퓨터끼리 통신을 하기 위해 세션을 만드는 계층
• 4 계층(전송 계층): 최종 수신 프로세스로 데이터의 전송을 담당하는 계층
• 3 계층(네트워크 계층): 패킷을 목적지까지 가장 빠른 길로 전송하기 위한 계층
• 2 계층(데이터링크 계층): 데이터의 물리적인 전송과 에러 검출, 흐름 제어를 담당하는 계층
• 1 계층(물리 계층): 데이터를 전기 신호로 바꾸어주는 계층

OSI는 네트워크 연결 표준이 되는 개방 시스템 상호 연결 모델이고 TCP/IP는 컴퓨터간의 통신에서 사용되는 통신 규약의 모음입니다. TCP/IP는 인터넷 개발 이후 계속 표준화 되어 신뢰성이 높은 반면 OSI는 실구현 예가 거의 없어 신뢰성이 낮아 표준을 설정할 때는 사용되나 실질적 통신 자체는 TCP/IP를 사용하는 경우가 많습니다.

공인 IP는 ISP가 제공하는 전 세계 유일한 IP 주소이며 외부에 공개되어 있는 IP 주소입니다. 사설 IP는 특정 네트워크 안에서 사용하는 IP주소로 IPv4의 주소 부족으로 인해 생겨났으며 라우터에게서 제공 받는 가상의 주소입니다. 

여러개의 서버가 존재할 경우 이 여러대의 서버에 트래픽을 균등하게 배분해주는 것입니다. 특히 scale out한 서버에는 꼭 필요한 절차로 round robin, least connection과 같은 다양한 알고리즘 중 하나를 선택해 진행하게 됩니다. Round robin은 서버에 요청을 돌아가며 순서대로 배정하는 방식이고, least connection 트래픽이 들어온 시점에 가장 적은 연결 상태를 보이는 서버에 배정하는 방식입니다.

1. RDBMS와 NoSQL의 차이점은?
2. RDBMS와 NoSQL은 언제 사용하는가?
3. 파티셔닝이란?
4. 데이터베이스 샤딩이란?
5. 분할 기법들에는 어떤것이 있는지?
6. Scale up과 Scale out의 차이점은?
7. RDBMS에서 scale out이 어려운 이유는?
8. 클러스터링이란?
9. 리플리케이션이란?
10. 데이터베이스 트랜잭션이란?
11. 데이터베이스 트랜잭션의 성질 ACID에 대해 설명해보시오
12. DB Lock이란? 그 종류는?
13. OLTP와 OLAP란?
14. 인덱스란? 그 종류는?
15. 인덱스를 사용할 시 단점
16. 인덱스는 언제 사용해야하는가?
17. DB 정규화란?
18. DB 정규형의 종류는?
19. Key의 종류와 각 특징은?
20. 정규화를 하는 이유는?
21. 이상현상의 종류는?
22. 역정규화를 하는 이유는?
23. DB 튜닝이란?
24. DB 튜닝의 종류는?
25. SQL 문장 종류는?
26. Select 쿼리의 수행 순서는?
27. 높은 트래픽을 어떻게 대비할 것인가?

RDBMS는 관계형 데이터베이스 관리 시스템을 의미하며 모든 데이터는 중복이 없고 정확한 스키마를 따르는 2차원 테이블 형태로 저장, 관리됩니다. 그렇기 때문에 데이터의 구조와 정합성을 보장할 수 있으나 scale out이 어렵습니다.

그에비해 NoSQL은 각 데이터의 관계, 스키마와 관련 없이 key-value 값으로 데이터를 관리합니다. 그 덕분에 자유로운 데이터 관리와 scale out이 가능하지만 데이터 중복이 생길 수 있으며 중복된 데이터가 변경될 경우 모든 컬렉션에서 수정을 진행하여야합니다.

*정합성: 데이터가 서로 모순 없이 일관되게 일치

RDBMS는 데이터 무결성을 만족하기 때문에 관계를 맺고있는 데이터가 자주 변경이 이루어지는 시스템에 적합합니다.

NoSQL은 그와 반대로 데이터의 update는 자주이루어지지 않는 데이터에 사용하는게 좋으며, scale out이 가능하다는 장점을 이용하여 빅데이터와 같은 분야에서 사용됩니다.

데이터베이스의 크기가 너무 커지게되면 용량의 한계와 성능의 저하를 초래할 수 있습니다. 이러한 문제점을 해결하기위해 데이터베이스를 파티션이라는 작은 단위로 나누는 것을 파티셔닝이라고합니다. 파티셔닝을 통해 물리적인 데이터 분할이 있더라도 application은 그 것을 알아차리지 못한다는 것이 특징입니다. 파티셔닝을 통해 성능과 가용성, 그리고 관리 용이성이 향상되지만 table간의 JOIN 연산이 많아지고 table과 index를 같이 파티셔닝 해야하기에 연산 오버헤드가 발생할 수 있습니다. 파티셔닝의 종류로는 세로로 데이터베이스를 나누는 vertical partitioning과 가로로 나누는 horizontal paritioning이 있습니다.

데이터베이스 샤딩은 horizontal paritioning과 동일한 개념으로 테이블을 가로로 나누는 것을 의미합니다. 샤딩을 적용한다면 scale out 가능, 특정 query 성능 향상, 장애 전파 억제와 같은 장점이 있지만, 프로그래밍, 운영적인 복잡도는 더 높아지는 단점이 있습니다. 그렇기 때문에 서버 확장을 위해서는 scale up, read 부하 저하를 위해서는 cache 활용, table의 일부 칼럼만 자주 활용한다면 vertical partitioning 등 sharding을 피하거나 지연시켜야합니다. 또한 샤딩을할 때 고려해야할 것은 데이터가 한 쪽 샤드로 몰릴 경우(Hotspot), 샤딩이 무의미 해지기 때문에 균일하게 데이터베이스를 분산하는 것이 중요합니다.

• 범위 분할: 분할 키 값이 범위 내에 존재하는지 확인하는 방법입니다.
• 목록 분할: 값 목록에 파티션을 할당하고, 분할 키 값을 그 목록에 비추어 파티션을 선택하는 방법입니다.
• 해시 분할: 해시 함수의 값에 따라 파티션에 포함할지 여부를 결정하는 방법입니다.
  • 예) 4개의 파티션으로 나뉘는 경우 해시 함수는 0-3의 정수를 돌려줍니다
• 합성 분할: 위의 분할 방법들 중 하나를 선택합니다.

두 방식 모두 서버의 한계에 도달했을 때 서버를 확장시키는 방식을 뜻합니다.

Scale up은 기존의 서버보다 더 높은 사양의 서버로 서버를 교체하는 방식이며 scale out은 비슷한 사양의 서버를 추가하여 인프라를 확장시키는 방식입니다. Scale up은 추가적 연결이 필요 없기 때문에 더 쉬운 방식이나 비용이 많이 발생하고 성능 확장에 한계가 있습니다. Scale out은 비용이 비교적 저렴하고 지속적 성능 확장이 가능하지만 관리가 어렵습니다.

Scale out을 한다는 의미는 한 데이터베이스에 있는 데이터들을 특정한 기준으로 쪼갠다는 의미를 가집니다. RDBMS는 관계형 데이터베이스 관리 시스템으로 테이블들간의 관계가 중요한 역할을 하기에 데이터를 쪼개는 기준을 설정하기가 복잡해집니다. 그러나 NoSQL은 한 key에 대한 데이터를 모두 value에 담고있기 때문에 다른 데이터를 참조할 필요가 없어 그저 key 기준으로 나누면 됩니다.

클러스터링이란 여러 개의 DB를 수평적인 구조로 구축하는 방식입니다. 클러스터링은 분산 환경을 구성하여 Single point of failure와 같은 문제를 해결할 수 있는 Fail Over 시스템을 구축하기 위해서 사용됩니다. 클러스터링은 동기 방식으로 노드들 간의 데이터를 동기화하며 그 종류로는 모든 서버를 active로 두는 active-active와 서버를 하나만 운용하고 나머지는 standby로 두는 active-standby가 있습니다. Active-active는 서버 하나가 다운될 시 서비스 중단이 없으나 비용이 많이 들고 active-standby는 비용은 적으나 active 서버가 다운될 시 standby 서버를 전환하는 시간이 듭니다.

리플리케이션이란 여러개의 DB를 수직적인 구조로 구축하는 방식입니다. 리플리케이션에서 master node에는 쓰기만, slave node에는 읽기만을 처리합니다. 통계적으로 DB 요청의 60%~80%는 읽기 요청이기 때문에 읽기 요청만을 처리하는 slave node를 둠으로써 부하를 분산시킬 수 있습니다. 그러나 slave node는 비동기 방식으로 master node와 동기화하기 때문에 일관성에 문제가 생길 수 있습니다.

트랜잭션은 작업의 완전성을 보장해주는 작업 방식입니다. 작업들을 모두 처리하여 commit하거나 처리하지 못할 경우 이전 상태로 rollback하여 작업의 일부만이 적용되지 않도록 합니다.

• 원자성 (atomicity): 작업이 모두 반영되던지 전혀 반영되지 않던지 둘 중 하나의 경우여야합니다.
• 일관성 (consistency): 실행이 완료된 후에는 일관성 있는 DB상태가 되어야합니다.
• 독립성 (isolation): 트랜잭션들은 서로 수행 중인 연산에 끼어들거나 값을 참조할 수 없습니다.
• 영속성 (durability): 완료된 결과는 영구적으로 반영되어야합니다.

DB Lock이란 여러개의 트랜잭션이 하나의 데이터에 동시에 접근을 시도할 때 이를 제어해주는 도구입니다. 그 종류로는 읽기만을 허용하는 공유락, 읽기와 쓰기를 모두 허용하는 베타락이 있습니다.

OLTP란 OnLine Transaction Processing으로, 동시에 발생하는 다수의 트랜잭션을 서버가 처리하는 것을 의미합니다. OLTP는 현재의 데이터 처리가 얼마나 정확하고, 무결한지가 중요합니다. 그렇기 때문에 주로 데이터의 저장, 삭제, 수정 등의 실질적인 데이터를 수정하는 작업을 의미하는 용어입니다.

OLAP란 OnLine Analytical Processing으로, OLTP가 데이터 자체의 처리에 중점이 된 용어라면, OLAP는 이미 저장된 데이터를 기반하여 분석하는데 중점이 된 용어입니다. OLAP는 이미 저장된 데이터를 바탕으로 어떤 정보를 제공하는지가 중요합니다. 따라서 OLAP는 데이터가 무결하고, 정확하다는 전재를 바탕으로 고객 또는 사용자가 원하는 정보를 어떤식으로 표현하고 제공하는지를 의미하는 용어입니다. 

인덱스란 검색속도를 향상을 위해 생성할 수 있는 자료구조입니다. 테이블 전체를 탐색하는 FTS가 아닌 인덱스에서 해당 값의 위치를 찾아서 접근한다는 점에서 책의 색인과 비슷한 기능을한다고 볼 수 있습니다. 종류로는 Hash Table과 B+ Tree가 있습니다. Hash table은 탐색 시간 속도가 O(1)으로 매우 빠르나 순차적 탐색이 불가능하다는 단점이 있고 B+ Tree는 hash table보다 탐색 속도는 느리지만 B tree의 리프노드들을 LinkedList로 연결시켜 순차적 탐색을 할 수 있습니다. 

*B tree: 이진 트리를 확장해 자식 노드의 최대 숫자가 2보다 큰 트리 구조로 자식 노드의 최대 숫자 K를 지정하여 관리

인덱스를 저장할 공간이 따로 필요하기 때문에 인덱스를 사용한다는 것은 검색 성능 향상을 위해 저장 성능을 어느정도 포기하는 것을 의미합니다. 또한 데이터 변경이 일어날 시 인덱스 또한 업데이트해야하기 때문에 변경이 빈번하다면 성능 처하를 초래할 수 있습니다.

데이터 양이 많고 데이터 변경보다 검색이 더 자주 발생할 때 사용해야합니다.

정규화 는 데이터 무결성을 유지하기 위해 잘 정의 된 방식으로 테이블을 분할하여 데이터베이스에서 중복 데이터를 제거하는 프로세스입니다.

• 제1정규형: 테이블의 칼럼이 원자값을 갖도록 분해하는 것입니다.
• 제2정규형: 제1정규형을 만족하고, 기본키가 아닌 속성이 기본키에 완전 함수 종속이도록 분해하는 것입니다.
  • 완전 함수 종속이란 기본키의 부분집합이 다른 값을 결정하지 않는 것을 의미합니다.
• 제3정규형: 제2정규형을 만족하고, 기본키가 아닌 속성이 기본키에 이행적 종속을 갖지 않도록 분해하는 것입니다.
  • 이행적 종속이란 B가 A에 종속적이고 C가 B에 종속적일 때 C가 A에 종속적이 되는 것을 의미합니다.
• BCNF (Boyce Codd Normal Form): 제3정규형을 만족하고, 모든 결정자가 후보키가 되도록 하는 것을 의미합니다.

• 슈퍼키: 유일성을 만족하는 키입니다. 즉, 이 슈퍼키를 이용하면 중복 값 없이 각 데이터가 구별이 될 수 있게 되는 키입니다.
• 복합키: 두개 이상의 속성을 사용한 키입니다.
• 후보키: 유일성과 최소성을 만족하는 키입니다. 즉, 슈퍼키들 중 최소한의 갯수의 속성을 가진 키들의 집합이며 이들은 모두 기본키가 될 수 있는 후보입니다.
• 기본키: 후보키들 중 선택된 하나의 키로 오직 테이블에서 오직 하나만 지정할 수 있으며 중복값, NULL값들을 허용하지 않습니다.
• 대체키: 후보키들 중 기본키로 선택되지 못한 키들입니다.
• 외래키: 두 테이블을 서로 연결해주는 key로 NULL이거나 부모 테이블의 기본키값이여야합니다.

데이터 변경 시 발생하는 이상 현상을 줄일 수 있고 데이터베이스 구조 확장시에 재디자인을 최소화합니다. 또한 중복 값을 제거하기 때문에 저장 공간을 절약할 수 있습니다.

• 삽입 이상: 데이터를 삽입할 때 특정 속성에 값이 없어 NULL을 입력하게되는 경우입니다.
• 갱신 이상: 중복된 데이터 중 일부만 변경하여 데이터 모순이 일어나는 경우입니다.
• 삭제 이상: 어떤 정보를 삭제할 때 의도하지 않은 다른 정보까지 삭제하게되는 경우입니다.

정규화로 인한 릴레이션 분해로 인하여 릴레이션 간의 join연산이 많아지며 이로인해 응답시간이 느려질 수 있습니다.

DB 튜닝이란 DB 구조, DB 자체, 운영체제등을 조정하여 DB 시스템의 전체적인 성능을 개선하는 작업을 의미합니다.

• 1단계 DB 설계 튜닝: DB 설계 단계에서 성능을 고려하여 설계하는 것입니다. 데이터 모델링, 인덱스 설계, 테이블 스페이스 설계 등이 포함됩니다.
• 2단계 DBMS 튜닝: 성능을 고려햐여 메모리 혹은 블록 크기를 지정하는 것입니다. CPU, 메모리, I/O 관점에서의 튜닝으로 예시로는 Buffer, Cache 크기 등을 지정하는 것이 있습니다.
• 3단계 SQL 튜닝: SQL 작성시 성능을 고려하는 것이며 hash, join등을 사용합니다.

• DML (Data Manipulation Langague, 데이터 조작어): SELECT, INSERT, DELETE > 데이터 자체의 변형
• DDL (Data Definition Language, 데이터 정의어): CREATE, ALTER, DROP, RENAME > 데이터 구조의 정의
• DCL (Data Control Language, 데이터 제어어): GRANT, REVOKE > 데이터베이스 접근에 관한 권한
• TCL (Transaction Control Language, 트랜젝션 제어어): COMMIT, ROLLBACK, ACK > 논리적인 작업의 단위를 묶어서 DML에 의해 조작된 결과를 트랜잭션별로 제어 

FROM, ON, JOIN > WHERE, GROUP BY, HAVING > SELECT > DISTINCT >  ORDER BY > LIMIT

우선 FROM, ON, JOIN을 사용하여 사용할 릴레이션들을 파악합니다.

그 후 WHERE, GROUP BY, HAVING등을 사용하여 각 열에 대한 쿼리를 진행합니다.

이 모든 것이 수행 된 후 SELECT가 수행되며, SELECT 수행 이후에 DISTINCT, ORDER BY, LIMIT 순으로 선택 된 데이터 중 중복 값, 정렬, 제외할 값들에 대한 처리를 진행합니다.