[머신러닝/딥러닝 기초] 8. 신경망과 신경망의 구조

활성화 함수

https://seokii.tistory.com/67

[머신러닝/딥러닝 기초] 7. 퍼셉트론에서 신경망으로 가는 핵심: 활성화 함수란?

지난 글에서 퍼셉트론에서 신경망으로 변화하는 핵심인 활성화 함수에 대해서 정리했습니다.

활성화 함수라는 것은 노드에서 다음 노드로 값을 전달할 때  입력값, 가중치, 편향의 값을 계산해 모두 합해 출력 값으로 변환하는 함수라고 정의했었습니다.

퍼셉트론은 계단 함수를 활성화 함수로 사용하고, 신경망은 활성화 함수로 계단 함수가 아닌 다른 함수들을 사용한다는 것이 핵심 내용이었습니다.

이번 글에서는 신경망의 기본적인 구조에 대한 내용을 적어보도록 하겠습니다.

 

신경망

신경망의 구조

위의 그림이 신경망의 구조를 나타낸 것입니다.

가장 왼쪽 줄을 입력층(Input Layer), 중간 줄을 은닉층(Hidden Layer), 제일 오른쪽 줄을 출력층(Output Layer)이라고 합니다.

은닉층은 입력층이나 출력층과 달리 사람 눈에 보이지 않습니다. 그래서 '은닉'이라는 명칭을 사용합니다.

층이 총 3개인 것처럼 보이지만, 가중치를 갖는 층이 2개이기 때문에 위의 그림은 2층 신경망이라고 할 수 있습니다.

 

신경망도 퍼셉트론과 매우 비슷해 보이는데, 실제로 노드가 연결되는 방식은 이전 글들에서 설명했었던 퍼셉트론과 다를 바가 없습니다. 신호(값)를 활성화 함수를 통해 전달하고 출력층에서 최종 출력 처리를 해주게 됩니다.

 

어떤 문제를 해결하느냐에 따라서 출력층에서 사용하는 활성화 함수가 다른데,

다음 글에서 정리하도록 하겠습니다.