인공지능 시험 정리

<지식기반 지능형 시스템 개론>

1. 지능이란 무언가 이해하고 배우는 능력 + 본능적으로 혹은 자동적으로 무언가를 하는 대신 생각하고 이해하는 능력
2. 생각이란 문제를 고려하거나 아이디어를 만들기 위해 두뇌를 사용하는 행위다
3. 인공지능이란 인간이 머리를 써서 해야 할 일을 기계가 하도록 만드는 것, 기계가 생각을 할 수 있는가?
4. 튜링은 튜링 모방 게임을 만들어서 기계와 생각의 정의에 대한 의미론적 논증을 회피
5. 튜링 모방 게임은 기계가 지능을 측정하는 행동 테스트를 통과할 수 있을까?
6. 사람의 물리적 특징은 지능 판단 시 중요한 요소가 아니다.
7. 인공 신경망 -> 인공지능 분야 탄생 -> LISP정의, 전문가 의견 청구자 -> 프레임 이론 -> 퍼셉트론 수렴 이론 -> 데이터와 문제 해결 기법 구분 -> 광범위한 문제를 풀기 위한 General Method -> 특정 문제 영역에 관한 지식을 거의 포함하지 못함 -> 전문가 시스템(문제를 제한하고 큰 추론 단계로 해결) -> 전문가 시스템의 기초 개념 지식 공학 -> 규칙으로 통합된 지식은 추론 메커니즘과 분리 -> 적응형 공진 이론으로 신경망 -> 피드백이 있는 홉 필드 신경망 -> 자기 조직 맵 -> 강화 학습 & 역전파 학습 알고리즘 -> 진화 연산(유전 알고리즘, 진화 전략, 유전 프로그래밍)
8. 유전 알고리즘으로 복잡한 비선형 탐색 및 최적화 문제에 대해 올바른 해를 제시함
9. 신경망은 설명 능력이 부족하고 블랙박스처럼 동작 과정을 알 수없음, 생물학적 신경망을 모방한 ANN을 통해서 과거의 경험에서 학습, 자동 규칙 생성, 지식 습득. 확인해서 수정하는 과정을 피할 수 있다.
10. 전문가 시스템은 닫힌 시스템에서만 적합, 자신의 지식을 항상 규칙 형태로 표현하는 게 난해, 추론 과정 항상 설명 어려움
11. 단어 계산으로 신경망 기술과 전문가 시스템을 보완 -> 퍼지 이론
12. 퍼지 논리: 확률 개념에 기반, 전문가의 이해를 정확히 반영하는 형태로 인간의 지식을 코드화, 언어 변수는 숫자라기보다는 단어 의미
13. 퍼지 시스템은 규칙의 개수가 적어 빠르게 계산 수행 가능, 향상된 인지 모델링, 여러 전문가 의견 표현 가능
14. 퍼지 시스템의 한계: 전문가 규칙에 의존, 지식에 따라 성능이 달라짐, 조율 시간이 오래 걸림
15. 지식 공학이 나아갈 방향: 각 기술의 장단점 활용, 이미 있는 이론 잘 활용, 실세계 문제 적용

 

<규칙 기반 전문가 시스템>

1. 지식이란 어떤 주제나 분야에 대해 이론적으로 혹은 실제적으로 이해하는 것
2. 지식을 소유한 사람을 전문가라고 부름
3. 전문가의 지식의 분야는 제한적
4. 전문가는 지식을 문제풀이에 관한 규칙 형식으로 표현하는데 능숙함
5. IF-THEN 구조로 표현한 문장을 생성 규칙 혹은 규칙이라고 부름
6. IF 부분을 전건, 전제, 조건이라고 부르고 THEN 부분을 후건, 결론, 행동이라고 한다.
7. 전건이 여러 개 존재 가능하고 같은 규칙 안에서 논리곱(AND)과 논리합을 섞어 쓰는 건 좋지 않음
8. 규칙의 전건에는 객체, 언어 객체에 값이 들어감
9. 연산자는 객체를 판별하고 값을 대입(~이다, ~아니다)
10. 전문가 시스템은 수학 연산자를 활용해서 객체를 숫자로 정의하고 수치 대입 가능
11. 규칙은 관계, 추천, 지시, 전략, 휴리스틱 표현 가능
12.  전문가 시스템은 좁은 문제 영역에서 전문가 수준으로 동작 가능(규칙 기반 시스템)
13. 전문가 시스템 개발 구성원(주제 전문가, 지식 공학자, 프로그래머, 프로젝트 관리자, 최종 사용자)
14. 생성 시스템 모델: 인간이 자신의 지식을 적용해서 제시된 문제를 관련 정보로 해결한다는 아이디어
15. 기반 지식: 문제 해결에 필요한 지식(지식을 규칙 집합으로 표현)
16. 규칙의 조건 부분을 만족하면 규칙이 점화되고 취해야 할 행동 부분 실행
17. 데이터베이스는 기반 지식에 저장된 규칙과 비교하는 사실들의 집합을 저장
18. 추론 엔진은 전문가 시스템의 해를 구하기 위한 추론 역할, 규칙들을 데이터베이스의 사실과 연결
19. 해설 설비는 전문가 시스템이 해에 도달한 과정을 명시
20. UI는 사용자가 사용하기 편리해야 함
21. 부가적 구성요소(외부 인터페이스, 개발자 인터페이스, 텍스트 편집기, 부기 설비, 디버깅 보조 도구, 실행 시간 지식 습득)
22. 전문가 시스템은 좁고 전문화된 분야에 쓰임 고품질의 성능, 빠르게 구하기 위해 어림짐작, 휴리스틱 사용
23. 전문가 시스템의 해설 능력이란 문제를 푸는 동안 점화된 규칙을 추적하는 것.
24. 전문가 시스템은 문제를 풀 때 심벌 추론을 채택함, 지식을 처리하며, 질적인 데이터를 쉽게 다루기 가능
25. 전문가 시스템은 정확치 않은 추론을 허용, 불완전, 불확실하며 모호한 데이터를 다룰 수 있음
26. 대부분의 경우 전문가 시스템의 해를 신뢰할 수 있지만, 실수를 할 가능성도 인지해야 함. 그러나 합리적 결론 도달 가능
27. 전문가 시스템은 지식이 처리 과정과 분리되어 있다(기반 지식과 추론 엔진이 구분되어 있다.)는 장점이 존재한다.
28. 새로운 규칙과 지식 추가, 제거로 시스템의 수정이 편리함
29. 추론엔진에 의해 규칙의 IF부분이 사실과 일치 시 규칙이 점화되고 추론 사슬을 생성함.
30. 순방향 연결: 데이터 지향 추론, 가장 좋은 규칙만 실행, 규칙 점화 후 데이터 베이스에 새로운 사실 추가, 규칙은 무조건 한 번만 수행, 목표와 상관없는 많은 규칙들이 수행될 수 있음, 특정하게 정해진 목표가 단지 하나의 사실을 추론하는 경우 불리함
31. 역방향 연결: 목표 지향 추론, 목표에 맞게 규칙을 찾음, IF부분 증명을 위해 작업 중이던 것을 STACK에 넣어둠, 특정한 사실을 하나 추론할 때는 역방향 연결이 좀 더 효과적
32. 순방향 역방향 연결은 주제 전문가가 문제를 어떻게 푸는가에 달려있다, 반드시 하나만 선택할 필요는 없다, 기본적인 메커니즘은 주로 역방향 연결, 새로운 사실이 들어왔을 때 데이터를 최대로 활용하기 위해서는 순방향 연결 채택
33. Media Advisor: 시스템은 작업 훈련을 받는 사람의 역할을 참조해서 훈련 프로그램 수단을 선택하는데 도움을 줌
34. 논증 규칙 기반 전문가 시스템: 입력 데이터에 기반하여 문제에 대한 해를 제공하는 것임. 
35. 같은 규칙에 다른 결과가 존재하는 경우 충돌이 발생하고 이러한 규칙 집합을 충돌 집합, 선택 방법을 충돌 해법이라고 한다.
36. 순방향 연결 추론 기법에서 규칙의 순서가 아주 중요하다.
37. 해법은 설정한 목표에 도달하면 규칙 수행을 멈추는 것이다.
38. 최장 일치 전략: 가장 특수하고 디테일한 규칙을 실행시키는 것이다. 더 많은 정보를 처리가 가능하기 때문이다.
39. 최근 입력 데이터 사용 전략: 가장 최근에 입력된 데이터를 사용하여 규칙을 점화, 시간 태그에 의존, 실시간 전문가 시스템에서 유용
40. 메타 지식: 시스템 안에 존재하는 전문 지식을 위한 지식, 메타 규칙으로 표현, 시스템 업무와 관련된 규칙을 이용하기 위한 규칙
41. 규칙 기반 전문가 시스템 장점(자연스러운 지식 표현, 통일된 구조, 지식과 과정의 분리, 불완전하고 불확실한 지식 다루기)
42. 규칙 기반 전문가 시스템 단점(규칙 간의 불분명한 관계, 비효율적인 탐색 전략, 학습 불가능) 

 

 

<퍼지 전문가 시스템>

1. 퍼지 논리는 모호한 대상을 다루는 논리
2. 불 논리는 전통적 논리 즉 참 거짓이 확실히 구분
3. 퍼지 논리는 불 논 리의 불합리를 회피 가능
4. 퍼지 사고는 다변수 논리이고 맥스 블랙은 연속체는 정도를 내포한다고 주장함.
5. 맥스 블랙은 퍼지 집합을 최초로 정의, 로트피 자데는 퍼지 논리를 만듦
6. 퍼지 논리는 다치 논리임 불은 2치 논리
7. 크리스프 집합은 전통적이고 분명한 집합, 퍼지 집합은 경계가 모호한 집합
8. 퍼지 집합론은 어느 정도 속한다가 기본 발상 따라서 소속도가 존재한다.
9. 퍼지 집합론 가로축은 논의 영역, 선택한 변수에 적용 가능한 모든 값의 범위이다.
10. 크리스프 집합에서는 특성 함수(0 or 1), 퍼지 집합에서는 소속 함수(0 ~ 1)를 쓴다.
11. 퍼지 집합 구성시 전문가의 지식에 의존하거나 인공 신경망을 이용한다.
12. 키가 큰 남자의 예에서 논의 영역인 남자 키는 키작남, 키 보통남, 키 큰 남 이렇게 3개로 구분된다.
13. 크리스프 부분 집합은 퍼지 부분 집합의 부분 집합이다.
14. 퍼지 집합 컴퓨터로 표현 시 시그모이드 함수, 가우스 함수, 파이 함수를 사용함
15. 퍼지 집합의 원소는 적합 벡터(Fit - Vector)로 표현 가능
16. 언어 변수 = 퍼지 변수 / ex) 존은 매우 크다, 존 = 언어 변수, 크다 = 언어 값, 매우 = 헤지
17. 헤지는 퍼지 집합 한정사의 개념을 수반, 집중(매우) = 소속도를 낮춤, 확장(다소) = 소속도를 높임으로 나뉨
18. 퍼지 부분 집합 원소들의 부분 집합에 대한 소속 값은 초집합(=전체집합)에 대한 소속 값보다 작다
19. 퍼지 규칙이란 느리다, 빠르다 보통이다 같은 퍼지 집합을 포함한다.
20. 퍼지 규칙은 퍼지 집합과 연관되어 있다.
21. 퍼지 전문가 시스템은 규칙들을 합치고 규칙 중 최소한 90%를 제거한다.
22. 퍼지 추론(규칙의 전건을 평가하는 단계 -> 후건에 결과를 함축, 즉 적용)
23. 퍼지 시스템에서 전건이 특정 정도의 소속 도로 참이라면 후건도 같은 정도로 참이다.
24. 퍼지 집합들은 가중치 추정 모델의 기반을 제공, 퍼지 추론 형식은 단조 선택을 이용
25. 전건의 모든 부분은 동시 계산되고 숫자 하나로 결정된다.
26. 퍼지 전문가 시스템은 여러 규칙을 통합한다.(각 규칙의 출력은 퍼지 집합이다.)
27. 퍼지 전문가 시스템은 출력 값에서 분명한 해 하나를 얻기 위해 모든 출력 퍼지 집합을 단일 출력 퍼지 집합으로 통합한다.
28. 결과 퍼지 집합을 숫자 하나로 역 퍼지화 한다.(정확한 해답을 얻기 원하기 때문이다.)
29. 퍼지 추론 방법(맘 다니 형, 스게노 형)
30. 맘 다니 형: 입력 변수 퍼지화 -> 규칙 평가 -> 출력으로 나온 규칙 통합 -> 역 퍼지화
31. 규칙 평가: 클리핑(후건의 소속 함수를 전건의 진리 값 수준에서 자르는 것), 스케일링(규칙 후건에 대한 원래의 소속 함수는 모든 소속도에 규칙 전건의 진리 값을 곱함)
32. 규칙 통합: 통합 과정의 입력은 클리핑 되거나 스케일링된 후건 소속 함수의 목록, 출력은 출력 변수 각각에 대한 단일 퍼지 집합이다.
33. 역 퍼지화의 대표적인 방법: 무게 중심 법
34. 스게노 형은 규칙 후건이 퍼지 집합 대신 입력 변수에 대한 수학 함수를 사용
35. 스게노 형은 맘 다니 형과 유사 하지만 규칙 후건이 단일체라는 차이점이 있다. 즉 퍼지 규칙 출력이 상수다.
36. 스게노 형에서 결과를 얻는 방법은 가중 평균이다.
37. 퍼지 전문가 시스템 개발 절차: 문제 규정과 언어 변수 정의 -> 퍼지 집합 결정 -> 퍼지 규칙 구성 도출 -> 퍼지 집합, 퍼지 규칙, 퍼지 추론을 퍼지 시스템 부호화 -> 시스템 평가 조정
38. 퍼지 집합 결정 시 핵심은 퍼지 시스템이 원활하게 응답하도록 인접한 퍼지 집합끼리는 충분히 겹치게 한다는 점
39. 퍼지 규칙을 행렬로 나타내면 편리함
40. 행과 열이 교차하는 지점에 출력 변수의 언어 값을 넣는 표현 방식을 FAM이라고 한다.
41. 퍼지 전문가 시스템을 조정하는 작업이 만드는 것보다 훨씬 많은 시간과 노력이 든다.
42. 퍼지 집합은 작은 키, 보통 키, 큰 키처럼 경계가 모호한 집합이다.
43. 퍼지 전문가 시스템에서 쓰는 전형적인 소속 함수는 삼각형과 사다리꼴이다.
44. 퍼지 집합의 주요 연산에는 여집합, 포함관계, 교집합, 합집합이 있다.
45. 맘 다니 방법은 시간이 오래 걸리고 전문 지식에 의존한다.
46. 스게노는 최적화나 적응형 기법과 잘 작동하고 제어, 특히 동적 비선형 시스템에서 유리하다. 후건이 단일체이다.

 

<인공 신경망>

1. 기계학습: 컴퓨터가 경험과 유추를 통해 학습 가능하게 하는 적응 메커니즘
2. 기계 학습 접근법: 인공 신경망, 유전 알고리즘
3. 인공 신경망: 인간 뇌(뉴런)를 기반으로 한 추론 모델, 뉴런은 기본적인 정보 처리 단위, 학습 능력 구현, 인간의 뇌에 비해선 아직 미흡
4. 인간의 뇌는 매우 복잡하고, 비선형적, 병렬적 정보 처리 가능, 정보는 신경망 전체에 동시 저장 및 처리, 경험을 통한 학습 능력
5. 입력층에서 입력 신호를 받고 중간층에서 가중치를 기반으로 링크들로 연결되어 있고 출력층에서 출력 신호는 오직 1개다.
6. 세포체 = 뉴런, 수상 돌기 = 입력, 축색 돌기 = 출력, 시냅스 = 가중치
7. 가중치란 장기 기억을 위한 기본 수단으로 중요도를 의미하며 각 링크에 연관된 수치적 가중치가 존재한다.
8. 인공 신경망의 가중치 조정: 신경망의 구조를 먼저 선택, 학습 알고리즘 선택, 신경망 훈련
9. 입력 링크에서 여러 신호를 받아 새로운 활성화 수준 계산 후 출력 링크로 출력 신호 내보냄
10. 입력 신호: 미가공 데이터, 다른 뉴런의 출력 신호
11. 출력 신호: 문제의 최종 해, 다른 뉴런의 입력
12. 뉴런 출력 결정: 렌 맥클 록, 월터 피츠 제안 -> 뉴런은 전이 함수 즉 활성화 함수를 사용해서 출력을 결정
13. 출력 결정 순서: 뉴런은 입력 신호의 가중치 합을 입계 값 세타와 비교한다. -> 임계값 보다 작으면 출력은 -1 -> 가중치 합이 임계값 이상이면 뉴런은 활성화되고 출력은 1이 된다.
14. 뉴런 활성화 함수는 계단, 부호, 선형, 시그모이드 함수가 존재
15. 계단 부호 활성화 함수 = 하드 리밋 함수(분류 와 패턴인식 작업에서 결정에 쓰임)
16. 시그모이드 함수는 역전파 신경망에서 쓰임
17. 선형 활성화 함수는 뉴런의 입력에 가중치가 적용된 것과 같은 값을 출력으로 내놓고 선형 근사에 주로 쓰임
18. 퍼셉트론은 신경망의 가장 간단한 형태로 조정 가능한 시냅스 가중치와 하드리 미터를 포함한 단일 뉴런으로 구성된다.
19. 퍼셉트론의 기본 학습 방법: 가중치를 조절하여 실제 출력과 목표 출력 간의 차이를 줄인다. p번째 반복한 값 - 실제 출력 = 오차
20. 오차가 양이면 퍼셉트론의 출력을 증가시켜야 하고 그 값이 음이면 감소시킨다.
21. 총합 xp에 가중치가 기여한다.
22. 퍼셉트론 훈련 알고리즘: 초기화 -> 활성화 -> 가중치 학습 -> 반복
23. 학습 방법: AND, OR, Exclusive - OR
24. Exclusive - OR은 단층 퍼셉트론을 학습할 수 없다. 선행 분리가 불가능하기 때문이다.
25. 단층 퍼셉트론의 한계: 선형 부리 가능한 함수만 학습 가능, 전체적인 일반화가 불가능하다.
26. 다층 신경망: 하나 혹은 그 이상의 은닉층이 있는 피드 포워드 신경망(입력층 1개 + 은닉층 1개 이상 + 출력층 1개)
27. 입력 신호는 한 층씩 순방향으로 전파
28. 각 층에는 각각 자신만의 특정 함수가 존재한다.
29. 입력층: 입력 신호 모두를 은닉층으로 보냄, 계산 뉴런 거의 존재 x
30. 출력층: 은닉층에서 출력 신호 즉, 자극 패턴을 받아들이고 전체 신경망의 출력 패턴을 정한다.
31. 은닉충: 입력의 특성 파악, 가중치는 입력 패턴에 숨겨져 있는 특성을 나타냄, 목표 출력을 숨기고 해당 층에서 자체적으로 결정됨
32. 다층 신경망의 학습은 퍼셉트론과 유사하게 진행된다.(오차를 줄이도록 가중치가 조절, 가중치가 여러 개)
33. 역전파 신경망: 3개 혹은 4개의 층이 있는 다층 망, 다층 신경망의 오차 원인을 평가, 가중치들 사이의 오차의 원인을 정하고 나누는 데 사용
34. 역전파 신경망의 학습 알고리즘: 훈련 입력 패턴을 입력층에 전달 -> 출력층에서 출력 패턴 생성될 때까지 층에서 층으로 입력 패턴을 전파 -> 출력 패턴이 목표 패턴과 다르면 오차 계산 후 출력층에서 입력층까지 신경망을 따라 거꾸로 전파하면서 가중치 수정
35. 오차 기울기: 활성화 함수의 미분에 뉴런의 출력 오차를 곱한 것
36. 은닉충에 대한 가중치 값 보정: 초기화 -> 활성화 -> 가중치 학습 -> 반복
37. 오차 제곱의 합: 신경망의 성능을 보여주는 유용한 지표다, 오차 제곱의 합이 충분히 작으면 신경망이 수렴했다고 생각할 수 있다.
38. 학습 곡선을 통해서 신경망이 얼마나 빠르게 학습하는지 보여줌
39. 역전파 학습의 적합성: 문제에 대한 면역성이 없다, 생물학적인 영역에서 제대로 학습 불가능, 계산이 방대해서 학습이 느림(인간의 뇌 메커니즘과 다름), 기계 학습에 적합하지 않음
40. 가속 학습: 시그모이드 활성화 함수가 쌍곡 탄젠트로 표현될 때 조금 더 빠르게 학습, 델타 규칙에 운동량 항을 포함시키기
41. 역전파 알고리즘에 운동량을 포함시키면 학습하는데 안정화 효과를 가져온다.
42. 역전파 학습의 수렴 가속: 학습률 매개변수 조절, 휴리스틱(가속과 불안정한 상태 피하기 가능)
43. 휴리스틱 1: 오차 제곱의 합의 변화량이 몇 번의 연속적인 에폭에 대해 계속 같은 부호면 학습률 매개 변수 증가
44. 휴리스틱 2: 오차 제곱의 합의 변화량의 부호가 몇 번 계속 엇갈리면 학습률 매개 변수 감소
45. 적응 학습률: 신경망은 본질적으로 지능적인 게 아님 -> 인간의 기억을 연상 작용을 모방하기 위해 다른 유형의 신경망 필요 -> 순환 신경망
46. 홉 필드 신경망(순환 신경망): 고정된 가중치를 이용해 완전한 정보를 연상, 학습 패턴에 대해 계산된 고정 가중치 행렬을 저장하고, 입력 패턴이 들어올 때마다 가중치 행렬을 이용하여 입력 패턴에 대한 학습 패턴을 연상
47.  순환 신경망은 출력에서 입력까지 피드백 루프가 있다. 새로운 입력을 적용한 후 신경망의 출력을 계산하고 다시 거꾸로 보내 해당 입력값을 조정한다. 그런 후 출력을 다시 계산한다. 상수가 될 때까지 반복. 다만 항상 상수는 아니다.
48. 홉 필드 신경망은 자기 연상 유형을 표현, 불완전한 기억 복구 가능, 다른 기억을 연상하지는 못한다.
49. 홉 필드 신경망의 한계: 단층 신경망, 한 가지 기억에서 다른 기억 연상 불가능 -> 같지 않은 출력 패턴을 만들 수 있는 순환 신경망을 이용
50. 양방향 연상 메모리: 바트 코스코가 제안한 이형 연상 신경망, 한 집합의 패턴에서 다른 집합의 패턴 연상 가능, 불완전한 상황에도 올바른 출력 가능하기도 함
51. 자기 조직 신경망: 감독 없이 학습, 역전파 신경망 보다 훨씬 빠르기에 실시간 사용 가능 
52. 헤브 학습: 예상치 못하거나 수시로 바뀌는 조건을 다를 때 효과적
53. 헤브의 법칙: 특정 뉴런 간의 교감이 반복되면 두 뉴런 간의 시냅스 연결이 강화되고 자극에 좀 더 민감해진다고 한다. 두 뉴런이 동시에 활성화되면 연결 가중치 증가, 각자 활성화될 경우 연결 가중치 감소
54. 기계 학습은 경험을 통해 배움 -> 유추, 학습 도 가능 대표적으로 인공 신경망
55. 뉴런의 가중합을 통해서 임계값을 기준으로 +1 or -1을 출력
56. 퍼셉트론은 가장 간단한 신경망 형태, 조정 가능한 시냅스 가중치와 하드 리미터로 구성됨, 훈련을 통해 가중치가 갱신됨
57. 퍼셉트론은 선형 분리가 가능한 함수만 학습 가능하고 지역적 학습으로 일반화 불가능, 역전파 알고리즘을 통해서 학습된 다층 퍼셉트론 같은 형태는 한계 극복 가능
58. 다층 신경망은 입력층, 은닉층, 출력층으로 구성, 퍼셉트론의 학습 방법과 같다. 출력 패턴이 목표 패턴과 다르면 오차를 출력층에서 입력층으로 신경망을 따라 거꾸로 전파하면서 가중치 수정
59. 순수한 역전파 학습은 느리기 때문에 계산 효율을 높이기 위해서 시그모이드 활성화 함수가 쌍곡 탄젠트로 표현하게 한다, 운동량과 학습률도 다층 역전파 신경망의 성능을 높여준다.
60. 홉 필드 신경망은 상태의 집합 또는 모든 뉴런의 현재 출력으로 결정된 기본 기억을 저장해야 함. 불완전하거나 잘못된 기본 기억이 입력으로 들어감. 신경망의 출력이 상수가 될 때까지 반복. 가중치를 수정하지 않음. 제대로 복구하기 위해선 홉 필드 신경망의 저장 용량을 작게 잡아야 함.
61. 양방향 연상 메모리: 특정 집합 호출 시 양방향 연산 메모리를 호출하도록 패턴 쌍을 저장한다. 양방향 연상 메모리에 저장되는 최대 연상 개수는 더 작은 층의 뉴런의 개수를 초과하면 안 된다. 가장 근접한 연상을 생성하는 것은 아니다.
62. 무감독 학습: 훈련 집합을 신경망에 전달하는 교사가 없다. 훈련 기간 동안 각기 다른 여러 입력 패턴을 받고 이 패턴에서 특징을 발견하여 입력 데이터를 적절한 범주로 분류하여 학습
63. 헤브의 법칙은 두 뉴런 사이의 교감 빈도가 높아지면 더 민감하게 만드는 것이다.
64. 경쟁학습: 자신의 뉴런을 활성화시키기 위해서 경쟁적으로 학습하는 것
65. 코호넨 신경망: 계산 뉴런을 담은 단일층으로 이루어짐, 유형이 다른 연결이 두 개 존재, 순방향(입력 -> 출력), 측방향(출력 -> 출력), 측방향은 뉴런 경쟁에 쓰인다. 가중치를 활성화되지 않은 연결에서 활성화된 연결로 옮겨서 학습, 학습은 승자 뉴런과 그 이웃만 가능, 주어진 입력에 반응하지 않는 뉴런은 학습 불가능.  

<진화 연산>

1. 진화 연산은 컴퓨터에서 진화를 흉내 내는 것이다. 연산 결과는 대개 단순한 규칙에 바탕을 둔 최적화 알고리즘이다.
2. 기계 학습에 대한 진화론적 방법론은 자연선택과 유전학 계산 모델에 근거한다.
3. 진화 연산은 유전 알고리즘, 진화 전략, 유전 프로그래밍을 포함하고 선택, 변이, 재생산을 이용하여 진화 모방
4. 진화 적합성(생존하고 재생산 하는 능력)
5. 적응형 위상(적합도를 나타나고자 하는 개념), 위상의 형태는 시간에 따라 변함, 연속함수이고 정적이지 않다.
6. 개체 집단을 만들고 그 집단의 적합도를 평가하며, 유전 연산자를 써서 새로운 집단을 만든다. 이 과정을 반복해서 진화 모방
7. 유전 알고리즘은 인공적인 염색체로 이루어진 한 해집단에서 다른 해집으로 넘어가는 일련의 절차적인 단계(교차, 변이 존재)
8. 유전 알고리즘은 교차, 변이가 존재하고, 염색체는 여러개의 유전자로 이루어진다. 유전자는 0과 1로 나타낸다.
9. 유전 알고리즘은 인코딩, 평가 두가지 메커니즘으로 유전 알고리즘과 문제를 연결한다.
10. 인코딩: 염색체를 0 과 1로 된 문자열로 나타낸다, 평가 함수: 풀려는 문제에 대한 염색체의 성능, 즉 적합도를 재는 데 사용한다.
11. 평가 함수: 자연진화의 환경의 역할, 적합도가 낮은 염색체는 삭제되고 살아남은 염색체가 점점 해 집단을 지배한다.
12. 유전 알고리즘은 생물학적 진화에 바탕을 둔 통계적 탐색 알고리즘 집합임
13. 유전 알고리즘 종료 조건: 만족할만한 해 찾을때 까지 반복, 해 집단에서 가장 좋은 염색체 찾기
14. 평균 적합도 높이는 방법: 룰렛휠 선택 -> 해 집단의 크기를 일정하게 유지하면서 평균 적합도 높이기
15. 교차는 염색체 사이의 n~n+i 번째까지 서로 교체, 변이는 n번째 염색체를 뒤집음 (n은 1부터 시작)
16. 디코딩 방법: 십진수 변환 * (실제범위(실제 범위 / (2^n -1))- (실제 범위/2) 여기서 n은 분할된 비트수
17. 피크 함수: x,y가 디코딩된 값을 피크 함수에 입력하여 염색체 각각의 적합도를 계산, 여러 변이율로 해를 비교한다.
18. 성능 그래프: 유전 알고리즘 성능을 나타내기 위한 그래프
19. 진화 전략: 자연의 돌연변이를 본받음, 변이 연산자만 사용, 새로운 해를 생성할때 모든 인자가 동시에 변함, 비선형 최적화 문제 해결
20. 유전 알고리즘: 교차 + 변이 사용, 인코딩해야 함 // 진화 전략: 변이만 사용, 인코딩 필요 없음
21. 유전 프로그래밍: 문제를 푸는 컴퓨터의 코드를 진화 시키는것, 유전 알고리즘 확장, 해는 프로그램 형태
22. LISP라는 언어를 사용해서 유전 프로그래밍을 구현한다. 기본 자료구조는 atom과 리스트이다.
23. 말단 집합 설정 -> 기본 함수 집합 선택 -> 적합도 함수 정의(문제에 따라 달라짐) -> 실행을 제어할 인자 결정 -> 적합도 높은 것 선정