top-p, temperature

 

인공지능의 답변을 컨트롤 하기 위해 관련있는 top P,temperature에 대해 공부함.

아래는 Openai playground이고 예시로 사용할 예정.

TOP P는 최대 1까지 설정이 가능하고

temperature는 0부터 2까지 설정 가능함.

 

 

아래는 2가지의 예시가 있음.

확률분포가 완만한 flat과 한쪽으로 몰린 peaked가 있음

 

 

top P를 0.5로 설정함

flat : 각 확률이 0.08 미만인 flat에서는 7~8개 정도를 뽑고 거기서 하나를 뽑음

peaked : hot이 나타날 확률이 0.8임으로 top P를 0.5로 설정했기에 hot이 나타남.

 

 

아래는 temperature가 1일 경우 sotfmax의 공식과 같다고 알려진 내용

 

 

 

아래는 기본값 z 와 temperature가 1일 때의 값인 softmax 값과 temperature가 0.5일 때의 값과 temperature가 1.5일 때의 값들을 비교한 것

 

중요한 점은 노란색으로 색칠되어진 확률들을 비교하면 된다.

 

temperature가 1이여도 값들의 분포도가 확실히 완만해지고 1.5가 되면 굉장히 완만해진다.

이렇기 때문에 openai에서는 2까지만 사용하도록 설정한 것 같다.

temperature를 0.5로 해줘도 완만해진다. 솔직히 어느값까지 넣어야 완만해지는지 궁금했었는데

0.5를 넣어도 완만해지는 것을 보고 뾰족하게 만들려면 생각보다 더 작은 값을 넣어야겠다고 생각이 들었다.