壓縮近鄰法：

1. %% 剪輯近鄰法
   
2. %% 初始化操作
   
3. clc
   
4. close all
   
5. clear all
   
6. n=100;
   
7. N=3*n;
   
8. %% 訓(xùn)練樣本1 二維聯(lián)合正態(tài)分布的期望和方差，并隨機(jī)產(chǎn)生 N 個(gè)樣本
   
9. mu1=[2 3];
   
10. SIGMA1=[20 1.5; 1.5 30];
    
11. tra_sam1 = mvnrnd(mu1,SIGMA1,N);
    
12. %% 訓(xùn)練樣本2 二維聯(lián)合正態(tài)分布的期望和方差，并隨機(jī)產(chǎn)生 N 個(gè)樣本
    
13. mu2=[10,11];
    
14. SIGMA2=[20 1.5;1.5 30];
    
15. tra_sam2 = mvnrnd(mu2,SIGMA2,N);
    
16. %% 保留原始樣本
    
17. tra_sam_org1=tra_sam1;
    
18. tra_sam_org2=tra_sam2;
    
19. %% 對(duì)樣本進(jìn)行分類(lèi)，分為3類(lèi)
    
20. num0=0; %% 用于存放上一次剪輯后樣本個(gè)數(shù)
    
21. edit_time=0; %% 記錄剪輯次數(shù)
    
22. m=0;    %% 記錄沒(méi)有可被剪輯樣本的連續(xù)次數(shù)
    
23. N1=N;N2=N; %%分別記錄剪輯后樣本類(lèi)1，類(lèi)2的樣本個(gè)數(shù)
    
24. while m<5
    
25.     m11=1;m21=1;m31=1;
    
26.     m12=1;m22=1;m32=1;
    
27.     %% 將樣本分成三類(lèi)
    
28.     for i=1:N1
    
29.         t=rand;
    
30.         if t<=0.33
    
31.             cell_sam11(m11,:)=tra_sam1(i,:);
    
32.             m11=m11+1;
    
33.         elseif t<=0.66
    
34.             cell_sam21(m21,:)=tra_sam1(i,:);
    
35.             m21=m21+1;
    
36.         else
    
37.             cell_sam31(m31,:)=tra_sam1(i,:);
    
38.             m31=m31+1;
    
39.         end
    
40.     end
    
41.     for i=1:N2
    
42.         s=rand;
    
43.         if s<=0.33
    
44.             cell_sam12(m12,:)=tra_sam2(i,:);
    
45.             m12=m12+1;
    
46.         elseif s<=0.66
    
47.             cell_sam22(m22,:)=tra_sam2(i,:);
    
48.             m22=m22+1;
    
49.         else
    
50.             cell_sam32(m32,:)=tra_sam2(i,:);
    
51.             m32=m32+1;
    
52.         end
    
53.     end
    
54. 
    
55.     %% 對(duì)子集進(jìn)行剪輯，去掉錯(cuò)分的樣本
    
56.     %% 利用子集2，對(duì)子集1中的cell_sam11進(jìn)行裁剪
    
57.     cell_sam11=cutting(cell_sam11,cell_sam21,cell_sam22);
    
58.     %% 利用子集2，對(duì)子集1中的cell_sam12進(jìn)行裁剪
    
59.     cell_sam12=cutting(cell_sam12,cell_sam22,cell_sam21);
    
60. 
    
61.     %% 利用子集3，對(duì)子集2中的cell_sam21進(jìn)行裁剪
    
62.     cell_sam21=cutting(cell_sam21,cell_sam31,cell_sam32);
    
63.     %% 利用子集3，對(duì)子集2中的cell_sam22進(jìn)行裁剪
    
64.     cell_sam22=cutting(cell_sam22,cell_sam32,cell_sam31);
    
65. 
    
66.     %% 利用子集1，對(duì)子集3中的cell_sam31進(jìn)行裁剪
    
67.     cell_sam31=cutting(cell_sam31,cell_sam11,cell_sam12);
    
68.     %% 利用子集1，對(duì)子集3中的cell_sam32進(jìn)行裁剪
    
69.     cell_sam32=cutting(cell_sam32,cell_sam12,cell_sam11);
    
70.    
    
71.     %% 剪輯后對(duì)樣本進(jìn)行整理，合并，組成新的訓(xùn)練樣本
    
72.     tra_sam1=[cell_sam11;cell_sam21;cell_sam31];
    
73.     tra_sam2=[cell_sam12;cell_sam22;cell_sam32];
    
74.     cell_sam11=zeros(1,2);cell_sam21=zeros(1,2);cell_sam31=zeros(1,2);
    
75.     cell_sam12=zeros(1,2);cell_sam22=zeros(1,2);cell_sam32=zeros(1,2);
    
76.     [a1,b1]=size(tra_sam1);  
    
77.     [c1,d1]=size(tra_sam2);
    
78.     num1=a1+c1;  %% 計(jì)算剩余總樣本個(gè)數(shù)
    
79.     N1=a1;
    
80.     N2=c1;
    
81.     if (num1-num0==0)
    
82.         m=m+1;
    
83.     else
    
84.         m=0;
    
85.     end
    
86.     num0=num1;
    
87.     edit_time=edit_time+1;
    
88.       
    
89. end
    
90. %% -------------------%%
    
91. %% 對(duì)剪輯好的樣本進(jìn)行壓縮
    
92. grabbag1=tra_sam1;
    
93. grabbag2=tra_sam2;
    
94. grabbag=[grabbag1;grabbag2];
    
95. %% 計(jì)算存儲(chǔ)器grabbag中類(lèi)1和類(lèi)2 的個(gè)數(shù)
    
96. [gra_r1,column3]=size(grabbag1);
    
97. [gra_r2,column4]=size(grabbag2);
    
98. %% 隨機(jī)選取一個(gè)樣本放入store中，
    
99. %% 可以等價(jià)為隨機(jī)選取類(lèi)1和類(lèi)2,兩個(gè)樣本放入store中
    
100. store1=grabbag1(1,:);
     
101. grabbag1=grabbag1(2:gra_r1,:);
     
102. gra_r1=gra_r1-1;
     
103. store2=grabbag2(1,:);
     
104. grabbag2=grabbag2(2:gra_r2,:);
     
105. gra_r2=gra_r2-1;
     
106. gra_r=gra_r1+gra_r2;
     
107. 
     
108. sto_num1=2;%% store 的下標(biāo)
     
109. sto_num2=2;
     
110. gra_tem=0;
     
111. m=0;
     
112. while(m<2*gra_r)
     
113.     t=rand;
     
114.     if t<=0.5 %% 如果屬于類(lèi)1
     
115.         q=randperm(gra_r1);
     
116.         for i=1:sto_num1-1
     
117.             distance1(i)=norm(grabbag1(q(1),:)-store1(i,:));
     
118.         end
     
119.         for i=1:sto_num2-1
     
120.             distance2(i)=norm(grabbag1(q(1),:)-store2(i,:));
     
121.         end
     
122.         dist_min1=min(distance1);
     
123.         dist_min2=min(distance2);
     
124.         if dist_min1>dist_min2 %% 如果判斷錯(cuò)誤，放入store
     
125.             store1(sto_num1,:)=grabbag1(q(1),:);
     
126.             grabbag1=[grabbag1(1:q(1)-1,:);grabbag1(q(1)+1:gra_r1,:)];
     
127.             gra_r1=gra_r1-1;
     
128.             sto_num1=sto_num1+1;
     
129.         end
     
130.     else  %% 如果屬于類(lèi)2
     
131.         q=randperm(gra_r2);
     
132.         for i=1:sto_num1-1
     
133.             distance1(i)=norm(grabbag2(q(1),:)-store1(i,:));
     
134.         end
     
135.         for i=1:sto_num2-1
     
136.             distance2(i)=norm(grabbag2(q(1),:)-store2(i,:));
     
137.         end
     
138.         dist_min1=min(distance1);
     
139.         dist_min2=min(distance2);
     
140.         if dist_min1<dist_min2 %% 如果判斷錯(cuò)誤，放入store
     
141.             store2(sto_num2,:)=grabbag2(q(1),:);
     
142.             grabbag2=[grabbag2(1:q(1)-1,:);grabbag2(q(1)+1:gra_r2,:)];
     
143.             gra_r2=gra_r2-1;
     
144.             sto_num2=sto_num2+1;
     
145.         end   
     
146.     end
     
147.     gra_r=gra_r1+gra_r2;
     
148.     if gra_r==gra_tem
     
149.         m=m+1;
     
150.     else
     
151.         m=0;
     
152.     end
     
153.     gra_tem=gra_r;
     
154. end
     
155. edit_time
     
156. sto_num1=sto_num1-1
     
157. sto_num2=sto_num2-1
     
158. %% 繪圖
     
159. %% 繪制原始樣本點(diǎn)
     
160. figure('NumberTitle', 'off', 'Name', '原樣本點(diǎn)');
     
161. scatter(tra_sam_org1(:,1),tra_sam_org1(:,2),'r')
     
162. hold on
     
163. scatter(tra_sam_org2(:,1),tra_sam_org2(:,2),50,'kx')
     
164. axis([-20,30,-20,30])
     
165. title('原始樣本')
     
166. xlabel('特征1')
     
167. ylabel('特征2')
     
168. legend('類(lèi)1','類(lèi)2',2)
     
169. %% 繪制剪輯后樣本點(diǎn)
     
170. figure('NumberTitle', 'off', 'Name', '剪輯后樣本點(diǎn)');
     
171. scatter(tra_sam1(:,1),tra_sam1(:,2),'r')
     
172. hold on
     
173. scatter(tra_sam2(:,1),tra_sam2(:,2),50,'kx')
     
174. axis([-20,30,-20,30])
     
175. title('算法終止時(shí)樣本點(diǎn)')
     
176. xlabel('特征1')
     
177. ylabel('特征2')
     
178. legend('類(lèi)1','類(lèi)2',2)
     
179. %% 繪制壓縮后樣本點(diǎn)
     
180. figure('NumberTitle', 'off', 'Name', '壓縮后樣本點(diǎn)');
     
181. scatter(store1(:,1),store1(:,2),'r')
     
182. hold on
     
183. scatter(store2(:,1),store2(:,2),50,'kx')
     
184. axis([-20,30,-20,30])
     
185. title('壓縮后樣本點(diǎn)')
     
186. xlabel('特征1')
     
187. ylabel('特征2')
     
188. legend('類(lèi)1','類(lèi)2',2)
     
189. 
     
190.    
     
191.    
     
192.    

復(fù)制代碼

c均值算法：

1. %% c-均值算法
   
2. %% 初始化操作
   
3. clc
   
4. close all
   
5. clear all
   
6. n=100;
   
7. N=5*n;
   
8. %% 產(chǎn)生5類(lèi)隨機(jī)樣本，假設(shè)類(lèi)別數(shù)已知
   
9. %% 樣本1
   
10. mu1=[2 2];
    
11. SIGMA1=[1 1.5; 1.5 3];
    
12. tra_sam1 = mvnrnd(mu1,SIGMA1,n);
    
13. %% 樣本2
    
14. mu2=[20,20];
    
15. SIGMA2=[4 3;3 5];
    
16. tra_sam2 = mvnrnd(mu2,SIGMA2,n);
    
17. %% 樣本3
    
18. mu2=[11,11];
    
19. SIGMA2=[1 1;1 2];
    
20. tra_sam3 = mvnrnd(mu2,SIGMA2,n);
    
21. %% 樣本4
    
22. mu2=[20,2];
    
23. SIGMA2=[2 1.2;1.2 4];
    
24. tra_sam4 = mvnrnd(mu2,SIGMA2,n);
    
25. %% 樣本5
    
26. mu2=[2,20];
    
27. SIGMA2=[3 2;2 3];
    
28. tra_sam5 = mvnrnd(mu2,SIGMA2,n);
    
29. tra_sam=[tra_sam1;tra_sam2;tra_sam3;tra_sam4;tra_sam5];
    
30. %% 將樣本隨機(jī)分成5類(lèi)，計(jì)算代表點(diǎn)
    
31. n1=1;n2=1;n3=1;n4=1;n5=1;
    
32. for i=1:N
    
33.     t=rand;
    
34.     if t<=0.2
    
35.         cell_sam1(n1,:)=tra_sam(i,:);
    
36.         n1=n1+1;
    
37.     elseif t<=0.4
    
38.         cell_sam2(n2,:)=tra_sam(i,:);
    
39.         n2=n2+1;
    
40.     elseif t<=0.6
    
41.         cell_sam3(n3,:)=tra_sam(i,:);
    
42.         n3=n3+1;
    
43.     elseif t<0.8
    
44.         cell_sam4(n4,:)=tra_sam(i,:);
    
45.         n4=n4+1;
    
46.     else
    
47.         cell_sam5(n5,:)=tra_sam(i,:);
    
48.         n5=n5+1;
    
49.     end
    
50. end
    
51. %% 求每類(lèi)的均值
    
52. m1=mean(cell_sam1);
    
53. m2=mean(cell_sam2);
    
54. m3=mean(cell_sam3);
    
55. m4=mean(cell_sam4);
    
56. m5=mean(cell_sam5);
    
57. m=[m1;m2;m3;m4;m5];
    
58. 
    
59. cell_sam1=zeros(1,2);cell_sam2=zeros(1,2);
    
60. cell_sam3=zeros(1,2);cell_sam4=zeros(1,2);
    
61. cell_sam5=zeros(1,2);
    
62. n1=1;n2=1;n3=1;n4=1;n5=1;
    
63. %% 獲得初始分類(lèi)
    
64. for i=1:N
    
65.     for j=1:5
    
66.         distance1(j)=norm(tra_sam(i,:)-m(j,:));
    
67.     end
    
68.     [a,b]=min(distance1);
    
69.     if b==1
    
70.         cell_sam1(n1,:)=tra_sam(i,:);
    
71.         n1=n1+1;
    
72.     elseif b==2
    
73.         cell_sam2(n2,:)=tra_sam(i,:);
    
74.         n2=n2+1;
    
75.     elseif b==3
    
76.         cell_sam3(n3,:)=tra_sam(i,:);
    
77.         n3=n3+1;
    
78.     elseif b==4
    
79.         cell_sam4(n4,:)=tra_sam(i,:);
    
80.         n4=n4+1;
    
81.     else
    
82.         cell_sam5(n5,:)=tra_sam(i,:);
    
83.         n5=n5+1;
    
84.     end   
    
85. end
    
86. %% 移動(dòng)初始分類(lèi)的樣本使分類(lèi)更加合理
    
87. j_num=0;j_e1=0;
    
88. while (j_num<5)
    
89.     [cell_sam1,cell_sam2,cell_sam3,cell_sam4,cell_sam5]=y_move(cell_sam1,cell_sam2,cell_sam3,cell_sam4,cell_sam5);
    
90.     [cell_sam2,cell_sam1,cell_sam3,cell_sam4,cell_sam5]=y_move(cell_sam2,cell_sam1,cell_sam3,cell_sam4,cell_sam5);
    
91.     [cell_sam3,cell_sam1,cell_sam2,cell_sam4,cell_sam5]=y_move(cell_sam3,cell_sam1,cell_sam2,cell_sam4,cell_sam5);
    
92.     [cell_sam4,cell_sam1,cell_sam2,cell_sam3,cell_sam5]=y_move(cell_sam4,cell_sam1,cell_sam2,cell_sam3,cell_sam5);
    
93.     [cell_sam5,cell_sam1,cell_sam2,cell_sam3,cell_sam4]=y_move(cell_sam5,cell_sam1,cell_sam2,cell_sam3,cell_sam4);
    
94.     %% 計(jì)算改變后的誤差平方
    
95.     m1=mean(cell_sam1);
    
96.     m2=mean(cell_sam2);
    
97.     m3=mean(cell_sam3);
    
98.     m4=mean(cell_sam4);
    
99.     m5=mean(cell_sam5);
    
100.     [r1,c1]=size(cell_sam1);
     
101.     [r2,c2]=size(cell_sam2);
     
102.     [r3,c3]=size(cell_sam3);
     
103.     [r4,c4]=size(cell_sam4);
     
104.     [r5,c5]=size(cell_sam5);
     
105.     j_e=0;
     
106.     for i=1:r1
     
107.         j_e=j_e+norm(cell_sam1(i,:)-m1)^2;
     
108.     end
     
109.     for i=1:r2
     
110.         j_e=j_e+norm(cell_sam2(i,:)-m2)^2;
     
111.     end
     
112.     for i=1:r3
     
113.         j_e=j_e+norm(cell_sam3(i,:)-m3)^2;
     
114.     end
     
115.     for i=1:r4
     
116.         j_e=j_e+norm(cell_sam4(i,:)-m4)^2;
     
117.     end
     
118.     for i=1:r5
     
119.         j_e=j_e+norm(cell_sam5(i,:)-m5)^2;
     
120.     end
     
121.     if abs(j_e1-j_e)<=0.001
     
122.         j_num=j_num+1;
     
123.     else
     
124.         j_num=0;
     
125.     end
     
126.     j_e1=j_e;
     
127. end
     
128. 
     
129. % 繪圖
     
130. figure('NumberTitle', 'off', 'Name', '待分類(lèi)樣本點(diǎn)');
     
131. scatter(tra_sam1(:,1),tra_sam1(:,2),'r')
     
132. hold on
     
133. scatter(tra_sam2(:,1),tra_sam2(:,2),'k')
     
134. hold on
     
135. scatter(tra_sam3(:,1),tra_sam3(:,2),'b')
     
136. hold on
     
137. scatter(tra_sam4(:,1),tra_sam4(:,2),'y')
     
138. hold on
     
139. scatter(tra_sam5(:,1),tra_sam5(:,2),'g')
     
140. title('待分類(lèi)樣本點(diǎn)')
     
141. xlabel('特征1')
     
142. ylabel('特征2')
     
143. legend('類(lèi)1','類(lèi)2','類(lèi)3','類(lèi)4','類(lèi)5',2)
     
144. 
     
145. figure('NumberTitle', 'off', 'Name', '分類(lèi)后樣本點(diǎn)與正確分類(lèi)樣本點(diǎn)對(duì)比');
     
146. scatter(cell_sam1(:,1),cell_sam1(:,2),'rx')
     
147. hold on
     
148. scatter(cell_sam2(:,1),cell_sam2(:,2),'kx')
     
149. hold on
     
150. scatter(cell_sam3(:,1),cell_sam3(:,2),'bx')
     
151. hold on
     
152. scatter(cell_sam4(:,1),cell_sam4(:,2),'yx')
     
153. hold on
     
154. scatter(cell_sam5(:,1),cell_sam5(:,2),'gx')
     
155. hold on
     
156. scatter(tra_sam1(:,1),tra_sam1(:,2),'r')
     
157. hold on
     
158. scatter(tra_sam2(:,1),tra_sam2(:,2),'k')
     
159. hold on
     
160. scatter(tra_sam3(:,1),tra_sam3(:,2),'b')
     
161. hold on
     
162. scatter(tra_sam4(:,1),tra_sam4(:,2),'y')
     
163. hold on
     
164. scatter(tra_sam5(:,1),tra_sam5(:,2),'g')
     
165. title('分類(lèi)后樣本點(diǎn)與正確分類(lèi)樣本點(diǎn)對(duì)比')
     
166. xlabel('特征1')
     
167. ylabel('特征2')
     
168. legend('類(lèi)1','類(lèi)2','類(lèi)3','類(lèi)4','類(lèi)5',2)
     
169. 
     
170. 
     
171. 
     
172. 
     

復(fù)制代碼

bayes判別：

1. % 初始設(shè)置
   
2. clc
   
3. clear all
   
4. close all
   
5. n=2000;           %% 樣本個(gè)數(shù)為 2*n
   
6. n1=0;n2=0;       %% 判別為類(lèi)1的個(gè)數(shù)為n1，判別為類(lèi)2的個(gè)數(shù)為n2
   
7. m1=1;m2=1;
   
8. error1to2=0;error2to1=0;     %% erroritoj為類(lèi)i判為類(lèi)j的錯(cuò)誤個(gè)數(shù)
   
9. % 類(lèi)別1的二維聯(lián)合正態(tài)分布的期望和方差，并隨機(jī)產(chǎn)生 n 個(gè)樣本
   
10. mu1=[3 4];
    
11. sigma1=[1 1.5; 1.5 3];
    
12. x1 = mvnrnd(mu1,sigma1,n);
    
13. 
    
14. %%類(lèi)別2的二維聯(lián)合正態(tài)分布的期望和方差，并隨機(jī)產(chǎn)生 n 個(gè)樣本
    
15. mu2=[8,9];
    
16. sigma2=[2 3;3 5];
    
17. x2 = mvnrnd(mu2,sigma2,n);
    
18. % 判別函數(shù)g(x)進(jìn)行判別
    
19. 
    
20. for i=1:1:n
    
21.     if g(x1(i,:),mu1,sigma1)>=g(x1(i,:),mu2,sigma2)
    
22.         X1(m1,:)=x1(i,:);
    
23.         m1=m1+1;
    
24.     else
    
25.         X2(m2,:)=x1(i,:);
    
26.         m2=m2+1;
    
27.         erroe1to2=error1to2+1;
    
28.     end
    
29. end
    
30. for i=1:1:n
    
31.     if g(x2(i,:),mu1,sigma1)>=g(x2(i,:),mu2,sigma2)
    
32.         X1(m1,:)=x2(i,:);
    
33.         m1=m1+1;
    
34.         error2to1=error2to1+1;
    
35.     else
    
36.         X2(m2,:)=x2(i,:);
    
37.         m2=m2+1;
    
38.     end
    
39. end
    
40. %%%%%%繪圖
    
41. % 原始樣本點(diǎn)
    
42. figure('NumberTitle', 'off', 'Name', '原樣本點(diǎn)');
    
43. scatter(x1(:,1),x1(:,2),'r')
    
44. hold on
    
45. scatter(x2(:,1),x2(:,2),50,'kx')
    
46. title('原始樣本')
    
47. xlabel('樣本1')
    
48. ylabel('樣本2')
    
49. legend('第一類(lèi)樣本','第二類(lèi)樣本',0);
    
50.   
    
51. % 分類(lèi)后樣本點(diǎn)
    
52. figure('NumberTitle', 'off', 'Name', '分類(lèi)樣本點(diǎn)');
    
53. scatter(x1(:,1),x1(:,2),'r')
    
54. hold on
    
55. scatter(x2(:,1),x2(:,2),50,'kx')
    
56. hold on
    
57. scatter(X1(:,1),X1(:,2),'r')
    
58. hold on
    
59. scatter(X2(:,1),X2(:,2),50,'kx')
    
60. title('分類(lèi)后的樣本')
    
61. xlabel('樣本1')
    
62. ylabel('樣本2')
    
63. legend('第一類(lèi)樣本','第二類(lèi)樣本',0);
    

復(fù)制代碼