added layers, synapses, neurons

kb/sd_algorithms_and_functions/nrel_activation_function.scs

@@ -6,14 +6,30 @@ nrel_activation_function=>nrel_idtf:[функция возбуждения](* <-
 		=> nrel_main_idtf: [Опр.(функция активации*)](* <- lang_ru;; *);;
 		<= nrel_sc_text_translation:...
 		(*
-			-> rrel_example: [Функция активации - взаимно-однозначное соответствие, областью определения которого являются множество нейронных узлов предыдущего слоя, а областью значений - множество сигналов текущего слоя, преобразованного по заданной формуле.](* <- lang_ru;; *);;
+			-> rrel_example: [Функция активации* - взаимно-однозначное соответствие, областью определения которого являются множество нейронных узлов предыдущего слоя, а областью значений - множество сигналов текущего слоя, преобразованного по заданной формуле.](* <- lang_ru;; *);;
 		*);;
 		-> rrel_key_sc_element: nrel_activation_function;;
 		<= nrel_using_constants :...
 		(*
 			->  nrel_bijective_mapping; concept_neuron_node; nrel_layer; logical_formula;;
 		*);;
 	*);; 
+
+ definition -> ...
+	(*
+		=> nrel_main_idtf: [Опр.(функция активации*)](* <- lang_ru;; *);;
+		<= nrel_sc_text_translation:...
+		(*
+			-> rrel_example: [Функция активации* - неролевое отношение, связывающее формальный нейрон с функцией,
+результат применения которой к взвешенной сумме нейрона определяет его выходное значение.](* <- lang_ru;; *);;
+		*);;
+		-> rrel_key_sc_element: nrel_activation_function;;
+		<= nrel_using_constants :...
+		(*
+			->  nrel_bijective_mapping; concept_neuron_node; nrel_layer; logical_formula;;
+		*);;
+	*);; 
+
  statement -> ...
 	(*
          -> rrel_key_sc_element: nrel_activation_function; nrel_inclusion; concept_neural_network_in_graphical_representation;;
@@ -23,8 +39,49 @@ nrel_activation_function=>nrel_idtf:[функция возбуждения](* <-
 			-> rrel_example: [Механизм любой нейронной сети подразумевает наличие функции активации](* <- lang_ru;; *);;
 		*);;
 	*);; 
-nrel_activation_function => nrel_first_domain: concept_neuron_node;;
- nrel_activation_function => nrel_second_domain: concept_neuron_node;;
+nrel_activation_function => nrel_first_domain: formal_neuron;;
+nrel_activation_function => nrel_second_domain: function;
+
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [линейная функция] (* <- lang_ru;; *);;
+
+
+*);
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [пороговая функция] (* <- lang_ru;; *);;
+*);
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [сигмоидная функция] (* <- lang_ru;; *);;
+*);
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [функция гиперболического тангенса] (* <- lang_ru;; *);;
+*);
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [функция ReLU] (* <- lang_ru;; *);;
+*);
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [функция softmax] (* <- lang_ru;; *);;
+*);;
+
+
  nrel_activation_function=> nrel_definitional_domain:...
 	(*
 		<= nrel_combination: number;;

kb/sd_output_data/nrel_output_layer.scs

@@ -3,7 +3,7 @@ nrel_output_layer
 	[выходной слой*]
 	(* <- lang_ru;; *);
 	=>nrel_idtf:
-	[обрабатывающий слой*]
+	[выходной слой*]
 	(* <- lang_ru;; *);
 
 ///////////////////////////////////////////////////////////////////////////////

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_artificial_neural_layers.scs

@@ -0,0 +1,93 @@
+concept_artificial_neural_network_layer
+// <- sc_node_class;
+<= nrel_inclusion: layer;
+
+	=> nrel_main_idtf:
+	[слой искусственной нейронной сети](* <-lang_ru;; *);
+	[artificial neural network layer](* <-lang_en;; *);
+
+	=> nrel_idtf:
+	[слой и.н.с.](* <-lang_ru;; *);
+	[слой](* <-lang_ru;; *);
+	[множество слоев искусственных нейронных сетей](* <-lang_ru;; *);
+
+///////////////////////////////////////////////////////////////////////////////
+
+	<-rrel_key_sc_element: 
+	Affirmation_of_concept_artificial_neural_network_layer
+		(*
+			-> rrel_key_sc_element: concept_artificial_neural_network_layer;;
+
+			=> nrel_main_idtf: [Примечание(слой и.н.с.)] (* <- lang_ru;; *);;
+
+			<= nrel_sc_text_translation: ...
+				(*
+					-> [Отдельный слой является искусственной нейронной сетью с одним слоем] (* <- lang_ru;; *);;
+					-> [Конфигурация слоя задается типом, количеством формальных нейронов, функцией активации] (* <- lang_ru;; *);;
+					-> [Функция активации слоя является функцией активации всех формальных нейронов этого слоя] (* <- lang_ru;; *);;
+					-> [Описание последовательности слоев и.н.с. с конфигурацией каждого слоя задает архитектуру и.н.с.] (* <- lang_ru;; *);;
+
+				*);;
+		*);
+///////////////////////////////////////////////////////////////////////////////
+	<-rrel_key_sc_element: 
+	Definition_of_concept_artificial_neural_network_layer
+		(*
+		  <- definition;;
+			<=nrel_sc_text_translation:...
+			(*
+				-> rrel_example: 
+				[<p>
+				<b>Слой и.н.с.</b> - это множество нейронных элементов, на которые в каждый такт времени параллельно
+				поступает информация от других нейронных элементов сети.
+				</p>]
+				(*
+				<- lang_ru;; 
+				=> nrel_format: format_html;;
+				*);;
+			*);;
+
+		=>nrel_main_idtf:[Опр. (слой и.н.с.)](* <-lang_ru;; => nrel_format: format_html;;*);;
+		*);
+////////////////////////////////////////////////////////////////////////////////
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [свёрточный слой искусственной нейронной сети] (* <- lang_ru;; *);;
+*);
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [полносвязный слой искусственной нейронной сети] (* <- lang_ru;; *);;
+*);
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [слой искусственной нейронной сети нелинейного преобразования] (* <- lang_ru;; *);;
+*);
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: 	[dropout_artificial_neural_network_layer](* <-lang_en;; *);;
+*);
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [pooling_artificial_neural_network_layer](* <-lang_en;; *);;
+*);
+
+=> nrel_subdividing: ...
+(*
+    <- sc_node_tuple;;
+    => nrel_main_idtf: [слой искусственной нейронной сети батч-нормализации] (* <- lang_ru;; *);;
+*);;
+
+
+
+
+concept_artificial_neural_network_layer<-rrel_explored_concept: section_subject_domain_of_layers;;

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_convolution_layer_of_an_artificial_neural_network.scs

@@ -0,0 +1,34 @@
+concept_convolution_layer_of_an_artificial_neural_network
+
+
+
+	=> nrel_main_idtf:
+	[свёрточный слой искусственной нейронной сети](* <-lang_ru;; *);
+	[convolution layer of an artificial neural network](* <-lang_en;; *);
+
+  => nrel_idtf:
+	[свёрточный слой и.н.с.](* <-lang_ru;; *);
+
+<-rrel_key_sc_element: 
+	Definition_of_concept_convolution_layer_of_an_artificial_neural_network
+		(*
+			<-definition;;
+			<=nrel_sc_text_translation:...
+			(*
+				-> rrel_example:
+				[<p>				
+				<b>Свёрточный и.н.с.</b>  - слой, в котором каждый нейрон является сверточным.
+        </p>] 
+				(*
+				<-lang_ru;;
+				=> nrel_format: format_html;;
+			  *);;
+      *);;
+		=>nrel_main_idtf:[Опр. (Свёрточный слой и.н.с).](* <-lang_ru;; => nrel_format: format_html;;*);;
+		*);
+    ///////////////////////////////////////////////////////////////////
+	=> nrel_first_domain:concept_artificial_neural_network;
+	=> nrel_second_domain:concept_artificial_neural_network_layer;;
+
+
+  convolution_layer_of_an_artificial_neural_network<-rrel_explored_concept: section_subject_domain_of_layers;;

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_dropout_artificial_neural_network_layer.scs

@@ -0,0 +1,40 @@
+concept_dropout_artificial_neural_network_layer
+
+	=> nrel_main_idtf:
+	[dropout_artificial_neural_network_layer](* <-lang_en;; *);
+
+	=> nrel_idtf:
+	[слой, реализующий технику регуляризации dropout](* <-lang_ru;; *);
+
+
+	<-rrel_key_sc_element: 
+	Affirmation_of_concept_dropout_artificial_neural_network_layer
+		(*
+			-> rrel_key_sc_element: cconcept_dropout_artificial_neural_network_layer;;
+
+			=> nrel_main_idtf: [Примечание(dropout_artificial_neural_network_layer)] (* <- lang_en;; *);;
+
+			<= nrel_sc_text_translation: ...
+				(*
+					-> [Данный тип слоя функционирует только во время обучения и.н.с.] (* <- lang_ru;; *);;
+
+				*);;
+		*);
+
+    <-rrel_key_sc_element: 
+	Affirmation_of_concept_dropout_artificial_neural_network_layer
+		(*
+			-> rrel_key_sc_element: concept_dropout_artificial_neural_network_layer;;
+
+			=> nrel_main_idtf: [Пояснение(dropout_artificial_neural_network_layer)] (* <- lang_en;; *);;
+
+			<= nrel_sc_text_translation: ...
+				(*
+					-> [Поскольку полносвязные слои имеют большое количество настраиваемых параметров,
+они подвержены эффекту переобучения. Один из способов устранить такой негативный
+эффект — выполнить частичный отсев результатов на выходе полносвязного слоя. На
+этапе обучения техника dropout позволяет отбросить выходную активность некоторых
+нейронов с определенной, заданной вероятностью. Выходная активность “отброшенных”
+нейронов полагается равной нулю.](*<-lang_ru;;*);;
+				*);;
+		*);;

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_full_link_layer_of_artificial_neural_network.scs

@@ -0,0 +1,42 @@
+concept_full_link_layer_of_artificial_neural_network
+
+	=> nrel_main_idtf:
+	[полносвязный слой искусственной нейронной сети](* <-lang_ru;; *);
+	[full-link layer of artificial neural network](* <-lang_en;; *);
+
+  => nrel_idtf:
+	[полносвязный слой и.н.с.](* <-lang_ru;; *);
+
+<-rrel_key_sc_element: 
+	Definition_of_concept_full_link_layer_of_artificial_neural_network
+		(*
+			<-definition;;
+			<=nrel_sc_text_translation:...
+			(*
+				-> rrel_example:
+				[<p>				
+				<b>Полносвязный слой и.н.с.</b>  - слой, в котором каждый нейрон имеет связь с каждым нейроном предшествующего
+        слоя.
+        </p>] 
+				(*
+				<-lang_ru;;
+				=> nrel_format: format_html;;
+				*);;
+				-> rrel_example:
+				[<p>				
+        <b>Полносвязный слой и.н.с.</b>  - слой, в котором каждый нейрон является полносвязным.
+        </p>] 
+				(*
+				<-lang_ru;;
+				=> nrel_format: format_html;;
+				*);;
+			*);;
+
+		=>nrel_main_idtf:[Опр. (Полносвязный слой и.н.с.)](* <-lang_ru;; => nrel_format: format_html;;*);;
+		*);
+    ///////////////////////////////////////////////////////////////////
+	=> nrel_first_domain:concept_artificial_neural_network;
+	=> nrel_second_domain:concept_artificial_neural_network_layer;;
+
+
+  concept_full_link_layer_of_artificial_neural_network<-rrel_explored_concept: section_subject_domain_of_layers;;

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_layer_of_artificial_neural_networks_of_nonlinear_transformation.scs

@@ -0,0 +1,65 @@
+concept_layer_of_artificial_neural_networks_of_nonlinear_transformation
+
+
+
+	=> nrel_main_idtf:
+	[слой искусственной нейронной сети нелинейного преобразования](* <-lang_ru;; *);
+	[layer of artificial neural network of nonlinear transformation](* <-lang_en;; *);
+
+  => nrel_idtf:
+	[слой и.н.с. нелинейного преобразования](* <-lang_ru;; *);
+
+<-rrel_key_sc_element: 
+	Definition_of_concept_layer_of_artificial_neural_networks_of_nonlinear_transformation
+		(*
+			<-definition;;
+			<=nrel_sc_text_translation:...
+			(*
+				-> rrel_example:
+				[<p>				
+				<b>Слой и.н.с. нелинейного преобразования</b>  - слой, осуществляющий нелинейное преобразование входных данных.
+        </p>] 
+				(*
+				<-lang_ru;;
+				=> nrel_format: format_html;;
+			  *);;
+      *);;
+		=>nrel_main_idtf:[Опр. (слой и.н.с нелинейного преобразования).](* <-lang_ru;; => nrel_format: format_html;;*);;
+		*);
+    ///////////////////////////////////////////////////////////////////
+	<-rrel_key_sc_element: 
+	Affirmation_of_concept_layer_of_artificial_neural_networks_of_nonlinear_transformation
+		(*
+			-> rrel_key_sc_element: concept_artificial_neural_network_layer;;
+
+			=> nrel_main_idtf: [Пояснение(слой и.н.с. нелинейного преобразования)] (* <- lang_ru;; *);;
+
+			<= nrel_sc_text_translation: ...
+				(*
+					-> [Не изменяет размерность входных данных.] (* <- lang_ru;; *);;
+
+				*);;
+		*);
+
+
+	<-rrel_key_sc_element: 
+	Affirmation_of_concept_layer_of_artificial_neural_networks_of_nonlinear_transformation
+		(*
+			-> rrel_key_sc_element: concept_artificial_neural_network_layer;;
+
+			=> nrel_main_idtf: [Примечание(слой и.н.с. нелинейного преобразования)] (* <- lang_ru;; *);;
+
+			<= nrel_sc_text_translation: ...
+				(*
+					-> [Как правило, выделяются в отдельные слои только в программных реализациях.
+Фактически рассматриваются как финальный этап расчета выходной активности
+любого нейрона — применение функции активации.] (* <- lang_ru;; *);;
+
+				*);;
+		*);
+
+  => nrel_first_domain:concept_artificial_neural_network;
+	=> nrel_second_domain:concept_artificial_neural_network_layer;;
+
+
+  concept_layer_of_artificial_neural_networks_of_nonlinear_transformation<-rrel_explored_concept: section_subject_domain_of_layers;;

kb/sd_structure_of_artificial_neural_networks/SD_layers/concept_pooling_artificial_neural_network_layer.scs

@@ -0,0 +1,10 @@
+concept_pooling_artificial_neural_network_layer
+
+  => nrel_main_idtf:
+    [pooling_artificial_neural_network_layer](* <-lang_en;; *);
+
+  => nrel_idtf:
+    [подвыборочный слой](* <-lang_ru;; *);
+    [объединяющий слой](* <-lang_ru;; *);
+    [слой, осуществляющий уменьшение размерности входных данных](* <-lang_ru;; *);;
+