Хочу понять как работают нейронные сети, помогите пожалуйста ...

[Nemo]

Сообщение от tac

Вот касательно сигмоидальной функции - полная лажа ... но все таки укажите страничку где эта "умная" (т.е. бредовая) теорема ...

стр.939, там есть ссылка на источник.

[tac]

Сообщение от Nemo

стр.939, там есть ссылка на источник.

А ну, там все нормально, на страницу ранее говорится как раз то, что пороговой функции достаточно, и при сигмоидальной возникают сложности (это уже после теоремы) ...

[tac]

Сообщение от VladimirKox

Tac!А в чем проблема то - есть какая то новая теория про участие глии в запоминании ? Появилась новое предположение о новой функции? Или же просто отобрали то, что раньше числилось за нейронами ?
Не совсем новая и не совсем теория О значении глии хорошо написано в ссылке, которую я дал в посте #8 в теме "Эволюция ЦНС и Ig".
Соматическая мутация, появившаяся в глиоците и сохраняющаяся на протяжении всей жизни, в отличие от других биохимических изменений макромолекул, может оказать делокализованное воздействие на ЦНС, усилившись за счет пролиферации глиоцитарного пула, потому что глиоциты не привязаны к месту синапсами как нейроны. Т.Е. глиоцитарные пулы, в отличие от нейронов, способны осуществлять поиск мембранных маркеров нейронных ансамблей, что необходимо для осуществления направленного синаптогенеза ИМХО.
А компенсатороный синаптогенез при кокаиновой зависимости белее выражен на аксоне, может и циклы реверберации прерываются за счет аксональной блокады ПД с помощью каких-либо гуморальных (внесинаптических) факторов?
Такая регулировка электрофизиологической активности нейронов более оперативна, чем регулировка с помощью синаптогенеза ИМХО. А вот после образования синапсов, гуморальные факторы уходят на второй план.

Итак, что мы имеем - нейроглия теперь представляется как некая надсистема, которая управляет нейроной сетью. Как минимум она создает и уничтожает синапсы, т.е. оптимально настраивает нейронную сеть исходя из наблюдений над ее активностью.
В теории ИНС - сейчас тоже появилась тенденция следить за тем как правильнее связать связи в ИНС (отказ от полносвязных моделей уже давно произошел). Но здесь также есть ряд информационных проблем. Как правило сейчас предлагаются некие генетические алгоритмы, которые якобы этим занимаются (создают архитектуру сети) - но это глупости, они ничем не занимаются - и не способны на это. Причина здесь проста - нету критерия, когда считать связь между нейронами необходимо и полезной.
Поэтому от нейрофизиологов нужен хотя бы намек на то в каких случаях связь создается, а в каких удаляется - что может служить для нейроглии поводом соединить два нейрона ? Понятно, что для этого нужен анализ не локального (т.к. память распределенная), а глобального контекста - но как раз это кажется есть у нейроглии. Остается выяснить на сколько это глобальный контекст - и какой процесс и в каких случаях запускает создание связей между нейронами. Возможно для этих целей нейроглия "запоминает" даже историю происходившей активности нейронов (?), но остается выяснить происходит ли создание связей между нейронами лишь при недостатки памяти, и как часто она может перестраивать нейроную систему - может ли она оперировать нейронной сетью как динамической машиной, создавая ее для своих расчетов, запоминая результаты, затем перестраивая и снова пропускать новые расчеты ... т.е. возникает ли отношения полноценная система "глобальный контекст - локальный алгоритм", где глобальный контекст может динамически видоизменять локальные алгоритмы, или же речь идет лишь об оптимизации локального алгоритма (раз в год), зная глобальный контекст.


Вот в статье пишут: "Следя за флуоресценцией, Томпсон увидел, что шванновские клетки, окружавшие интактные синапсы, почувствовали, что синапс-сосед оказался в беде. Тогда они дружно выпустили в его сторону отростки, дотянулись ими до поврежденного синапса и образовали своего рода мостик, по которому аксон мог послать к своему синапсу новую проекцию"

Во весь вопрос в том как они почувствовали ? Что было основой для этого чутья ?

[VladimirKox]

Причина здесь проста - нету критерия, когда считать связь между нейронами необходимо и полезной.
Скореллированно возникающие и длительно существующие циклы реверберации надо гасить, чтоб АТФ не тратилась. Иначе наработаются "медиаторы усталости" типа аденозина, будет трабл и головная боль.
Если при гашении, за счет временной перестройки НС, выделяется какой - либо "эндорфин" - это хорошо=эйфория, "поведенческую" реакцию надо ускорить за счет морфологических перестроек и образовать синапсы (это уже формирование навыка). Большая часть "поведенческих" реакций протекает в скрытом виде, участвуя в прогнозировании ситуации (вызывая короткоживущие циклы реверберации ИМХО = образы или стереотипы).
Отказ от поиска решения = (удачного стереотипа) - тоже стереотип, подкрепляемый "эндорфином".
весь вопрос в том как они почувствовали? Что было основой для этого чутья ?
Для проявления реакции лимфоцитов требуется СИСТЕМА КОМПЛЕМЕНТА http://ru.wikipedia.org/wiki/%D0%A1%...BD%D1%82%D0%B0
Возможно, и у глиоцитов есть похожая каскадная система унифицированных белков, только результатом совместной деятельности этих белков является не лизис мишени, а нечто другое. Следует учесть, что глиоцитарные белки (если они есть) работают локально - количества будут мизерные.
Короче, фиксировать фенотип глиоцитов надо, например, с помощью соматической гибридизации и смотреть мембранные антигены, секретируемые белки, гетерогенность популяции, соотношение и расположение субпопуляций, как это на лимфоцитах уже делали.

[tac]

Сообщение от VladimirKox

Причина здесь проста - нету критерия, когда считать связь между нейронами необходимо и полезной.
Скореллированно возникающие и длительно существующие циклы реверберации надо гасить, чтоб АТФ не тратилась.
весь вопрос в том как они почувствовали? Что было основой для этого чутья ?
Для проявления реакции лимфоцитов требуется СИСТЕМА КОМПЛЕМЕНТА http://ru.wikipedia.org/wiki/%D0%A1%...BD%D1%82%D0%B0
Возможно, и у глиоцитов есть похожая каскадная система унифицированных белков, только результатом совместной деятельности этих белков является не лизис мишени, а нечто другое. Следует учесть, что глиоцитарные белки (если они есть) работают локально - количества будут мизерные.

1. Т.е. там где возникает активность, которая не проходит со временем - от туда нужно отращивать синапс !?
2. Те места соединения куда еще можно присоединить синапс могут помещаться системой близкой по сути к иммуной - "каскадом белков" !?

Вопрос остается прежним - есть ли принципиальная разница соединять именно эту "активность" с именно этой "помеченной мишенью" ? Или же в принципе без разницы что с чем соединить, лишь бы соединить для гашения возникающей активности ???

Если справедливо последние ... то это означает - что синаптические связи универсальны, главное чтобы их было много и разных - что и обеспечивает глия ... в таком случае специальной модели не требуется, и правильно, что из формализма ИНС глия была устранена ... это как бы "учитель" при обучении сети и ничего больше .... т.е. прочие детали спокойно могут оставаться только в сфере нейрофизиологии, и не рассматриваться в ИИ, т.к. глия выступает именно в той роли, которая ей была приписана и ранее - физиологическая поддержка нейронной сети, конечна она должна понимать язык нейронной активности для этого - но возникает ли там какая-то специфичность в ответ на "подслушанные разговоры" нейронов - остается как я понимаю большим вопросом ...
Есть мнение, что такой специфичности настройки синапсов в общей модели не нужно, достаточно просто соединять в тех случаях когда синапсы погибают или когда не хватает памяти ... Т.е. если нейроглия способна создавать связи не сильно часто и не сильно специфично - это не интересно для модели - т.е. модель от этого не изменяется ...

Здесь возможны следующие эксперименты, в той статье просто перерезали одну связь и она затем сраслась ... можно попробывать перерезать 2-3 связи и посмотреть срастуться ли они так же как и были или же могут срастись по другому - т.е. нейроглия обеспечивает "клеточную память" или же "настройку нейронов" ...

[VladimirKox]

Т.е. там где возникает активность, которая не проходит со временем - от туда нужно отращивать синапс !?
Нет. Для начала, туда должны мигрировать глиоциты, что бы распознать мембранные маркеры характерные для новой ВППД. После того как глиоциты распознают образовавшийся нейронный ансамбль, они должны прервать реверберацию. При повторных возникновениях реверберации ответ уже локализованных глиоцитов будет "вторичным", реверберация будет прерываться быстрее, вот тогда и должен начаться синаптогенеза, призванный уменьшить число нейронов в данном ансамбле.
2.Те места соединения куда еще можно присоединить синапс могут помещаться системой близкой по сути к иммуной
Метиться? - Да. Не только системой по сути близкой к иммунной, но и являющейся филогенетической предшественницей лифоцитарного звена иммунной системы ИМХО.
Вопрос остается прежним - есть ли принципиальная разница соединять именно эту "активность" с именно этой "помеченной мишенью" ?
Да. Нейронный ансамбль, где реверберирует специфическая временная последовательность потенциалов действия, производит уникальные мембранные олигосахариды, которые и распознаются глиоцитами определенного идиотипа ИМХО, что и приводит к ускоренному гашению реверберации.
Или же в принципе без разницы что с чем соединить, лишь бы соединить для гашения возникающей активности ???
Нет. Соединять надо нейроны, принадлежащие к одному ансамблю, до достижения минимально возможного числа членов нейронного ансамбля.
Два быстроугасаемых скоррелированно работающих ансамбля, за счет коллатералей, способны вызвать длительную реверберацию новой временной последовательности ПД, т.е. условнорефлекторную связь ИМХО. А жизнь потом покажет положительное или отрицательное подкрепление у этой связи, и случайно или закономерно её возникновение.

[Vadim]

В теории ИНС - сейчас тоже появилась тенденция следить за тем как правильнее связать связи в ИНС (отказ от полносвязных моделей уже давно произошел). Но здесь также есть ряд информационных проблем. Как правило сейчас предлагаются некие генетические алгоритмы, которые якобы этим занимаются (создают архитектуру сети) - но это глупости, они ничем не занимаются - и не способны на это. Причина здесь проста - нету критерия, когда считать связь между нейронами необходимо и полезной.
Поэтому от нейрофизиологов нужен хотя бы намек на то в каких случаях связь создается, а в каких удаляется - что может служить для нейроглии поводом соединить два нейрона ? ...
Во весь вопрос в том как они почувствовали ? Что было основой для этого чутья ?

для Так: много же работ на тему эту. Генерируется некоторый пул резерва. Происходят захваты при информационной нагрузке. Если нет захвата - через две недели апоптоз. Управление захватом - развертка. Есть опубликованные русские переводы: http://neurobiology.ru/images/storie...2009-06-40.pdf

[VladimirKox]

Может это в настоящее время офф-топ, но то что выдал Sonic86 в посте Пн ноя 09, 2009 09:13:34 http://dxdy.ru/topic26556.html КРУТО, ИМХО.

Ну я математик беспонтовый, но вот AD правильно сказал: фрактальные объекты просто строятся, то есть закодировать их как-то легче в геноме, ну и на уровне механизмов построения.

Мой комент.

+1!
Т.е. при ограниченной ёмкости носителя информации выгодно использовать фрактальные объекты.
Угу... Создатели "Парка юрского периода" эту фишку использовали.
Эге... Вероятно, помимо них - многие.

Т.е. если биообъекты однажды использовали фракталы для экономии места на носителе информации - геноме, то самоподобие - неизбежно.
Ну, а если - нет, то - и суда нет; крест на гипотезе - тоже результат.

[Вербер]

У соловья так же происходит отмирание нейронов и появление новых в лобной его части когда он поёт свои песни. Вот там точно развёртка на износ, как говорится.
Что касается гипокампа то интересно как этот апоптоз через 2 недели может повлиять на эмоциональное самочувствие. Может быть именно эти 5-10 тысяч нейронов рождающиеся в нашем гипокампе и заставляют наш мозг думать под страхом депрессии?

[Vadim]

Для VladimirKox

неокортикальные колонки также имеют упорядоченную регулярную структуру, которую, при желании, можно назвать фрактальной, причем повторяющуюся независимо от возрастания уровня генерализации обрабатываемых объектов

Для меня только не закрыт еще окончательно вопрос: NCC все имеют вообще почти одинаковую архитектуру, "вбирая" в себя сети для всех возможных процедур обработки данной размерности объектов или же существует несколько основных типов NCC для нескольких основных типов ассоциативных оснований. Пока мне кажется более правдоподобным именно второе представление о существовании нескольких основных типов колонок